信息論之我見

看板CSSE (電腦科學及軟體工程)作者slzhao (Void)時間19年前 (2006/05/12 23:18)推噓0(0推 0噓 0→)

留言0則, 0人參與討論串1/1

※ 引述《Syncanph (go lifer)》之銘言： : ◆ From: 59.124.166.94 : 推 jmren:感謝回應^^"，請問entropy的公式是根據哪個理論得來的...^^ 05/11 18:53 : → reader:資訊理論這公式在電腦科學的地位約等於物理學的E=MC^2呢 05/11 23:23 : → reader:是連結資訊與自然世界之間的核心樞紐之一意義相當重大 05/11 23:31 : → reader:不過現在還真難得在科學史之外看到有人用上那麼一回 05/11 23:32 : 推 slzhao:不會很難得看到吧,Pattern Recognition相關的研究常用到. 05/12 02:08 : → slzhao:是很重要的理論,但是有那麼誇張的地位嗎? 05/12 02:12 : → reader:主要是因為在其他學科上也有訊息傳遞的現象值得研究 05/12 02:29 : → reader:若能通過資訊理論檢驗就能整合電腦作研究算是很關鍵一步 05/12 02:39 : → reader:所以是電腦科學中最能帶給其他學科衝擊的理論之一了 05/12 02:40 : → reader:這和拿電腦做研究工具是不一樣的事情而是實在的理論連結 05/12 02:46 : → slzhao:但這只是關鍵一步,關鍵的步可多了. 05/12 10:49 : → slzhao:計算理論或正規語言中探討的可計算性,不也是重要的一步. 05/12 10:50 : → slzhao:這主要因素是因為計算機非傳統科學,所以待整合的東西可多了 05/12 10:50 : → slzhao:邏輯學,集合論中很多理論跟資訊科學整合也是很重要的"一步" 05/12 10:54 : → slzhao:感覺起來,NP-complete觀念的引入還比較接近E=MC^2. 05/12 10:54 : → reader:可計算性一直被認為是數學而且跟自然科學缺乏連結 05/12 17:56 : → reader:但資訊熵的概念卻是真實世界運作的一個部分 05/12 17:57 : → reader:逐步在物理、化學、生物、生態、經濟、哲學、政治等學科 05/12 18:02 : → reader:建立起影響力其他相關的如控制論也不被認為是電腦科學 05/12 18:05 : → reader:到混沌學則已經是太過後期的新科學發展但資訊理論是1948年 05/12 18:06 : → reader:一般所謂戰後新科學的組成中電腦科學就是以資訊理論而進入 05/12 18:07 : → reader:這樣的體系當中當然這比較是偏向科學史的觀點而不是實用性 05/12 18:08 : → reader:但E=MC^2也主要是作為科學認識的拓展大於實際作用 05/12 18:10 : → reader:或者說計算理論是讓電腦科學脫離數學的關鍵 05/12 18:18 : → reader:資訊理論是讓電腦科學成為科學的關鍵 05/12 18:18 : → reader:現在習稱系統論控制論和信息論(資訊理論)為系統科學老三論 05/12 18:23 : → reader:可計算性則通常是放在數學發展史上來講的 05/12 18:26 : → slzhao:不是很能理解熵在電腦史中的重要性.因為我一直感覺是統計學 05/12 19:17 : → slzhao:跟其他自然科學結合的關鍵,而計算機科學則是引用了統計學中 05/12 19:19 : → slzhao:的這個概念. 05/12 19:19 : → slzhao:有沒有相關介紹這方面演進的文獻資料可供參考? 05/12 19:20 : → reader:統計學被引入自然科學是在熱力學時就建立起來的吧... 05/12 21:48 : → reader:透過資訊理論才建立了非能量的訊息的自然存在與傳播原理 05/12 21:51 : → reader:數學原理是一回事概念的拓展才是重點 05/12 21:56 : → reader:就像廣義相對論和黎曼幾何不能說是同樣的東西 05/12 21:59 : → reader:概念上也是廣義相對論才具有重要的影響力否則數學只是數學 05/12 22:00 : → reader:其實上網找「信息論」就有一堆資料了 05/12 22:03 : → reader:例如這裡 http://entropy.com.cn/ 05/12 22:09 : 推 slzhao:我不是指Information Theory的研究,相關論文我也有看過一些 05/12 22:21 : → slzhao:我是想請問關於reader大大前面所說的歷史演進,和其重要性的 05/12 22:22 : → slzhao:相關資料. 05/12 22:24 : → slzhao:剛才針對老三論查了一下,這似乎是由人文科學的觀點來看, 05/12 23:03 推文都比原文長了. 開個討論串來討論一下吧. 恕在下才疏學淺,對老三論並沒有研究,剛才才去網路上查資料. 發覺老三論應該不是專指計算機科學,應該說是Information Science. 而計算機科學應該可以在某些方面歸類到Information Science底下. 就我認知的信息論,應該是指某些事物包含的資訊量,這邊的事物可以是抽象或非抽象. 也因為這些包含的資訊量,造成這些事物可以用某些物理方法來分析. (這樣認知不知道有沒有錯,有錯還請指正.) 例如:中文字的亂度比英文字高,造成中文字一個字攜帶的資訊量比英文字多. 這樣的結果很合理,也因此可以推導出一些事物應該用怎樣的表現方式. 造成統計學中可以分析出某些統計特徵互相之間的相關性. 也因此衍伸出計算機理論中的Pattern Recognition及人工智慧等等. 但是這邊我們發現這跟許多計算機基本理論一樣,並不一定只能用在電腦. 甚至用的最多的地方不是電腦,而是在其他方面. (我在網路上查到的老三論在很多領域中都有使用,例如:教育學,哲學...) 這邊我有一個猜測,因為計算機本身不是基礎科學,而是實用科學. 如同建築學獨立於物理之外將會失去理論基礎. 但計算機有一個特別的特性是,雖然是應用科學,但並沒有特定應用對象. 計算機發展的目的是為了處理其他科學或應用的問題, 因此當用在不同領域,就要用不同理論. 目前計算機很大量被應用在處理人文的資訊上. 因此信息論的重要性就出現了,因為信息論將人文資訊,物理,數學三者做結合. 但是我們回頭想想計算機的原始用途. 計算機是根據數學理論發展出來的(顧名思義). 甚至說,本來沒有計算機這個東西. 這是一個根據數學理論當做基本定義發展出來的機器. 這時候很明顯reader大大所說的情況就出現了. 在下認知的重要理論全被歸類為數學(因為這台機器本身就是數學的一部份). 而信息論則被視為是結合計算機和現實世界的橋樑. 但在這邊,在下還是有點不同的意見. 因為在現實世界中,並非所有資訊都是需要靠信息論來解釋的. 舉例來說: 計算兩地之間最近距離這件事是信息論的解釋範圍沒錯, 因為信息兩地之間的距離是由許多信息構成,能否適當的應用這些信息是必要的. 但是這邊的信息都已經是被人解讀過,因此信息論是由人來判定, 而非由計算機來判定.因此信息論是用來解釋人的思考而非計算機. 再換個角度想,這所有資訊不透過計算機,人也可以算出最近距離. 也因此產生出reader大大所說,近年很少看到entropy被引用在學術上. 大多數資訊都是由人來解讀,而非由計算機解讀. 也因此在下常常看到entropy,因為在下研究領域偏向人工智慧. 常常看到許多理論需要分析資訊量,及資訊的特性. 在下還是認為,信息論用來解釋計算機太過狹隘它的範圍了. 反而是計算理論比較像是為計算機和各領域結合提供了合理性. (請參考維基百科中計算理論的解釋) 不過也許只是站在不同學門的觀點對不同理論所做的解釋. 很多理論常常被稱為相當於E=MC^2,但我個人認為大多沒有這樣的意義. 因為E=MC^2在物理學上的意義跟在別的科學上的意義是不相同的. 怎麼比較?應該是無從比較起. 之前還聽學弟說過有老師把Data Mining理論視為跟E=MC^2相同地位. 害我跟那個學弟解釋了老半天Data Mining的用途. 不過似乎沒用,他最後還是認定Data Mining有神級的地位, 連我們老本行的Pattern Recognition和統計學都被學弟一起否定掉. -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 59.115.196.94 ※ 編輯: slzhao 來自: 59.115.196.94 (05/13 00:18)