Re: [書訊] 創智慧

看板CSSE (電腦科學及軟體工程)作者b6s (b6s)時間19年前 (2006/06/28 02:08)推噓6(6推 0噓 2→)

留言8則, 4人參與討論串14/24 (看更多)

※ 引述《ykjiang (Yukuan)》之銘言： : 其實我會斷定張復誤解 Hawkins 的 model 還有一個重要的原 : 因： : 你可以看看 page 16 最後一段，張復認為 Hawkins 主要貢獻 : 所在。 : 然後再看看 page 217 中， Hawkins 對自己 model 的論述。 : 如果你仔細比較，就可以發現，他們講的根本不是同一件事情... : 就這方面，我是很注重細節的... : 沒錯，大腦新皮質，大致說來，可以分成六層。這從染色的切面顯 : 微照片就可以看出來了。 : 但是 Hawkins 強調的「階層」，不是指皮質內（縱切）的這六層， : 而是不同「皮質區」間形成的階層。 : 就這一點，以視覺為例，可以參考 page 150 圖一及相關的說明。 (事先聲明，以下純為個人臆測。) 其實，我目前看起來沒有衝突，只是張復老師沒特別提到 feedback/feedforward 特性。一般來說，跟 markov chain 相關的 machine learning models 也有類似性質，但不是以神經生理學作為基礎，而是以機率統計推論的。從 Dileep George 目前已發表的論文看來，HTM 架構在軟體實作上目前採用了 Bayesian Belief Propagation (BBP) 的觀點，並稍微提到了 Hierarchical Hidden Markov Model 與 Markov Random Field，光是這些的話，其實跟張老師提到的相去不遠；但，同樣地，這些現有的 machine learning models 並未特別強調 feedback，因為在計算複雜度上成本相當高。而 Dileep George 已實作的系統裡，實際上也省略了 feedback，這使得該模型也可詮釋為 near-optimal BBP。類比一下當今風行的各種 near-optimal XXX 演算法，其實多半是由自然界現象中尋找通則並模仿之的 heuristic algorithms，例如 GA。我們可以說，GA 為了 prune 過多的 connections，採用適者生存的方式來過濾。問題來了，在這種詮釋底下，我們面臨的第一個麻煩是，如何將問題 model/encode 成能夠以某 model 處理的格式？ Dileep George 用了最傳統的 image classification 來模擬，於是只要拿像素的時空關係當輸入即可；然而，以 On Intelligence 裡提到的語音辨識問題來說好了，缺少 feedback 的 HTM 模擬系統，會變得像是用了 A* (而非 Viterbi) 的 HMM，於是就很難評估並突顯 HTM 的價值了。事實上，Dileep George 目前的實驗規模也太小，有某種 over-fitting 的疑慮。另一方面，他的實驗在 robustness 上看來倒是不錯，對於雜訊甚多的輸入，可以在不用設計精巧例外規則或使用大量 features 的情況下，自動地看出圖形裡的 invariant pattern。相對地，熱門的 machine learning models 如 SVM、Maximum Entropy、Conditional Random Field 等就相當依賴 domain knowledge 以進行 feature selection，說起來還是研究生演算法。總之，我還在反覆地讀 http://www.stanford.edu/~dil/invariance/ 上面的東西，試圖弄清楚 HTM 作為「記憶」而非「計算」能夠帶來的希望究竟是什麼。 -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 59.105.131.104