PTT數位生活區 / MobileComm (行動通訊)

Re: [問題] iphoneX的「神經網路引擎」是什麼？

看板MobileComm (行動通訊)作者 (Lizaron)時間7年前 (2017/09/14 02:34), 7年前編輯推噓16(16推 0噓 29→)
留言45則, 17人參與, 最新討論串2/5 (看更多)
認真回 雖然小弟不在Apple工作 但目前也在美國從事相關領域的研發 以下只是憑個人經驗的猜測 神經網路引擎應該是用來做神經網路的inference 並沒有像有些推文有提到的training的部分(這目前還是Nvidia GPU的強項) 一個精準的network目前在GPU Cluster上都要Train幾天甚至幾個禮拜了 也就是說這個網路(基本上只是一個模擬神經的數學模型)中間的參數是事先trained好 在application端直接拿來用而已 而inference指的就是App會使用的那次 比如說你照一張狗的照片 跑過一次trained好的網路(也就是inference) 手機就會知道這個是狗 另外其實神經網路的運算早就有一段時間了 像之前FB看你的照片猜你幾歲 或是你可以直接對手機講話 手機會直接幫你轉成文字 或是像推文提到目前最紅的影像辨識 在目前的手機上早就有了 既然目前都能算了 為什麼還要有另外一個專門算神經網路的引擎呢? 那是因為目前使用神經網路的App通常都是在你要他inference的時候才會開始算 (比如說你講話的時候會先在手機上按一下) 所以用CPU或是手機上的GPU算並沒有什麼太大的問題 雖然相比training inference跑的很快 但在手機的功耗限制與運算資源有限的情況下還是一個很大的挑戰 複雜的網路一次inference就算在手機上的GPU還是要跑超過一秒的 為了支援FaceID這種隨時要待命偵測你的臉的程式 如果用原本的方法就顯得相當笨 不只算的慢又耗電 所以才會特別設計一個神經網路引擎 如果他是一個類似Google TPU的架構 除了沒有指令集的負擔之外 可以拔掉很多很耗電又用不到的記憶體暫存 還能控制運算精度(像google是直接用8-bit integer而不是預設的32-bit floating point) 除了算得快又省電 當然目前看起來只有FaceID會用到 但將來IOS App開發者就能好好利用這個引擎開發一些很酷炫的功能 這又是另一個故事了 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 217.140.103.75 ※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1505327646.A.BB6.html
推
09/14 02:38, , 1F
我猜樓下看不懂
09/14 02:38, 1F
推
09/14 02:41, , 2F
animoji不知道是用純2D camera還是有用到3D資訊
09/14 02:41, 2F
推
09/14 02:44, , 3F
我的意思是 可能不只FaceID用到NN吧?
09/14 02:44, 3F
應該是有3D 但那應該是從深度相機來的 可能中間有過程比如說人臉mapping到狗臉或大變臉上(?)會用到(不負責任亂猜) ※ 編輯: Lizaron (217.140.103.75), 09/14/2017 02:47:51
推
09/14 03:06, , 4F
雖然我不熟iOS 但有查到一些iOS的API是在算NN的
09/14 03:06, 4F
→
09/14 03:07, , 5F
比如說 BNNS https://goo.gl/MYTrSQ
09/14 03:07, 5F
→
09/14 03:07, , 6F
有這個硬體之後應該就可以跑的快一點
09/14 03:07, 6F
推
09/14 03:13, , 7F
FaceID下階段新功能 做特定表情才可解鎖(畫蛇添足)
09/14 03:13, 7F
推
09/14 03:14, , 8F
現在最新的應該是Core ML https://goo.gl/2T2r5u
09/14 03:14, 8F
→
09/14 04:45, , 9F
非專業 目前但能夠把別處train來的data搬到另一頭如
09/14 04:45, 9F
→
09/14 04:45, , 10F
手機上infer的只有谷歌gboard有論文 沒意外暫時谷歌
09/14 04:45, 10F
→
09/14 04:45, , 11F
做到 話說二代TPU能train了 高通hexagon DSP已經rea
09/14 04:45, 11F
→
09/14 04:45, , 12F
dy 只是好像還不夠專精 它們有強化打算
09/14 04:45, 12F
→
09/14 04:50, , 13F
題外話 小驚訝 Chris Lattner離開Apple 待半年Tesla
09/14 04:50, 13F
→
09/14 04:50, , 14F
水土不服後 竟然跑去Tenso Flow當開發者關係 這太誇
09/14 04:50, 14F
→
09/14 04:50, , 15F
張 雖然谷歌brain與他應該互相都很看重對方 但這抬
09/14 04:50, 15F
→
09/14 04:50, , 16F
頭實在怪
09/14 04:50, 16F
推
09/14 07:23, , 17F
Sense8
09/14 07:23, 17F
推
09/14 08:09, , 18F
類神經之類的念個資訊或電機很容易聽過啊XD
09/14 08:09, 18F
→
09/14 08:13, , 19F
NPU 今年華為自己出的ap也多了這個架構，高通下一
09/14 08:13, 19F
→
09/14 08:13, , 20F
代也預計要有
09/14 08:13, 20F
→
09/14 08:28, , 21F
上面說了 高通算有半套了 華為暫時還是噱頭大些 也
09/14 08:28, 21F
→
09/14 08:28, , 22F
沒地方用得上
09/14 08:28, 22F
→
09/14 08:38, , 23F
看Google能不能帶頭搞一些應用，不要去期待系統廠帶
09/14 08:38, 23F
→
09/14 08:38, , 24F
動
09/14 08:38, 24F
推
09/14 08:41, , 25F
就算看不懂 我也要說原來如此
09/14 08:41, 25F
推
09/14 09:33, , 26F
長話短說的話呢...
09/14 09:33, 26F
推
09/14 09:33, , 27F
其實ios內建相簿已經應用到了
09/14 09:33, 27F
推
09/14 09:36, , 28F
類神經網路 是一種你給它基本規則 再餵它資料學判斷
09/14 09:36, 28F
→
09/14 09:38, , 29F
這個動作叫做訓練 只要規則正確 資料量越高就越準
09/14 09:38, 29F
→
09/14 09:39, , 30F
但是它的作法對手機來說 無論功耗效能時間 都太多了
09/14 09:39, 30F
推
09/14 09:41, , 31F
欸欸欸 這篇居然沒有人噓中英文混用XDD
09/14 09:41, 31F
→
09/14 09:41, , 32F
所以放在手機裡的是一組大致訓練好的模型 頂多在你
09/14 09:41, 32F
→
09/14 09:41, , 33F
偶爾
09/14 09:41, 33F
→
09/14 09:43, , 34F
用它的時候 多記一下你的長相 免得你長得太邊緣 失
09/14 09:43, 34F
→
09/14 09:43, , 35F
敗率太高
09/14 09:43, 35F
推
09/14 10:47, , 36F
阿就軟體算 改成般一部分出來用硬體算 增加速度?
09/14 10:47, 36F
→
09/14 10:55, , 37F
一直都是軟體推演算法給硬體算 只是硬體特化與否
09/14 10:55, 37F
→
09/14 10:56, , 38F
說這東西能不混用的才有問題
09/14 10:56, 38F
→
09/14 10:57, , 39F
你要單用CPU算也行 速度電耗差很大而已
09/14 10:57, 39F
→
09/14 10:59, , 40F
若是face ID的話就不會有訓練模型 只有方案
09/14 10:59, 40F
推
09/14 12:31, , 41F
長相邊緣人 推
09/14 12:31, 41F
→
09/14 13:47, , 42F
真的hen厲害
09/14 13:47, 42F
推
09/14 14:12, , 43F
推Y
09/14 14:12, 43F
→
09/14 15:38, , 44F
iphone 8也有這個 但沒有true depth相機 不曉得是
09/14 15:38, 44F
→
09/14 15:38, , 45F
用在哪
09/14 15:38, 45F
‣ 更多 Lizaron 的文章
文章代碼(AID): #1PkNeUks (MobileComm)
MobileComm 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 Lizaron 的文章
文章代碼(AID): #1PkNeUks (MobileComm)