PTT數位生活區 / MobileComm (行動通訊)

[心得] 舊手機也能輕鬆的跑本地生成式AI模型！

看板MobileComm (行動通訊)作者 (月昇王國)時間17小時前 (2025/05/03 01:15), 14小時前編輯推噓30(30推 0噓 17→)
留言47則, 29人參與, 1小時前最新討論串1/1
AI揭露：本文有部分段落使用ChatGPT生成，再經筆者潤稿，若有錯誤請再告知。 小弟現在使用的是五年前的舊手機 VIVO iQOO Neo3（12GB+128GB），高通驍龍865， 今天主要是要介紹兩個開源AI APP，讓舊手機也能輕鬆在本地佈署AI模型，無需連網！ 1. PocketPal AI https://github.com/a-ghorbani/pocketpal-ai PocketPal AI 是一款專為 Android 裝置設計的離線 AI 助手應用程式， 支援載入 GGUF 格式的小型語言模型（SLMs），如 Qwen、Gemma、Phi 等， 讓使用者在無網路連線的情況下也能與 AI 互動。 所有推理運算皆在本機執行，確保資料隱私。 應用程式提供模型下載、切換、性能測試、個性化 AI 助手（Pals）等功能， 並可透過 Hugging Face 直接搜尋與管理模型，適合開發者與 AI 愛好者使用。 這邊推薦使用Q8量化過的Google Gemma 3 1B， 繁體中文使用友善，是個人覺得最聰明的小語言模型，沒有之一。 https://i.imgur.com/6CBwxJk.png
2. Stable Diffusion AI (SDAI) https://github.com/ShiftHackZ/Stable-Diffusion-Android （F-Droid上的SDAI FOSS版本沒有廣告） SDAI是一款讓 Android 裝置可離線執行 Stable Diffusion 的應用程式。 支援完整原生 Python 環境與 Web UI， 可本地生成 AI 圖像，支援模型自訂與提示詞輸入。 最新版更整合 Microsoft ONNX Runtime（Beta）， 可透過 ONNX 模型加速推論，提升效能與相容性， 讓用戶在手機上體驗 AI 圖像生成，無需依賴雲端或電腦。 發現這APP的時候滿驚豔的，有稍微研究過的人就知道， 圖像生成模型不只佈署上麻煩，更需要較強的算力（尤其很吃VRAM）， 這APP直接幫你弄好8種環境，還有提供編譯過的ONNX模型供離線使用，非常友善！ https://i.imgur.com/CXEkqav.png
本篇僅是拋磚引玉，雖然距離實用性還有一段不小的距離， 但可以無限生成且不會被卡Prompt限制！也歡迎各位分享使用心得～ -- [問卦] 睡醒身上常有不知名的瘀青
→
12/12 02:20,
我家的香蕉放久也會這樣 你會不會是香蕉?
12/12 02:20
你才是香蕉 你全家都香蕉 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.160.154.200 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1746206143.A.018.html
推
05/03 01:52, 16小時前 , 1F
推
05/03 01:52, 1F
→
05/03 02:13, 16小時前 , 2F
所以這兩個不能潤稿嗎？最後還不是要用chatgpt
05/03 02:13, 2F
推
05/03 03:22, 15小時前 , 3F
可以畫色色圖嗎
05/03 03:22, 3F
可以XD
推
05/03 03:53, 14小時前 , 4F
簽名檔香蕉實在是太好笑XD
05/03 03:53, 4F
※ 編輯: k9120303 (42.72.15.201 臺灣), 05/03/2025 04:02:06
→
05/03 05:30, 13小時前 , 5F
S865生成一張圖要不要五分鐘？
05/03 05:30, 5F
推
05/03 05:39, 13小時前 , 6F
可以通話翻譯嗎
05/03 05:39, 6F
推
05/03 05:51, 12小時前 , 7F
幫助不少 謝大哥
05/03 05:51, 7F
推
05/03 06:41, 12小時前 , 8F
先推，在研究看看
05/03 06:41, 8F
推
05/03 06:57, 11小時前 , 9F
8gen2生成一張圖要160秒 中途吃掉9GB記憶體
05/03 06:57, 9F
→
05/03 06:58, 11小時前 , 10F
那用雲端生成不是比較好嗎?
05/03 06:58, 10F
推
05/03 07:03, 11小時前 , 11F
新知get
05/03 07:03, 11F
→
05/03 07:07, 11小時前 , 12F
可以取得google助理做一些操作手機的事情嗎
05/03 07:07, 12F
推
05/03 07:52, 10小時前 , 13F
推心得與介紹
05/03 07:52, 13F
推
05/03 08:21, 10小時前 , 14F
太好了 我的24g ram 8g3終於有用途了
05/03 08:21, 14F
推
05/03 08:35, 10小時前 , 15F
推，心得分享
05/03 08:35, 15F
推
05/03 09:06, 9小時前 , 16F
心得推，有這種對照組才容易體現本地AI堆多少料會
05/03 09:06, 16F
→
05/03 09:06, 9小時前 , 17F
有多少的效果
05/03 09:06, 17F
推
05/03 09:12, 9小時前 , 18F
感謝分享
05/03 09:12, 18F
推
05/03 10:13, 8小時前 , 19F
有趣推，有空來玩
05/03 10:13, 19F
推
05/03 10:45, 7小時前 , 20F
不用太期待速度
05/03 10:45, 20F
推
05/03 11:04, 7小時前 , 21F
好東西!!推推
05/03 11:04, 21F
推
05/03 11:05, 7小時前 , 22F
SDAI有人覺得哪個模組比較好用呢 如果只是要生成簡
05/03 11:05, 22F
→
05/03 11:05, 7小時前 , 23F
潔的桌面?
05/03 11:05, 23F
推
05/03 11:08, 7小時前 , 24F
8G2開始就有INT4，理論上會快一點
05/03 11:08, 24F
推
05/03 11:21, 7小時前 , 25F
試了一下 用8gen3生成一張簡單的桌面 大概要兩分鐘
05/03 11:21, 25F
→
05/03 11:22, 7小時前 , 26F
以上 手機會很明顯變熱 我覺得玩玩就好 如果真要找
05/03 11:22, 26F
→
05/03 11:22, 7小時前 , 27F
桌面 那我還是自己去找現有的會比較快跟漂亮XD
05/03 11:22, 27F
推
05/03 11:24, 7小時前 , 28F
嘗試詢問它苗栗縣鄉鎮劃分，結果是錯的，另外詢問
05/03 11:24, 28F
→
05/03 11:24, 7小時前 , 29F
S24U的規格好像也回答錯，可能需要再改善
05/03 11:24, 29F
推
05/03 11:33, 7小時前 , 30F
有趣 推推
05/03 11:33, 30F
推
05/03 11:38, 7小時前 , 31F
速度真的慢得可以 電腦大概2秒跑出來手機可能畫超
05/03 11:38, 31F
→
05/03 11:38, 7小時前 , 32F
久
05/03 11:38, 32F
推
05/03 11:52, 6小時前 , 33F
謝謝分享
05/03 11:52, 33F
→
05/03 12:02, 6小時前 , 34F
一點也不輕鬆好嗎，之前就玩幾分鐘就砍了
05/03 12:02, 34F
推
05/03 12:03, 6小時前 , 35F
stable diffusion可能手機arm要轉譯（？）
05/03 12:03, 35F
→
05/03 12:03, 6小時前 , 36F
電腦一堆人用n卡a卡在玩
05/03 12:03, 36F
推
05/03 13:03, 5小時前 , 37F
結論：還是連線跑各家AI就好 哈
05/03 13:03, 37F
→
05/03 13:20, 5小時前 , 38F
一分錢，一分貨。這種小模型如果真的堪用，大家早就
05/03 13:20, 38F
→
05/03 13:20, 5小時前 , 39F
拿來local用了。
05/03 13:20, 39F
→
05/03 13:22, 5小時前 , 40F
真的堪用，NV早就倒了。
05/03 13:22, 40F
推
05/03 13:40, 5小時前 , 41F
電腦好棒 但是你要那麼多桌布幹嘛- -?
05/03 13:40, 41F
推
05/03 14:10, 4小時前 , 42F
我電腦跑的模型都不怎麼樣了，手機再發展個10年吧
05/03 14:10, 42F
推
05/03 15:01, 3小時前 , 43F
電腦跑本地模型我覺得至少14b等級 Q4量化才比較堪
05/03 15:01, 43F
→
05/03 15:01, 3小時前 , 44F
用而已...手機的真的...
05/03 15:01, 44F
推
05/03 15:19, 3小時前 , 45F
感謝分享資訊 來去玩玩看1分鐘可以輸出幾個字哈哈
05/03 15:19, 45F
→
05/03 15:19, 3小時前 , 46F
哈
05/03 15:19, 46F
推
05/03 17:09, 1小時前 , 47F
感謝分享
05/03 17:09, 47F
‣ 更多 k9120303 的文章
文章代碼(AID): #1e5Fs_0O (MobileComm)
MobileComm 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 k9120303 的文章
文章代碼(AID): #1e5Fs_0O (MobileComm)