PTT數位生活區 / PC_Shopping (個人電腦購買)

[菜單] DeepSeek 671b大模型推理機

看板PC_Shopping (個人電腦購買)作者 (aisinjuro)時間5小時前 (2025/02/12 20:25), 編輯推噓13(14推 1噓 27→)
留言42則, 28人參與, 2小時前最新討論串1/1
已買/未買/已付訂金（元）：未買 預算/用途：用來跑DeepSeek 671b大模型推論機。模型大小404GB，需要全部載入DDR上用 CPU來算 CPU (中央處理器)： 全新 EPYC 7K62 48核心96線程 2.6G 正式版 $7500 MB (主機板)： 超微H11SSL-i 二手 ＄8900 RAM (記憶體)： 三星DDR4 ECC REG 64G 2666 x 8 $1600x8 = $12800 VGA (顯示卡)： 舊EVGA 3060 12G(已有) Cooler (散熱器)： 6熱管金錢豹AMD epyc 散熱器 $850 SSD (固態硬碟)： KIOXIA 鎧俠 Exceria G2 2TB M.2 2280 PCIe 3.0 ssd $3590 HDD (硬碟)： PSU (電源供應器)： 台達 金牌全模組650W $2890 CHASSIS (機殼)： MONITOR (螢幕)： Mouse/KB (鼠鍵)： OS (作業系統)： Ubuntu 其它 (自填)： 總價 (未稅/含稅)：$36530 CPU 主機板、DRAM在洶寶買。 是否有更好選擇 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.226.75.31 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1739363103.A.053.html
推
02/12 20:28, 5小時前 , 1F
洶寶<3
02/12 20:28, 1F
推
02/12 20:32, 5小時前 , 2F
02/12 20:32, 2F
→
02/12 20:45, 5小時前 , 3F
H11SSL-I只有PCI-E 3.0，你要確定耶，
02/12 20:45, 3F
→
02/12 20:45, 5小時前 , 4F
還有沒有支援Resizable BAR，這H12才有
02/12 20:45, 4F
→
02/12 20:47, 5小時前 , 5F
只用cpu跑，pcie沒關係
02/12 20:47, 5F
推
02/12 20:58, 5小時前 , 6F
這一問一答要多久啊
02/12 20:58, 6F
推
02/12 21:08, 5小時前 , 7F
要本地部署嗎？
02/12 21:08, 7F
→
02/12 21:09, 5小時前 , 8F
我是覺得個人玩家直接用線上的就好，
02/12 21:09, 8F
→
02/12 21:09, 5小時前 , 9F
自由度也高
02/12 21:09, 9F
推
02/12 21:24, 4小時前 , 10F
這速度大概跟macmini跑速度差不多
02/12 21:24, 10F
推
02/12 21:26, 4小時前 , 11F
https://is.gd/u3VvxG 這連結你參考一下
02/12 21:26, 11F
→
02/12 21:27, 4小時前 , 12F
02/12 21:27, 12F
→
02/12 21:28, 4小時前 , 13F
他是vram不是ram
02/12 21:28, 13F
→
02/12 21:29, 4小時前 , 14F
我記得H100要好幾張
02/12 21:29, 14F
→
02/12 21:34, 4小時前 , 15F
h100要8張，買不起。
02/12 21:34, 15F
推
02/12 21:34, 4小時前 , 16F
肯定是淘寶或小黃魚買
02/12 21:34, 16F
推
02/12 21:35, 4小時前 , 17F
用unsloth處理過只需要不到200G
02/12 21:35, 17F
→
02/12 21:37, 4小時前 , 18F
我是用Z840，128G一萬多而已，再加
02/12 21:37, 18F
→
02/12 21:37, 4小時前 , 19F
線上一直斷線，根本不能用
02/12 21:37, 19F
→
02/12 21:37, 4小時前 , 20F
SSD、RAM、GPU
02/12 21:37, 20F
→
02/12 21:37, 4小時前 , 21F
你串MAC MINI會不會比較快？
02/12 21:37, 21F
噓
02/12 21:37, 4小時前 , 22F
荒唐
02/12 21:37, 22F
→
02/12 21:43, 4小時前 , 23F
不過顯卡不延長只能插一張
02/12 21:43, 23F
→
02/12 22:12, 4小時前 , 24F
deepseek 用CPU跑效率好嗎?
02/12 22:12, 24F
→
02/12 22:39, 3小時前 , 25F
671b應該不太好，unsloth動態量化後
02/12 22:39, 25F
→
02/12 22:40, 3小時前 , 26F
還可以，但是會有非預期EOF問題
02/12 22:40, 26F
→
02/12 22:41, 3小時前 , 27F
哇....@@
02/12 22:41, 27F
→
02/12 22:44, 3小時前 , 28F
老黃下巴掉了
02/12 22:44, 28F
推
02/12 22:48, 3小時前 , 29F
我還是選擇api就好
02/12 22:48, 29F
推
02/12 22:49, 3小時前 , 30F
這不會慢死嗎?
02/12 22:49, 30F
→
02/12 23:12, 3小時前 , 31F
02/12 23:12, 31F
→
02/12 23:13, 3小時前 , 32F
KTransformers可以參考一下
02/12 23:13, 32F
→
02/12 23:15, 3小時前 , 33F
用GPU加速的純CPU方案
02/12 23:15, 33F
推
02/12 23:18, 3小時前 , 34F
最大的參數量拿單機去跑很慢拉
02/12 23:18, 34F
→
02/12 23:21, 3小時前 , 35F
哈哈哈哈哈哈
02/12 23:21, 35F
推
02/12 23:29, 2小時前 , 36F
期待原po未來分享用cpu跑671b的效率
02/12 23:29, 36F
→
02/12 23:34, 2小時前 , 37F
老哥 買顯卡跑蒸餾完的不就好了
02/12 23:34, 37F
→
02/12 23:50, 2小時前 , 38F
收張3090跑32b就好
02/12 23:50, 38F
推
02/12 23:54, 2小時前 , 39F
每天睡覺前問問題, 睡醒看回答嗎 XD
02/12 23:54, 39F
→
02/12 23:56, 2小時前 , 40F
已讀不回AI模擬機
02/12 23:56, 40F
推
02/13 00:01, 2小時前 , 41F
線上跑就好了，不用蝦折騰
02/13 00:01, 41F
→
02/13 00:02, 2小時前 , 42F
笑了
02/13 00:02, 42F
‣ 更多 xiemark 的文章
文章代碼(AID): #1dh9CV1J (PC_Shopping)
PC_Shopping 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 xiemark 的文章
文章代碼(AID): #1dh9CV1J (PC_Shopping)