PTT數位生活區 / PC_Shopping (個人電腦購買)

[菜單] DeepSeek 671b大模型推理機

看板PC_Shopping (個人電腦購買)作者 (aisinjuro)時間1月前 (2025/02/12 20:25), 編輯推噓31(34推 3噓 70→)
留言107則, 55人參與, 3周前最新討論串1/2 (看更多)
已買/未買/已付訂金（元）：未買 預算/用途：用來跑DeepSeek 671b大模型推論機。模型大小404GB，需要全部載入DDR上用 CPU來算 CPU (中央處理器)： 全新 EPYC 7K62 48核心96線程 2.6G 正式版 $7500 MB (主機板)： 超微H11SSL-i 二手 ＄8900 RAM (記憶體)： 三星DDR4 ECC REG 64G 2666 x 8 $1600x8 = $12800 VGA (顯示卡)： 舊EVGA 3060 12G(已有) Cooler (散熱器)： 6熱管金錢豹AMD epyc 散熱器 $850 SSD (固態硬碟)： KIOXIA 鎧俠 Exceria G2 2TB M.2 2280 PCIe 3.0 ssd $3590 HDD (硬碟)： PSU (電源供應器)： 台達 金牌全模組650W $2890 CHASSIS (機殼)： MONITOR (螢幕)： Mouse/KB (鼠鍵)： OS (作業系統)： Ubuntu 其它 (自填)： 總價 (未稅/含稅)：$36530 CPU 主機板、DRAM在洶寶買。 是否有更好選擇 謝謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.226.75.31 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1739363103.A.053.html
推
02/12 20:28, 1月前 , 1F
洶寶<3
02/12 20:28, 1F
推
02/12 20:32, 1月前 , 2F
02/12 20:32, 2F
→
02/12 20:45, 1月前 , 3F
H11SSL-I只有PCI-E 3.0，你要確定耶，
02/12 20:45, 3F
→
02/12 20:45, 1月前 , 4F
還有沒有支援Resizable BAR，這H12才有
02/12 20:45, 4F
→
02/12 20:47, 1月前 , 5F
只用cpu跑，pcie沒關係
02/12 20:47, 5F
推
02/12 20:58, 1月前 , 6F
這一問一答要多久啊
02/12 20:58, 6F
推
02/12 21:08, 1月前 , 7F
要本地部署嗎？
02/12 21:08, 7F
→
02/12 21:09, 1月前 , 8F
我是覺得個人玩家直接用線上的就好，
02/12 21:09, 8F
→
02/12 21:09, 1月前 , 9F
自由度也高
02/12 21:09, 9F
推
02/12 21:24, 1月前 , 10F
這速度大概跟macmini跑速度差不多
02/12 21:24, 10F
推
02/12 21:26, 1月前 , 11F
https://is.gd/u3VvxG 這連結你參考一下
02/12 21:26, 11F
→
02/12 21:27, 1月前 , 12F
02/12 21:27, 12F
→
02/12 21:28, 1月前 , 13F
他是vram不是ram
02/12 21:28, 13F
→
02/12 21:29, 1月前 , 14F
我記得H100要好幾張
02/12 21:29, 14F
→
02/12 21:34, 1月前 , 15F
h100要8張，買不起。
02/12 21:34, 15F
推
02/12 21:34, 1月前 , 16F
肯定是淘寶或小黃魚買
02/12 21:34, 16F
推
02/12 21:35, 1月前 , 17F
用unsloth處理過只需要不到200G
02/12 21:35, 17F
→
02/12 21:37, 1月前 , 18F
我是用Z840，128G一萬多而已，再加
02/12 21:37, 18F
→
02/12 21:37, 1月前 , 19F
線上一直斷線，根本不能用
02/12 21:37, 19F
→
02/12 21:37, 1月前 , 20F
SSD、RAM、GPU
02/12 21:37, 20F
→
02/12 21:37, 1月前 , 21F
你串MAC MINI會不會比較快？
02/12 21:37, 21F
噓
02/12 21:37, 1月前 , 22F
荒唐
02/12 21:37, 22F
→
02/12 21:43, 1月前 , 23F
不過顯卡不延長只能插一張
02/12 21:43, 23F
→
02/12 22:12, 1月前 , 24F
deepseek 用CPU跑效率好嗎?
02/12 22:12, 24F
→
02/12 22:39, 1月前 , 25F
671b應該不太好，unsloth動態量化後
02/12 22:39, 25F
→
02/12 22:40, 1月前 , 26F
還可以，但是會有非預期EOF問題
02/12 22:40, 26F
→
02/12 22:41, 1月前 , 27F
哇....@@
02/12 22:41, 27F
→
02/12 22:44, 1月前 , 28F
老黃下巴掉了
02/12 22:44, 28F
推
02/12 22:48, 1月前 , 29F
我還是選擇api就好
02/12 22:48, 29F
推
02/12 22:49, 1月前 , 30F
這不會慢死嗎?
02/12 22:49, 30F
→
02/12 23:12, 1月前 , 31F
02/12 23:12, 31F
→
02/12 23:13, 1月前 , 32F
KTransformers可以參考一下
02/12 23:13, 32F
→
02/12 23:15, 1月前 , 33F
用GPU加速的純CPU方案
02/12 23:15, 33F
推
02/12 23:18, 1月前 , 34F
最大的參數量拿單機去跑很慢拉
02/12 23:18, 34F
→
02/12 23:21, 1月前 , 35F
哈哈哈哈哈哈
02/12 23:21, 35F
推
02/12 23:29, 1月前 , 36F
期待原po未來分享用cpu跑671b的效率
02/12 23:29, 36F
→
02/12 23:34, 1月前 , 37F
老哥 買顯卡跑蒸餾完的不就好了
02/12 23:34, 37F
→
02/12 23:50, 1月前 , 38F
收張3090跑32b就好
02/12 23:50, 38F
推
02/12 23:54, 1月前 , 39F
每天睡覺前問問題, 睡醒看回答嗎 XD
02/12 23:54, 39F
還有 28 則推文
→
02/13 08:35, 1月前 , 68F
02/13 08:35, 68F
→
02/13 08:36, 1月前 , 69F
謝謝，xeon也會研究一下
02/13 08:36, 69F
→
02/13 08:52, 1月前 , 70F
在前陣子ds剛爆紅時就在推特看過這種全
02/13 08:52, 70F
→
02/13 08:52, 1月前 , 71F
載ddram用cpu跑的方案，記得那時看到是
02/13 08:52, 71F
→
02/13 08:52, 1月前 , 72F
說大概5 tokens/s左右！？
02/13 08:52, 72F
推
02/13 08:52, 1月前 , 73F
期待後續成果
02/13 08:52, 73F
→
02/13 08:54, 1月前 , 74F
ktransformers聽說可以加速快30倍是真
02/13 08:54, 74F
→
02/13 08:54, 1月前 , 75F
假？
02/13 08:54, 75F
推
02/13 09:07, 1月前 , 76F
我記得很像有人用雙路cpu跑到13token/s
02/13 09:07, 76F
推
02/13 09:24, 1月前 , 77F
我幫你問deepseek本人了，感覺不太行
02/13 09:24, 77F
→
02/13 09:24, 1月前 , 78F
02/13 09:24, 78F
→
02/13 09:58, 1月前 , 79F
ktransformers建議是ram至少1t
02/13 09:58, 79F
→
02/13 10:23, 1月前 , 80F
1-10 tps可以接受
02/13 10:23, 80F
推
02/13 10:59, 1月前 , 81F
1tps 可以接受....猛
02/13 10:59, 81F
→
02/13 11:07, 1月前 , 82F
因為會寫程式去問它
02/13 11:07, 82F
→
02/13 11:16, 1月前 , 83F
ktrans 需要GPU 24GB VRAM 和382GB DRAM
02/13 11:16, 83F
推
02/13 11:57, 1月前 , 84F
這是為了玩還是工作? 2 3t/s真的不是人用的
02/13 11:57, 84F
→
02/13 11:57, 1月前 , 85F
deepseek自己的很塞可以用openrouter
02/13 11:57, 85F
→
02/13 11:57, 1月前 , 86F
即使免費的也有10t/s 怎樣都比 2 3t/s強
02/13 11:57, 86F
→
02/13 11:59, 1月前 , 87F
deepseek網頁版看起來應該有個3 40t/s
02/13 11:59, 87F
→
02/13 11:59, 1月前 , 88F
但有些問題光"想"它就能花上3 5分鐘
02/13 11:59, 88F
→
02/13 11:59, 1月前 , 89F
用你這方案豈不得跑一小時
02/13 11:59, 89F
推
02/13 12:02, 1月前 , 90F
網頁版的問題是現在服務常常不穩定
02/13 12:02, 90F
→
02/13 13:16, 1月前 , 91F
要建知識庫，不可能上傳網頁使用。
02/13 13:16, 91F
→
02/13 13:17, 1月前 , 92F
雙路13token0.3版才出不過MoE限制6個=閹割
02/13 13:17, 92F
→
02/13 13:23, 1月前 , 93F
ktrans至少要用16GB以上的顯卡，看來要換
02/13 13:23, 93F
推
02/13 23:46, 4周前 , 94F
02/13 23:46, 94F
→
02/13 23:46, 4周前 , 95F
discussions/11765
02/13 23:46, 95F
→
02/13 23:46, 4周前 , 96F
看這篇測q5的r1有4t/s
02/13 23:46, 96F
推
02/14 10:15, 4周前 , 97F
cpu跑ai模型？你是不是搞錯了什麼？
02/14 10:15, 97F
→
02/14 11:10, 4周前 , 98F
推論本來就可以用cpu跑
02/14 11:10, 98F
推
02/14 17:52, 4周前 , 99F
知識庫我用GOOGLE試算表一類的記錄，
02/14 17:52, 99F
→
02/14 17:52, 4周前 , 100F
算線上嗎？
02/14 17:52, 100F
噓
02/15 16:00, 3周前 , 101F
科技公司：原來AI這麼便宜的...
02/15 16:00, 101F
推
02/15 22:30, 3周前 , 102F
推論本來就可以用RAM跑 不過字就是慢慢吐
02/15 22:30, 102F
推
02/16 00:42, 3周前 , 103F
這會慢到不行吧
02/16 00:42, 103F
推
02/16 10:11, 3周前 , 104F
4060/3060ti 跑8b版本很快 供參
02/16 10:11, 104F
推
02/17 02:15, 3周前 , 105F
Ktransformer參考一下
02/17 02:15, 105F
→
02/17 02:15, 3周前 , 106F
02/17 02:15, 106F
→
02/17 02:15, 3周前 , 107F
https://bit.ly/3CHRceN 這個才對xd
02/17 02:15, 107F
‣ 更多 xiemark 的文章
文章代碼(AID): #1dh9CV1J (PC_Shopping)
討論串 (同標題文章)
以下文章回應了本文：
完整討論串 (本文為第 1 之 2 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共2篇)
PC_Shopping 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 xiemark 的文章
文章代碼(AID): #1dh9CV1J (PC_Shopping)