Re: [菜單] DeepSeek 671b大模型推理機

看板PC_Shopping (個人電腦購買)作者a1e (我上了賊船了囧)時間3天前 (2025/02/15 22:21)推噓9(9推 0噓 7→)

留言16則, 11人參與討論串2/2 (看更多)

※ 引述《xiemark (aisinjuro)》之銘言： : 已買/未買/已付訂金（元）：未買 : 預算/用途：用來跑DeepSeek 671b大模型推論機。模型大小404GB，需要全部載入DDR上用 : CPU來算 : CPU (中央處理器)：全新 EPYC 7K62 48核心96線程 2.6G 正式版 $7500 : MB (主機板)：超微H11SSL-i 二手＄8900 : RAM (記憶體)：三星DDR4 ECC REG 64G 2666 x 8 $1600x8 = $12800 : VGA (顯示卡)：舊EVGA 3060 12G(已有) : Cooler (散熱器)： 6熱管金錢豹AMD epyc 散熱器 $850 : SSD (固態硬碟)： KIOXIA 鎧俠 Exceria G2 2TB M.2 2280 PCIe 3.0 ssd $3590 : HDD (硬碟)： : PSU (電源供應器)：台達金牌全模組650W $2890 : CHASSIS (機殼)： : MONITOR (螢幕)： : Mouse/KB (鼠鍵)： : OS (作業系統)： Ubuntu : 其它 (自填)： : 總價 (未稅/含稅)：$36530 : CPU 主機板、DRAM在洶寶買。 : 是否有更好選擇 : 謝謝這幾天前的舊文，今天才想到，你不是第一個想到用AMD EPYC跑AI 這邊也有人用跟你類似的配備跑671B deepseek https://www.youtube.com/watch?v=Tq_cmN4j2yY

512GB DDR4 RAM MZ32-AR0 motherboard 64 core EPYC CPU (cpu選下面三個其中一個) 7702 7C13 7V13 Rack Frame CPU cooler h170i elite capellix xt 1TB NVMe - Samsung 980 Pro 850W PSU ------------------------------------- 他這樣成本約2000美元，他為了省成本用的是上一代的EPYC CPU 他是可以跑671B的deepseek，但他token產生速度也慢的要死他影片就說了，一秒大約3~4 token，你看他影片中文字輸出速度也看的出來他影片下面的網站連結也有他整個軟體建置教學如果你打算個人用是還好，但你要多人用，除非你們團隊可以忍受這速度不然還是乖乖付錢找有提供deepseek的雲端主機商來用 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.228.125.250 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1739629270.A.C09.html

推

applejone

02/15 22:55, 3天前 , 1^F

02/15 22:55, 1^F

→

applejone

02/15 22:55, 3天前 , 2^F

02/15 22:55, 2^F

推

wsdykssj

02/15 23:07, 3天前 , 3^F

02/15 23:07, 3^F