[心得] Dell Pro Max with GB10 2TB

看板PC_Shopping (個人電腦購買)作者CardLin (卡林)時間59分鐘前 (2026/08/11 21:05)推噓0(0推 0噓 1→)

留言1則, 1人參與討論串1/1

我入手 Dell Pro Max with GB10 2TB 價格比 ASUS GX10 1TB 便宜但整體仍然因漲價潮影響，還是會讓荷包大失血，分享我對它的看法給大家參考 Dell官網連結: https://tinyurl.com/4bmuzx49 0. 介紹簡單介紹 NVIDIA GB10 UMA 128GB 的架構基本上就是一個小電腦搭載 20 核心的聯發科 ARM 處理器加上最新的 NVIDIA GB20B (Blackwell 2.0) GPU 並搭配 128GB LPDDR5X 256bit 273.2 GB/s 的統一記憶體 (CPU & GPU 共用) 只能用 Ubuntu 24.04 作業系統，如果之後要重灌原廠官網有還原包詳細規格: https://www.techpowerup.com/gpu-specs/gb10.c4342 1.儲存空間由於 GB10 的儲存空間太小了，而且這台是 2TB QLC 在調研模型的時候動輒 10GB 的模型很快吃滿容量串接我的 NAS: i7-9700K + 128GB DDR4 + SSD 1TB x2 (RAID1) + HDD 18TB x8 (RAID6) 我在 RAID6 NAS 這台安裝 TP-Link TX401 10 Gigabit PCI Express 網路卡在 x4 插槽並用 CAT6A 直連兩個 10Gbps Port，然後設定 NAS 這台兩張網卡組成 Bridge 好處是不用買很貴的 10Gbps Hub，缺點是 NAS 這台要開機我的 GB10 才能連網實測掛載 NFS 速率如下: (NAS OS 是 Debian, RAID6 是 Software RAID mdadm) 寫: $ dd if=/dev/zero of=./testfile bs=100M count=10 conv=fdatasync 1048576000 bytes (1.0 GB, 1000 MiB) copied, 3.50447 s, 299 MB/s 讀: $ dd if=./testfile of=/dev/null bs=100M count=10 1048576000 bytes (1.0 GB, 1000 MiB) copied, 0.918901 s, 1.1 GB/s 寫入速度受限於硬碟的速度，而 RAID6 多硬碟可以大幅加快讀取速度至於 100G 的光纖網路方案，網上有某家 NAS 的文章感覺是業配，且 100G 卡很貴作罷每個 GB10 有 100Gbps x 2 Port 可以串接第二台 GB10 進行共同運算雖然我接 10G 寫入跑不滿，但至少讀取模型才是最主要的操作，已可達到 1.1 GB/s 建議有要用 10Gbps NAS 的用戶要用 NVMe RAID1 當快取速度才能滿速運轉另外我初期 GB10 只用 1Gbps 網路實在是太慢，不建議這樣配置 2.CPU速度 CPU 雖然是 ARM 架構但編譯軟體非常流暢編譯 OpenCV with CUDA support 只花十分鐘不到 (20核心ARM) 同樣的編譯參數拿到 Windows + x86 大概要花三十分鐘以上 (8核心5700X3D) 3.GPU 與 VRAM 速度它的定位是一個 RTX5070 等級的 GPU 運算性能 + 128GB 慢速 RAM (因需相容CPU) 相比於 RTX5070 12GB 的 672.0 GB/s 存取速度，273.2 GB/s 只有一半不到 4.CUDA效能如果你要寫 CUDA 程式在上面跑跑看的話，可以直接沿用 x86 的程式不用改宣告在 UMA 的 cudaMallocManaged() 的記憶體在 CPU + GPU 可以同時存取但實際測試 cudaMalloc() 宣告只能在 GPU 使用的記憶體存取速度快 10% 以上測試版本是 Driver Version: 580.173.02 CUDA Version: 13.0 5.AI LLM 大型語言模型基本上 100B 左右都有機會可以放進 Q4 (量化成4bit) 的模型我有用過最大的模型是 Qwen3.5-122B-A10B https://github.com/albond/DGX_Spark_Qwen3.5-122B-A10B-AR-INT4 大概會占用 100GB 的 VRAM，速度被這位大神優化到還蠻快的 52 tok/s GB10在大語言模型的優點是記憶體大，可以放下足夠長的上下文跟用較聰明的模型缺點是記憶體慢，所以 pre-fill 很慢，導致整體體驗會覺得比線上 API 慢很多 pre-fill 就是輸入的 token 讀取速度，由於 Hermes Agent (或龍蝦 OpenClaw) 這類 Agent 程式都要管理記憶，所以會累積到 100K tokens 十萬字左右的篇幅而 GB10 的 pre-fill 速度在一些如 35B-A3B 的模型可達最高 1000 toks/s 左右等於是你首次問一個問題要花 100 秒才會得到回應，當然第二次有 cache 會變快而 122B 大模型可能掉到 200 toks/s 所以拿來跑龍蝦的話，500 秒才會回應... 35B-A3B 的速度之數量級 (印象中的速度) 記憶體占用 24GB 左右文字輸入速度: GB10=1000tok/s RTX5090=4000tok/s 文字輸出速度: GB10=100tok/s RTX5090=200tok/s 相比於線上 API 的白菜價，用 GB10 跑 LLM 基本上不划算， OpenAI 的線上 API 文字輸入速度都是 10000tok/s 以上只要 ChatGPT 訂閱帳號可以串接 Hermes Agent 或 OpenClaw 使用 gpt-5.6-luna 就很好用，所以我打算不拿 GB10 跑 LLM 除非你有隱私需求，但考量速度會建議你買 RTX5090 6. AI Vision 文生圖、圖生圖、文生影片、圖生影片 / AI Audio 語音合成等我覺得 GB10 的優點是有大記憶體，所以反而很適合跑一些影片生成類的生產力工具原因是線上的生成影片 API 實在是非常貴，如生成1秒要價1台幣，還不確定達到成果也就是 Comfy UI 的工作流了， Comfy UI 是個可將 AI 模型產出串接另一 AI 的工具例如我今天輸入想說出的文字及老王的語音範本跟老王照片，要產出老王說出特定的文字就可以將這個語音生成的結果串接到下一個節點接入嘴型生成的AI模型搭配老王的照片就可以產出老王講出特定內容的影片，也就是YT上各種AI生成的主播線上 API 生成 10 分鐘就要 600 台幣了，跑在 GB10 可能要花半天運算，但省錢而且很彈性，做壞了就再花幾小時重新運算，並且可以將 Comfy UI 設定好的參數存檔網路上也有很多 GitHub 會放 Comfy UI 的插件，可以隨時加入最前沿的模型以供使用而生一個 720p 影片會用超過 32GB 的 VRAM 所以 GB10 相對比 RTX5090 還要更適合而且開始生成時可以關閉瀏覽器，Comfy UI 是透過網頁，等跑完再連入取得結果即可 7. AI Agent 如果目標是 LLM 的代理人可能要再想想，它的速度堪用但不夠快，為了隱私的話可接受基本上我在這台跑 Hermes + OpenAI gpt-5.6-luna 協助我佈署，下載模型只要貼網址如果你要跑本地 LLM 用於 AI Agent 我建議用這個GitHub： (Qwen3.5-35B-A3B vLLM 最佳化) https://github.com/yunusshin/DGX_Spark_Qwen3.5-35B-A3B-Optimized 可以一開始就下這個命令要他記住: (請自行修改) "請記住您是一個執行在 NVIDIA DGX Spark (GB10) 128GB UMA + ARMv9.2 + 2TB QLC SSD 的 BOT ，並且擁有 sudo 權限，而你只能使用內建的 cuda-13.0 + cudnn 9.23.2 + tensorrt v110100 ，而你的網路是透過 10Gbps 內網連結 18TBx8 RAID6 (108TB) 的 NAS ，這個磁碟掛載在 /storage 是專門給你用的。所以請使用上述內建的 CUDA Lib 版本，並且盡量使用 /storage 這個空間，而避免使用 /home 或 /tmp 等空間因為它是 QLC 比較不耐寫，我希望你的壽命長久。" 以避免 AI 使用不相容版本的 CUDA 或是自行幻想自己是 x86 平台雖然我覺得拿 GB10 跑 LLM 好像比較不划算，比幾乎同價格的 RTX5090 慢 8. 螢幕接口 GB10 可輸出螢幕的接口有 HDMI x1 + TypeC x3 (已扣除電源的TypeC接口) 算是可以接 4 個螢幕，與一般顯卡的數量相同，作業系統是 Ubuntu 需考慮軟體相容性結論： GB10 整體來說可以讓你有一台獨立可跑 AI 的小電腦，讓人可以用低成本導入 AI 但它的缺點是效能較低，特別是記憶體頻寬不夠大，所以購買前請務必先評估效能優點是很省電且可以載入市面上大多數的模型，泛用性比 RTX5090 還要好非常適合用於 AI 專案的前期模型佈署相關調查研究，固定成本可讓你不斷試錯也可以讓你用這個平台嘗試目前最前沿的模型，基本上每個月都有新模型可以試等到效果達標，有需要加速的時候再購買更高規格硬體，或是使用雲端虛擬主機至於儲存的部分則建議串聯 10G 內網連接 NAS 才有充足的空間讓你嘗試最新模型這也難怪 4TB 版本會賣那麼貴，插 TypeC 的 SSD 也可以考慮，它的 TypeC 是 20Gbps 希望人人都能找到適合自己的 AI 平台，買了 GB10 之後覺得購買前可先考試試雲端 API 因為最前沿的模型通常是要拿來賺錢，尚未開源，開源模型通常要等一陣子 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.227.154.12 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1786453501.A.9D2.html