PTT數位生活區 / Storage_Zone (儲存裝置)

[心得] 自組家用 Server / 虛擬化 NAS

看板Storage_Zone (儲存裝置)作者 (HMKRL)時間3年前 (2021/03/23 18:03), 3年前編輯推噓31(31推 0噓 13→)
留言44則, 29人參與, 3年前最新討論串1/1
前情提要： #1WCn4E7C (PC_Shopping) 因為家人好久以前買的NAS差不多滿了 + 效能太差 決定來自組一台 主要用途是放照片 & 很多 BD 轉檔出來的影片 為了穩定性要上 ECC 記憶體 原本考慮 i3-9100 + C246 主機板 但訂貨不知道要等多久 i3-9100 當NAS過頭 做其他用途又不太夠力 做了點測試後發現目前的日用主機 (Ryzen 3900X + TUF X570 Plus) 支援ECC沒問題 就打算把所有東西都虛擬化了 新增零組件： 1. ECC 記憶體 Kingston KSM26ED8/16ME 16GB x4 QVL上的唯一一組有標ECC的 RAM 原本打算求穩跑預設2666就好 但後來發現這個東西 https://i.imgur.com/dTEZAOO.png
不知道是美光不產8Gb的 2666 E-die了還是別的原因 直接用3200等級的顆粒取代 拿到的記憶體上也確認顆粒是 D9WFL (1.2V 3200MHz等級) 所以就設定成JEDEC 3200Mhz了 (華碩BIOS還偷加電壓到1.35 要手動回1.2) 跑了8輪的 memtest86 沒有問題 ECC 功能也正常啟動 2. CPU塔散 (風魔二) 原本直接用原廠散熱器，不超其實夠用 但因為能裝多硬碟的機殼相對風流比較差 也不希望CPU熱氣吹去硬碟那邊 就上了塔散 3. Intel I350-T4 網卡 我打算連路由器一起虛擬化 所以多買了一張Dell Server拆機卡 取代掉主機板的Realtek網卡 (那張設固定IP當作管理界面用) 這張卡很多假貨 我自己覺得比起買所謂的"新品" 不如買拆機卡 4. WD HC320 8TB x 4 四顆組 RAIDz2 剛拿到會是512e格式 可以用WD的 "hugo" 工具轉換成4Kn hugo format -b 4096 --fastformat 工具可以跟原廠客服要 或是搜一下也有人放連結出來 轉換完後會看到 Pyhsical / Logical block size 都是 4096 5. 機殼 FD R5 這邊就要感謝鄉民了，這咖是原廠不良品RMA沒有收回的 他直接讓我搬來自己修 搞定又能用了（！） 能裝8顆3.5吋 HDD 雖然沒有熱插拔但硬碟方向拆裝很方便 又安靜 搭配14CM風扇散熱也還不錯 算是組家用Server的好選擇 6. Arctic P14 PWM CO 風扇 x3 前二後一 因為基本上不會關機就直接上了雙滾珠的CO版本 風壓扇可以有效把氣流吹過硬碟架 (也有人會拿 F 版本風量扇裝背版 但我查起來 P 版好像是新的馬達乾脆直上) 要稍微調整一下排風扇的轉速 低速狀況要比前風扇低 不然會負壓變吸塵器 7. CyberPower CP1000PFCLCD UPS 一堆硬碟還是裝台UPS比較安心，用 COM Port 接到電腦 配合PowerPanel程式 停電過60秒後就會自動關閉所有虛擬機後關機 系統部份： 底層用 Proxmox VE 當 Hypervisor 上面跑幾台VM - TrueNAS 直接Passthrough 主機板的 SATA controller 可以直接控制硬碟 符合ZFS的需求 - vyos 軟體路由器 Passthrough intel 網卡 網路線從中華GPON機拉出來直接接過來撥PPPoE 再用第二個Port當成LAN接給AP和Switch給其他設備 - 日用機 Linux 日用機，Passthrough一張 RX570 以及主機板的所有 USB Controller 還有一塊 NVMe SSD當系統碟 其他還有給朋友玩的 Minecraft server / Handbrake 轉檔機 jellyfin 等等 和 NAS 比較無關就不提了 網路設定： 自組 NAS 很多人都會裝 10G 網卡 才不會卡在 1Gbps 頻寬 網卡可以撿拆機貨 但交換器就很貴 線材什麼的也都會增加成本 全部虛擬化的優點就是不用煩惱這個 直接建一條 Bridge network MTU 開到 9000 當作虛擬機之間的高速通道 https://i.imgur.com/A4PIaxO.png
直接有 30G 的內部連線 不管是轉檔VM還是日用機都走這條 另外再建一個bridge介面 負責對外的網路連線 要從外網連回來的話為了安全起見用 WireGuard 當 VPN 連上才能存取NAS和VM (剩下開放的 Port 就是SSH 只允許pubkey登入) 整個建好後測試讀寫效能 4顆RAIDz2寫入可以到400MB/s左右 但讀取目前好像有OpenZFS的issue( https://github.com/openzfs/zfs/issues/9375 ) 我自己測試只有 250-300MB/s 但對於影音檔來說很夠用了 想了想還是保留RAIDz2 沒有改用striped mirrors 硬碟溫度也都在40度以下 也還有四顆硬碟的擴充性 比起市售NAS划算很多 但建議沒有相關經驗的話要認真考慮XD 過程中遇到問題不少 想辦法解決的人力也是成本 (還不一定解的掉) -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.116.245.242 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Storage_Zone/M.1616493812.A.463.html
推
03/23 20:08, 3年前 , 1F
推
03/23 20:08, 1F
推
03/23 20:13, 3年前 , 2F
推～
03/23 20:13, 2F
推
03/23 20:22, 3年前 , 3F
03/23 20:22, 3F
→
03/23 20:30, 3年前 , 4F
你的備份裝置用了什麼不寫一下？
03/23 20:30, 4F
照片類的這邊一份 Google相簿一份 離線外接硬碟一份 舊NAS一份 BDrip的影片資料不特別備份 反正原片都封存 真的出事大不了全部重壓 想說備份算是另外一個議題了 就沒有一起放進去～
→
03/23 20:54, 3年前 , 5F
正 3200 燒不過,打下來當 2666賣,又或者是2666沒料
03/23 20:54, 5F
→
03/23 20:54, 3年前 , 6F
拿3200 原生顆粒來頂,也不是什麼太意外的事情吧
03/23 20:54, 6F
→
03/23 20:55, 3年前 , 7F
要是後者就是撿到100% ,前者好歹只是heavy loading
03/23 20:55, 7F
→
03/23 20:55, 3年前 , 8F
沒過官方要求而已,還是可以跑跑
03/23 20:55, 8F
敢這樣用除了上面那份資料以外還有兩個原因 1. https://media.kingston.com/pcn/PCN_KSM26ED8_16ME_P.pdf "Phase out due to supplier DRAM density transition." 這款的後繼產品是用 "16Gb" 顆粒 => 舊顆粒要慢慢停產了 先用新的墊著 2. 除了 memtest以外還有用 mprime(P95) 燒了兩三晚的記憶體壓力測試 都沒出現問題 (ECC也回報沒有發生後被糾正的錯誤) 不然ZFS這麼吃RAM的東西其實不應該這樣搞的XD
推
03/23 21:43, 3年前 , 9F
推 請問日用機是用什麼協定掛 storage？
03/23 21:43, 9F
目前都是開 NFS (都是家人用不太需要管權限) 不然我覺得 SMB 會好管理一點
推
03/23 22:08, 3年前 , 10F
謝謝
03/23 22:08, 10F
推
03/23 22:27, 3年前 , 11F
+1這幾年也從ESXi換到PVE
03/23 22:27, 11F
推
03/23 22:31, 3年前 , 12F
請問從 ESXi 換到 PVE 的動機是？
03/23 22:31, 12F
推
03/23 23:03, 3年前 , 13F
強者推
03/23 23:03, 13F
推
03/24 00:02, 3年前 , 14F
推 一直覺得現在硬體效能過剩了，除非要長期跑運算
03/24 00:02, 14F
→
03/24 00:02, 3年前 , 15F
，不然閒置時間其實很長，用虛擬化就能善用這些資
03/24 00:02, 15F
→
03/24 00:02, 3年前 , 16F
源
03/24 00:02, 16F
推
03/24 01:34, 3年前 , 17F
03/24 01:34, 17F
推
03/24 03:56, 3年前 , 18F
推
03/24 03:56, 18F
推
03/24 10:55, 3年前 , 19F
推 最近想搞但第一次碰pve好像有點小難，不知道有
03/24 10:55, 19F
→
03/24 10:55, 3年前 , 20F
沒有推薦的學習資源
03/24 10:55, 20F
PVE我問題解法幾乎都是官方文件找來的 如果是教學可以翻翻Youtube
推
03/24 14:02, 3年前 , 21F
看不懂給推
03/24 14:02, 21F
推
03/24 14:28, 3年前 , 22F
推
03/24 14:28, 22F
推
03/24 15:53, 3年前 , 23F
我的PVE Bridge也是這樣用 不過跑起來只有2XGb
03/24 15:53, 23F
這個速度很吃CPU資源 我跑滿30G的時候3900X的佔用率會衝到10-20%
推
03/24 15:59, 3年前 , 24F
金搞剛給推XD
03/24 15:59, 24F
真的XD
推
03/24 16:40, 3年前 , 25F
推 自己也用i5 4代 架pve跑omv+openwrt+plex omv再
03/24 16:40, 25F
→
03/24 16:40, 3年前 , 26F
跑docker架aria2+openvpn+homeassistant 爽爽用中
03/24 16:40, 26F
可惜i家把 ECC 鎖了 不然其實原本想拿類似的CPU來組的 ※ 編輯: HMKRL (140.116.245.242 臺灣), 03/24/2021 19:05:31
推
03/25 06:30, 3年前 , 27F
好屌，我光用pi做個簡易NAS都懶..
03/25 06:30, 27F
推
03/25 10:04, 3年前 , 28F
推
03/25 10:04, 28F
推
03/25 13:38, 3年前 , 29F
好奇問一下那個bridge怎麼做的？可以衝到30G頻寬？
03/25 13:38, 29F
推
03/25 14:04, 3年前 , 30F
在PVE上建一個Linux Bridge 指定一個網路範圍
03/25 14:04, 30F
→
03/25 14:04, 3年前 , 31F
不要綁任何Port 然後把想要連上的虛擬機或LXC各自
03/25 14:04, 31F
→
03/25 14:04, 3年前 , 32F
添加一個網路介面到這個bridge並指定一個IP即可
03/25 14:04, 32F
推
03/25 16:58, 3年前 , 33F
資源利用的有點威猛 不只省錢還圖了方便
03/25 16:58, 33F
推
03/26 09:02, 3年前 , 34F
推專業分享！
03/26 09:02, 34F
推
03/26 10:07, 3年前 , 35F
感謝Esvent解釋 有機會來試試看 謝謝
03/26 10:07, 35F
推
03/26 10:52, 3年前 , 36F
推 我想知道待機功耗大該多少?
03/26 10:52, 36F
→
03/26 13:33, 3年前 , 37F
暫時沒機會看到待機XD 正在從舊NAS拉資料 UPS回報12
03/26 13:33, 37F
→
03/26 13:33, 3年前 , 38F
0W 待機我猜應該100上下吧
03/26 13:33, 38F
推
03/26 15:44, 3年前 , 39F
感謝!
03/26 15:44, 39F
推
03/26 19:22, 3年前 , 40F
推
03/26 19:22, 40F
推
03/26 21:42, 3年前 , 41F
推
03/26 21:42, 41F
推
03/27 11:19, 3年前 , 42F
推 我用PVE上面架OpnSense和Xpenology
03/27 11:19, 42F
推
03/28 10:18, 3年前 , 43F
強者推 順便收藏以後參考
03/28 10:18, 43F
推
03/29 22:39, 3年前 , 44F
推
03/29 22:39, 44F
‣ 更多 HMKRL 的文章
文章代碼(AID): #1WMRpqHZ (Storage_Zone)
Storage_Zone 近期熱門文章
更多 近期熱門文章 >>
PTT數位生活區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 HMKRL 的文章
文章代碼(AID): #1WMRpqHZ (Storage_Zone)