[心得] FreeNAS / TrueNAS 七年之癢(?)

看板Storage_Zone作者 (旅法師)時間1年前 (2022/10/07 15:49), 1年前編輯推噓17(17推 0噓 24→)
留言41則, 21人參與, 1年前最新討論串1/2 (看更多)
網誌沒有比較好讀版: https://tonysanv.blogspot.com/2022/10/truenas-freenas-7-years-later.html 七年前古文: #1MMGYTuc (Storage_Zone) 自從組 FreeNAS 已經過了七年，特別寫一篇 blog 詳述中間各種變化與升級，下面條列 升級重點，給沒時間細讀的人參考: 記憶體加滿 - 128G 加了一張 PCIe NVMe 擴充卡 把開機 USB 換成 NVMe 再多加一張 NVMe 當成 L2ARC 硬碟就地升級成 8TB 拆外接硬碟，改 SATA 電源接頭 用 smartctl 跟 badblocks 壓力測試硬碟 陣列重組 (resilvering) 升級區網，終於讓主機板上的 10G 網卡解除限制器 CIFS 效能從 3.5Gbps 提升到 5.45Gbps 對細節有興趣的請繼續往下看... 在 FreeNAS 上面跑幾個比較肥的 VM，記憶體有多少都不夠用。因此把記憶體加滿這種事 情在經過大腦思考前，膝蓋都已經下單結帳完了。不過每次重開機，VM 也會跟著一起重 開，不太方便，後來就把 VM 上跑的東西慢慢移到另外一台機器上跑 docker。 古早以前，FreeNAS 開機是放在 USB 上面，但自從 11.1 後，開機碟會有頻繁的讀寫， 官方建議放在正常的硬碟上。（當然我是直到 USB 碟掛點了才知道這件事情。） 但這張 主機板已經沒有多餘的插槽裝二個開機碟。 還好主機板上還有一個 PCIe x16，我當然也可以裝一張 HBA 擴充卡，或者是這個閃閃發 光的神奇裝置 (ASUS Hyper M2 擴充卡)，而且正好主機板有支援 PCIe bifurcation，唉，我的膝蓋又下單了...　 而且好像可以多插幾張NVMe... 那就順便加個 L2ARC 好了！ 不過對效能影響最大的升級不在機器本身，當我把區網升級到 2.5G / 10G 後，限制器整 個解除，六顆 WD Red 4TB 竟然 CIFS 可以維持在 3.5Gbps，整個跌破眼鏡。 不久後武漢肺炎（與它的變種們）就爆發了，加州還因為野火太旺，直接進入媽的刀鋒戰 士，接著供應鏈炸裂，跟不知道哪個天才發明的奇亞幣，讓硬碟價錢跳了好幾階，我的升 級計畫就暫時被擱置了... 直到某一天在附近的溝子口看到特價硬碟，我的膝蓋就拿出信用卡下單了。但這特價硬碟 需要稍微處理一下才能用，要先從外接盒裡把硬碟拆出來，並且把 SATA 電源接頭第三腳 用絕緣膠帶貼起來（用 Molex 轉 SATA也可以） 接上去確定硬碟都抓到以後，就開始燒機測試（注意，以下的燒機測試會同時燒掉硬碟上 的資料），用 smartctl 短長各跑一輪，接下來用 badblocks 進行讀寫測試（ -c 用大 一點會跑稍快），測試完後再跑一次 smartctl long... 這顆 8TB 總共花了 110 小時才 跑完（建議全部接上去，一口氣壓測）。我另一台機器只有 4 SATA port，只好分二批測 。 （測完以後發現有二顆硬碟讀寫稍微快一點（2%），不知是硬碟樂透，還是正常的效能浮 動。） 燒機燒完確定沒有不良品，SMART 數值正常，就可以上線啦！利用 resilver 機制一顆一 顆慢慢換，每次 10 小時，換到後面越來越快，可能是因為從 5400 轉升級到 7200 轉， 讓整體效能慢慢增加的原因吧？換完 raid z2 pool 容量就自動升級到 8TB x (6-2) 最後 CIFS 實測，cache miss 可以維持在 5.45Gbps，disk busy 大概在 80% 左右，看 來在區網全面升級成 10Gbps 之前，這台可以再戰個幾年沒有問題。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 99.105.214.152 (美國) ※ 文章網址: https://www.ptt.cc/bbs/Storage_Zone/M.1665128972.A.52F.html ※ 編輯: tonysan (99.105.214.152 美國), 10/07/2022 15:50:58
推
10/07 16:12, 1年前 , 1F
請問 VM 是跑什麼? 需要這麼多記憶體?
10/07 16:12, 1F
→
10/07 16:15, 1年前 , 2F
其實就算只跑TrueNAS, ARC也會慢慢吃光128G
10/07 16:15, 2F
→
10/07 16:16, 1年前 , 3F
當時VM跑一個 Ubuntu Desktop，二個Ubuntu server,
10/07 16:16, 3F
→
10/07 16:16, 1年前 , 4F
上面塞一堆service (crashplan, plex, pihole….)
10/07 16:16, 4F
推
10/07 16:18, 1年前 , 5F
看別人花錢就是爽快（？
10/07 16:18, 5F
→
10/07 16:18, 1年前 , 6F
很有趣的紀錄 XD
10/07 16:18, 6F
推
10/07 16:21, 1年前 , 7F
貧窮真的會限制一個人的想像
10/07 16:21, 7F
→
10/07 16:23, 1年前 , 8F
分七年攤下來其實沒有很貴（？
10/07 16:23, 8F
→
10/07 16:33, 1年前 , 9F
一直都有計劃搞一個 但是沒有空間給我擺 /__\
10/07 16:33, 9F
→
10/07 17:16, 1年前 , 10F
arc預設就是全用啊 你有用zilog嗎？
10/07 17:16, 10F
→
10/07 17:46, 1年前 , 11F
沒有用ZIL，Write heavy application 會跑完再cron
10/07 17:46, 11F
→
10/07 17:46, 1年前 , 12F
rsync回來
10/07 17:46, 12F
推
10/07 18:49, 1年前 , 13F
我只有給他12G，然後是放在 PVE 上
10/07 18:49, 13F
→
10/07 18:49, 1年前 , 14F
PCI passthrough 進去給他吃 sata controller
10/07 18:49, 14F
→
10/07 18:49, 1年前 , 15F
讀寫效能就，普普通通吧
10/07 18:49, 15F
推
10/07 19:37, 1年前 , 16F
感謝經驗分享
10/07 19:37, 16F
→
10/07 19:38, 1年前 , 17F
原PO的膝蓋真好動XD
10/07 19:38, 17F
推
10/07 19:51, 1年前 , 18F
有料
10/07 19:51, 18F
推
10/07 19:52, 1年前 , 19F
比較好奇原PO用什麼平台跑FreeNAS
10/07 19:52, 19F
推
10/07 21:35, 1年前 , 20F
感謝分享
10/07 21:35, 20F
→
10/07 22:09, 1年前 , 21F
我之前freenas 11.3隨身碟boot也是死很快，後來改5
10/07 22:09, 21F
→
10/07 22:09, 1年前 , 22F
00G SSD外接
10/07 22:09, 22F
→
10/08 00:15, 1年前 , 23F
我用 FreeNAS 跑在USB 上也是常常死掉
10/08 00:15, 23F
→
10/08 01:29, 1年前 , 24F
a我id看七年前的文章 上面有寫
10/08 01:29, 24F
→
10/08 01:30, 1年前 , 25F
Supermicro X10 Xeon D ITX
10/08 01:30, 25F
推
10/08 08:46, 1年前 , 26F
用舊的128g的mlc來灌truenas scale應該不會死很快吧
10/08 08:46, 26F
→
10/08 10:41, 1年前 , 27F
應該不會，但安全起見，mirror boot 壞一顆還可以
10/08 10:41, 27F
→
10/08 10:41, 1年前 , 28F
救XD
10/08 10:41, 28F
→
10/08 10:41, 1年前 , 29F
不過我還沒升級到Scale
10/08 10:41, 29F
推
10/08 10:53, 1年前 , 30F
原PO的那篇文章也七年了啊...
10/08 10:53, 30F
推
10/08 12:23, 1年前 , 31F
我現在在弄，也是掛在pve 上弄sata直通
10/08 12:23, 31F
→
10/08 12:24, 1年前 , 32F
scale的VM不能直通顯卡，超哭
10/08 12:24, 32F
→
10/08 12:37, 1年前 , 33F
Scale 還不夠成熟，再給他一點時間
10/08 12:37, 33F
推
10/09 16:25, 1年前 , 34F
推分享
10/09 16:25, 34F
推
10/09 16:31, 1年前 , 35F
pve sas2308 直通+1
10/09 16:31, 35F
推
10/09 17:16, 1年前 , 36F
zfs很吃記憶體
10/09 17:16, 36F
※ 編輯: tonysan (99.105.214.152 美國), 10/10/2022 11:11:08
→
10/10 11:12, 1年前 , 37F
如果要SAS 可以考慮 X10SDV-7TP4F 神版
10/10 11:12, 37F
推
10/11 13:02, 1年前 , 38F
可以請教一下超微的板要去那買?
10/11 13:02, 38F
推
10/11 19:57, 1年前 , 39F
巴德？或是有在賣伺服器的 SI 廠商？
10/11 19:57, 39F
→
10/11 19:57, 1年前 , 40F
拍賣平台搜一下有些賣家看起來也是專賣這類的。
10/11 19:57, 40F
推
10/12 00:21, 1年前 , 41F
感謝分享
10/12 00:21, 41F
‣ 更多 tonysan 的文章
文章代碼(AID): #1ZFzeCKl (Storage_Zone)
‣ 更多 tonysan 的文章
文章代碼(AID): #1ZFzeCKl (Storage_Zone)