Re: [心得] FreeNAS / TrueNAS 七年之癢(?)

看板Storage_Zone作者hazemay (衝吧~~阿斯啦)時間1年前 (2022/10/11 23:53)推噓9(9推 0噓 17→)

留言26則, 9人參與討論串2/2 (看更多)

看到了這篇文章剛好來分享一下最近大概半年的折騰經驗，內容有點長的流水帳。請斟酌觀看，謝謝一開始沒有要搞自組NAS，自組NAS完全就是自己白癡挖了一個坑給自己因為工作的需要見大量的VM來模擬客戶的手上環境，並且在佈署上客戶正式機前能夠多做幾次的驗證，所以購買了一台雙CPU的洋垃圾(18CORE/一顆，共72執行序) 256GB ECC DDR3(本來想打雞血BIOS，但是後來發現瓶頸在硬碟就先擱置) 安裝了ESXI 6.7免費版授權，VM上線後就發現硬碟就是我自己挖的坑，本來想說買一個10TB的傳統硬碟就夠了。結果遠遠不夠，開一兩個VM就已經把SATA 6Gb/S塞爆了。接下來因為沒有預算，後來在網路上爬到了ISCSI的方式可以用，在既有的QNAP的NAS上開了一個POOL 把ISCSI打開，然後.....抓不到。ESXI怎麼樣都抓不到QNAP的ISCSI的服務最後發現了ESXI+FREENAS的實際應用範例。我就開始在庫房裡面翻找湊了6顆1TB有5400&7200的硬碟、i7-4770K的主機、16GB的記憶體、1顆128GB的SSD 另外領了一個USB3的外接盒跟16GB的隨身碟就開始了我的自建NAS之旅。把I7-4770K的內建Quadro P600拔起來改內顯(反正只要亮機) TRUENAS安裝在外接隨身碟(沒辦法，預算評估沒做好只能自己吞) 6個1TB做RAIDZ(好像等同RAID5)勉強有個容錯就行，為了增加效能就把SSD裝在USB3外接盒，做快取。照網路文章設定的就抓到ISCSI硬碟空間了，接下來把VM從內建10T轉移到ISCSI中 VM常駐4個目前效能都足夠，至少告一段落了後來又在庫房翻到E3-1231V3的主機，恰好原本的4BAY的NAS退役。把2T*4的NAS組上去，原本的I7-4770K上的RAM拆一半給E3用 E3-1231 V3 + 8GB + 亮機卡 + 2T*4 + 16GB隨身碟搞起來變成第二組TRUENAS 準備拿來當正式NAS的第三備份。(4BAY NAS因為主板掛了只好讓他退役) 感覺還是蠻基本的應用，遠遠比不上元PO大大的極限玩法。分享到此，謝謝大家。 ※ 引述《tonysan (旅法師)》之銘言： : 網誌沒有比較好讀版: : https://tonysanv.blogspot.com/2022/10/truenas-freenas-7-years-later.html : 七年前古文: #1MMGYTuc (Storage_Zone) : 自從組 FreeNAS 已經過了七年，特別寫一篇 blog 詳述中間各種變化與升級，下面條列 : 升級重點，給沒時間細讀的人參考: : 記憶體加滿 - 128G : 加了一張 PCIe NVMe 擴充卡 : 把開機 USB 換成 NVMe : 再多加一張 NVMe 當成 L2ARC : 硬碟就地升級成 8TB : 拆外接硬碟，改 SATA 電源接頭 : 用 smartctl 跟 badblocks 壓力測試硬碟 : 陣列重組 (resilvering) : 升級區網，終於讓主機板上的 10G 網卡解除限制器 : CIFS 效能從 3.5Gbps 提升到 5.45Gbps : 對細節有興趣的請繼續往下看... : 在 FreeNAS 上面跑幾個比較肥的 VM，記憶體有多少都不夠用。因此把記憶體加滿這種事 : 情在經過大腦思考前，膝蓋都已經下單結帳完了。不過每次重開機，VM 也會跟著一起重 : 開，不太方便，後來就把 VM 上跑的東西慢慢移到另外一台機器上跑 docker。 : 古早以前，FreeNAS 開機是放在 USB 上面，但自從 11.1 後，開機碟會有頻繁的讀寫， : 官方建議放在正常的硬碟上。（當然我是直到 USB 碟掛點了才知道這件事情。）但這張 : 主機板已經沒有多餘的插槽裝二個開機碟。 : 還好主機板上還有一個 PCIe x16，我當然也可以裝一張 HBA 擴充卡，或者是這個閃閃發 : 光的神奇裝置 (ASUS Hyper M2 擴充卡)，而且正好主機板有支援 PCIe bifurcation，唉，我的膝蓋又下單了...　 : 而且好像可以多插幾張NVMe... 那就順便加個 L2ARC 好了！ : 不過對效能影響最大的升級不在機器本身，當我把區網升級到 2.5G / 10G 後，限制器整 : 個解除，六顆 WD Red 4TB 竟然 CIFS 可以維持在 3.5Gbps，整個跌破眼鏡。 : 不久後武漢肺炎（與它的變種們）就爆發了，加州還因為野火太旺，直接進入媽的刀鋒戰 : 士，接著供應鏈炸裂，跟不知道哪個天才發明的奇亞幣，讓硬碟價錢跳了好幾階，我的升 : 級計畫就暫時被擱置了... : 直到某一天在附近的溝子口看到特價硬碟，我的膝蓋就拿出信用卡下單了。但這特價硬碟 : 需要稍微處理一下才能用，要先從外接盒裡把硬碟拆出來，並且把 SATA 電源接頭第三腳 : 用絕緣膠帶貼起來（用 Molex 轉 SATA也可以） : 接上去確定硬碟都抓到以後，就開始燒機測試（注意，以下的燒機測試會同時燒掉硬碟上 : 的資料），用 smartctl 短長各跑一輪，接下來用 badblocks 進行讀寫測試（ -c 用大 : 一點會跑稍快），測試完後再跑一次 smartctl long... 這顆 8TB 總共花了 110 小時才 : 跑完（建議全部接上去，一口氣壓測）。我另一台機器只有 4 SATA port，只好分二批測 : 。 : （測完以後發現有二顆硬碟讀寫稍微快一點（2%），不知是硬碟樂透，還是正常的效能浮 : 動。） : 燒機燒完確定沒有不良品，SMART 數值正常，就可以上線啦！利用 resilver 機制一顆一 : 顆慢慢換，每次 10 小時，換到後面越來越快，可能是因為從 5400 轉升級到 7200 轉， : 讓整體效能慢慢增加的原因吧？換完 raid z2 pool 容量就自動升級到 8TB x (6-2) : 最後 CIFS 實測，cache miss 可以維持在 5.45Gbps，disk busy 大概在 80% 左右，看 : 來在區網全面升級成 10Gbps 之前，這台可以再戰個幾年沒有問題。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.217.49.129 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Storage_Zone/M.1665503634.A.7C9.html

推

andy199113

10/12 02:13, 1年前 , 1^F

10/12 02:13, 1^F

推

Litfal

10/12 08:35, 1年前 , 2^F

10/12 08:35, 2^F

推

changchichun

10/12 09:56, 1年前 , 3^F

10/12 09:56, 3^F