[心得] 自組OMV6的流水式記錄(文長、圖多注意!!

看板Storage_Zone作者時間1年前 (2022/10/16 22:50), 1年前編輯推噓27(27推 0噓 11→)
留言38則, 22人參與, 1年前最新討論串1/1
※2022/10/17 新增失敗實驗的記錄。 前言： 由於TureNAS空間的告急及硬碟一直在報錯， 所以組裝新NAS的任務刻不容緩!!(其實就是手癢想折騰XD) 這篇文章算是記錄我折騰OMV時的過程及遇到BUG的除錯， 以及後面共享資料夾的設定與些許的心得。 一樣流水式的記錄。 圖多、文長、拍照技術也不算好。 更別提相關知識非專業，完全是爬文學習解決的辦法。 如果有更好的建議或想法，歡迎版友們提出討論~ (以下圖多，自動開圖還請注意流量) 先說整套零件： CPU：E3-1220L v3 主機板：supermicro C7Z97-OCE 記憶體：創建 DDR3 1333 4G 四根共16G 顯示卡：AMD HD8570 1G (亮機用) 網路卡：82576-T2 2Port 1G網卡 HBA卡：技嘉 GC-MSLZ2(IT omde) 硬碟：WD HC550 16TB 12顆(礦盤) 機殼：X-PRO SMART 9大機殼 硬碟抽取盒：ICY DOCK 黑旋風MB074SP-B 三轉四 3組 電源供應器：微星 MPG A650GF 系統碟：創見及三星 64G msata 轉2.5吋SSD 預定：Mellanox ConnectX-3 2Port 10G網卡 關於這張主機板，原先是想拿來組UNRAID搭OPNSense用途的。 不過因為急迫性(手癢)，只好先拿來組OMV了... 但是拿到手後發現的第一個狀況... https://imgur.com/GbBT97U
這張板子的背板強化支架整個黏死了!! 最後用吹風機以及在大力出奇蹟之下，好不容易才將其給撥下來... https://imgur.com/5AEtbVw
之後上U https://imgur.com/m02bRaC
顯示卡 https://imgur.com/1jGThYj
網路卡 https://imgur.com/GiAhCz0
驗明正身 https://imgur.com/2klvTN7
裸機先組裝起來測試 https://imgur.com/8QXlqjM
順利進入BIOS https://imgur.com/N5Lppfk
兩塊系統碟 https://imgur.com/uUxpk5w
裝入機殼 ※請無視靈魂走線法，反正側版蓋上就看不到了~XD https://imgur.com/kU84VdX
確認HBA卡可以抓到驅動 https://imgur.com/7Zgyj1g
確認兩塊系統碟都可以抓到 https://imgur.com/6ZYoPk4
到官方網站下載ISO並製作安裝碟 https://www.openmediavault.org/ 再次進到BIOS https://imgur.com/nefHjSj
調整開機順序 https://imgur.com/TMoPFwV
開始安裝 ※安裝過程全程中文化~ https://imgur.com/vNWYHiG
主機板雙網口及加裝的網路卡可以順利加載驅動 https://imgur.com/qRDu7dk
主機名稱簡單取 https://imgur.com/UEc2Q1l
硬碟分割 https://imgur.com/2iB6mfj
使用三星那塊 ※原先我以為OMV可以像TureNAS一樣，將系統做成RAID1。 沒想到只能擇一使用...。後面將另外想法子解決!! https://imgur.com/0uGxAQ2
鏡像來源選擇交大的伺服器 https://imgur.com/54f5Try
安裝完成後重新啟動，移除安裝碟並將系統碟設為Boot https://imgur.com/xQHVtxM
當看到這個畫面時，代表順利進入系統。可以拔掉螢幕線換另一台電腦操作~ https://imgur.com/9jToKwp
※注意!! 是拔掉螢幕線，不是拔掉顯示卡。如果拔掉顯示卡會無法開機!! 一開始我以為是哪裡沒設定好，後來爬文才看到有人有類似的狀況。 討論1： https://forum.openmediavault.org/index.php?thread/33850-disable-gpu-completely/ 討論2： https://www.reddit.com/r/homelab/comments/6pkvwh/why_does_freenas_work_perfectly_fine_headlessno/ 討論3： https://unix.stackexchange.com/questions/595486/grub-not-booting-debian-without-gpu-attached 先到DHCP伺服器查看OMV主機被配發的IP https://imgur.com/8Et8gV1
接著開啟瀏覽器並輸入網址就可以連上OMV了~ 要注意的是，在這裡的帳號及密碼分別是admin／openmediavault， 而非在安裝過程中設定的root密碼。 https://imgur.com/Tmia7cE
※如果帳密正確仍無法登入，可SSH連線進主機更改密碼。 解決辦法：https://forum.openmediavault.org/index.php?thread/5934-omv-firstaid-usage/ 一開始的主畫面，比起OMV5好看多了~(我也是因為看到改變才手癢的XD) https://imgur.com/lwgYPUO
第一件事情就是點選右上角齒輪更改登入密碼 https://imgur.com/VbfV1hK
接下來要更換內核，好讓OMV可以使用ZFS Plugin https://imgur.com/YIi4rQQ
使用putty連上OMV https://imgur.com/LkVGafM
此時的帳號是root，密碼就是在安裝系統中設定的那組 https://imgur.com/oXiGGym
接下來安裝 OMV-Extras Plugin，算是個增強版的Plugin。 輸入「wget -O - https://github.com/OpenMediaVault-Plugin-Developers/packages/raw/master/install | bash」 ※這是OMV6唯一能夠使用的辦法。 來源網址： https://forum.openmediavault.org/index.php?thread/5549-omv-extras-org-plugin/ 待跑完安裝，底下游標回到root時。返回瀏覽器並且重新整理 https://imgur.com/jsaSKT2
此時可以看到左邊欄位出現OMV-Extras Plugin了 https://imgur.com/cWgTatq
接著點進裡面的設定，將向後移植給取消並保存設定。 https://imgur.com/Gc8HZ12
※除了右邊的儲存外，右上角的勾也要點選，設定才會生效。OMV所有的設定都要確認兩次... 向後移植之所以要取消的討論： https://forum.openmediavault.org/index.php?thread/41600-zfs-plugin-install-fails-on-fresh-omv6-and-how-to-fix-it/ 由於OMV所使用的是Debian內核，無法使用ZFS Plugin。必須替換成proxmox的才行。 所以點選左邊的插件，並且在右邊的搜索欄中搜尋「kernel」 選擇第一個選項後，點擊上面的下載箭頭。 https://imgur.com/278CwAy
出現END OF LINE後即可關閉畫面 https://imgur.com/NHZeWN6
重新整理瀏覽器後，就可以在左邊看到系統核心。 不過此時還是使用Debian內核。 https://imgur.com/Yhjy1v7
點選下載按鈕，我是選擇5.15版本 https://imgur.com/Bf7KL6R
不過系統似乎會升級到最新5.19版本? https://imgur.com/NYOH686
完成後重新開機，就可以看到內核已經替換成proxmox的了 https://imgur.com/F64yBMm
為了以防萬一，刪除Debian內核。只留下proxmox的。 https://imgur.com/3dVnzyb
※原作者所說： https://forum.openmediavault.org/index.php?thread/41983-omv-6-error-when-installing-openmediavault-zfs-6-0-5/ 接下來回到插件，搜尋「ZFS」並安裝 https://imgur.com/EwNgY0i
一樣出現END OF LINE後關閉畫面並重新整理瀏覽器 https://imgur.com/d3jvZVF
就可以在左邊的儲存裝置中看到ZFS了 https://imgur.com/9BIjiqk
此時該安裝的都裝好了，把所有插件都更新一下 https://imgur.com/1NGq0Ak
※如果在更換內核後才更新，有時會遇到error。重新整理瀏覽器就好。 更新後，右上角的齒輪中多了Dark mode https://imgur.com/6usf1sF
接下來到儲存裝置->磁碟中，記錄硬碟的位置及序號 例如：sda/序號1、sdb/序號2、sdc/序號3...以此類推。 https://imgur.com/bPlzaRz
※在OMV中使用ZFS Plugin只能建立pool，無法建立vdev。 後面要使用指令來操作，所以先記錄起來備用。 此時如果要建立pool，會看不到硬碟 https://imgur.com/McD15wz
※唯一的那顆，就是創見的msata 所以要回到儲存裝置-磁碟， 點選硬碟後，在點擊上面橡皮擦圖案清除硬碟的分區。 https://imgur.com/mQaXj8d
※由於這個動作沒辦法多選，12顆硬碟就要重複12次... 選擇快速抹除 https://imgur.com/bZBmnmM
老樣子，關閉 https://imgur.com/x5R21Yc
此時操作中就可以看到硬碟了 https://imgur.com/tVWc3fe
如果只是想單純建立pool，現在就可以操作 https://imgur.com/9m3Ndgd
選擇要的類型 https://imgur.com/SyfVJ4m
但是只能新增pool，還是沒有vdev https://imgur.com/9JKbqmM
由於12顆硬碟位於3個抽取盒中， 所以我打算每4顆建立raidz，之後在組成stripe。 用序號確認好各抽取盒中硬碟的路徑(sda、sdb、sdc...)，用putty輸入指令。 https://imgur.com/LrKUVm0
https://imgur.com/DfQZBqv
pool建立完成 https://imgur.com/S7c7OFZ
========================================================================== ※以下為不透過指令，而用ZFS Plugun建立pool的失敗實驗 ※為避免中翻英的錯誤，將介面調整為英文。 首先先查看上面建立的pool的訊息並且刪除它 https://imgur.com/Gw1fnt4
現在ZFS-pool為空 https://imgur.com/zB6lyjT
一樣抹除硬碟 https://imgur.com/wZRKWCl
接著建立pool https://imgur.com/IUSQSek
按照我的規劃，使用四顆硬碟建立一組RAID-Z1 https://imgur.com/V0L21r9
https://imgur.com/Kbf7iO2
pool建立完成，並點選右上角更新 https://imgur.com/lVugNty
此時透過命令，可以確認這四顆建立完成 https://imgur.com/nerNUxz
這時候選擇Expand pool https://imgur.com/MgcLTFe
再選擇四顆硬碟 https://imgur.com/R8JtY5f
就會發現只有一顆硬碟 https://imgur.com/0lmxNRq
若是選擇SAVE https://imgur.com/JO5NwXM
就會出現錯誤警告 https://imgur.com/m8FLOm2
此時用命令查看，會發現還是只有原先建立的pool https://imgur.com/g6ehjs1
在論壇中也有人遇到此問題，而其他人的回應也是改用CLI建立pool。 相關討論：https://forum.openmediavault.org/index.php?thread/43721-problem-creating-zfs-striped-mirror-4-hdd-omv-6/ 當然如果硬碟數較少，只使用一組vdev的話。 透過ZFS Plugin建立就已足夠了~ ※以上為個人實驗測試記錄 ========================================================================== 接下來建立共享資料夾，名稱就設定為Data。 檔案系統選擇剛才建立的pool。 https://imgur.com/8AfYmuA
儲存後記得右上角的更新 https://imgur.com/YFptsgk
由於OMV沒辦法直接以admin或root直接訪問共享資料夾，所以要新增一個用戶。 https://imgur.com/BghjYyk
名稱、密碼自訂，中間有個群組選擇「users」。 https://imgur.com/yzS5Lfz
儲存、更新。 https://imgur.com/c1NVw1h
在左邊的服務-SMB/CIFS-共享中，新建SMB共享資料夾 https://imgur.com/Jja0CiB
啟用並選擇剛才建立的資料夾(Data) https://imgur.com/7MPQ6mQ
https://imgur.com/H0HZaX5
最後在設定中記得開啟SMB https://imgur.com/fBbW4a0
回到我的電腦中，用IP連線。 帳號及密碼就是剛才新建的用戶。 https://imgur.com/30k7xVk
成功!! https://imgur.com/LokfUUl
掛載成網路磁碟機 https://imgur.com/xCO2cVg
同樣以IP連線並輸入帳號密碼 https://imgur.com/9ChU2b7
成功!! https://imgur.com/gvLBMxY
測試從桌面丟個檔案進去，速度穩定在1G。 https://imgur.com/0woPLMr
※C槽為WD SN750 此時的系統佔用率 https://imgur.com/AFcClDa
反過來複製到桌面 https://imgur.com/aavTStr
此時的系統佔用率 https://imgur.com/mZEnUCS
心得： 如同文章開頭所說，若非有急需，不然這OMV也不會這麼快組出來。 尤其組裝中所遇到的各種問題，更是邊爬文邊尋找解決的辦法。 10G網卡沒到，也無法測試這樣組pool是否能達到我的理想速度? 之所以用ZFS，除了對諸多功能感到興趣(例如：快照、去重、壓縮...等)， 還有就是為了後面重組TureNAS先來練手~ 總之這台OMV就在這種情況中誕生了。 至於ZFS中，pool、vdev、ACL等部分。還有如何提升pool的性能等調教方式。 由於尚未理解通透，就不講出來誤導人了!! 就算不用ZFS，OMV也可使用一般的RAID。 相信也夠一般大眾的使用了~ 感謝各位看到這裡。 參考資料： 官方文檔：https://docs.openmediavault.org/en/6.x/index.html 官方討論區：https://forum.openmediavault.org/wsc/ Oracle Solaris ZFS 管理指南：https://docs.oracle.com/cd/E19253-01/819-7065/gaztn/index.html Debian ZFS官方文檔：https://wiki.debian.org/ZFS ZFS指令：https://groupe-sii.github.io/cheat-sheets/openzfs/index.html pool的性能分析1：https://www.truenas.com/blog/zfs-pool-performance-1/ pool的性能分析2：https://www.truenas.com/blog/zfs-pool-performance-2/ pool的性能分析3：https://calomel.org/zfs_raid_speed_capacity.html pool的性能分析4： https://arstechnica.com/gadgets/2020/05/zfs-versus-raid-eight-ironwolf-disks-two-filesystems-one-winner/ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.225.124.83 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Storage_Zone/M.1665931830.A.DEA.html ※ 編輯: SmithYANG (36.225.124.83 臺灣), 10/16/2022 23:26:03 ※ 編輯: SmithYANG (36.225.124.83 臺灣), 10/16/2022 23:29:58
推
10/16 23:34, 1年前 , 1F
感謝教學
10/16 23:34, 1F
推
10/16 23:58, 1年前 , 2F
超詳細 推
10/16 23:58, 2F
推
10/17 00:53, 1年前 , 3F
推！
10/17 00:53, 3F
推
10/17 01:01, 1年前 , 4F
厲害，感謝教學
10/17 01:01, 4F
推
10/17 10:51, 1年前 , 5F
厲害的嘗試，感謝分享
10/17 10:51, 5F
推
10/17 13:18, 1年前 , 6F
哇靠好詳細
10/17 13:18, 6F
推
10/17 14:38, 1年前 , 7F
推用心分享
10/17 14:38, 7F
感謝版友們的鼓勵，這會成為我下次發文的動力m(_ _)m
推
10/17 16:00, 1年前 , 8F
我也是買了一張j4125自己裝omv 好玩XD
10/17 16:00, 8F
OMV需求不高，如果只是要練習的話，拿舊零件裝就夠了~
推
10/17 16:26, 1年前 , 9F
為什麼要拆背板啊
10/17 16:26, 9F
因為我這張板子是二手收來的。 而CPU風扇是用原廠銅底扇。 有背板的話就裝不上去啦!!!
推
10/17 20:58, 1年前 , 10F
推
10/17 20:58, 10F
謝謝 :)
推
10/17 21:04, 1年前 , 11F
詳細給推，想問礦盤去哪收的…
10/17 21:04, 11F
淘寶。至於是哪間店家，之前在本版有版友分享過關鍵字~ 不過前陣子再看時，記得已經漲價了。 ※ 編輯: SmithYANG (36.225.124.83 臺灣), 10/17/2022 22:22:44 ※ 編輯: SmithYANG (36.225.124.83 臺灣), 10/17/2022 22:24:08 ※ 編輯: SmithYANG (36.225.124.83 臺灣), 10/17/2022 22:28:10
推
10/18 11:18, 1年前 , 12F
一個月前也買兩顆礦盤當備份用，結果問了一堆店家
10/18 11:18, 12F
→
10/18 11:18, 1年前 , 13F
都不出台灣，最後才問到一家OK的
10/18 11:18, 13F
本來再寫這篇文章前，我想先寫從淘寶買硬碟的過程記錄的~ 不過因為種種因素，才先寫了這篇。 待我思路整理一下，放假再來寫一篇吧~
推
10/18 12:51, 1年前 , 14F
拔掉顯卡，偷埋笑點捏！
10/18 12:51, 14F
一開始我真的是拔顯卡，然後發現問題。 為了不讓版友重蹈覆測，所以才特地強調~ 就怕犯了跟我一樣的錯誤!! 不過如此一來，PCIE插槽會少一個。 很不方便XD
推
10/18 13:54, 1年前 , 15F
淘寶蠻多拆機零件都還不錯用
10/18 13:54, 15F
→
10/18 13:56, 1年前 , 16F
像是拆機的 INTEL X540-T2 雙電口網卡
10/18 13:56, 16F
→
10/18 13:58, 1年前 , 17F
LSI SAS 2038直通卡(可以提供 兩個SAS 或8個SATA6G
10/18 13:58, 17F
→
10/18 13:58, 1年前 , 18F
這些伺服器拆機的品相都不錯 拿來自組NAS很好用
10/18 13:58, 18F
→
10/18 13:59, 1年前 , 19F
浪潮的拆機卡就不要買了 便宜但是相容性很差
10/18 13:59, 19F
推
10/18 14:02, 1年前 , 20F
LSI 2038這張卡 微星B660M BIOS直接可以認卡
10/18 14:02, 20F
→
10/18 14:02, 1年前 , 21F
相容性很不錯
10/18 14:02, 21F
推
10/18 16:05, 1年前 , 22F
我是直接買一台dell 720XD，有12bay,缺點是有點耗電
10/18 16:05, 22F
你說的是不是LSI 2308? 若非我的卡買得早，現在應該也是用2308。 不過世代在更新，現在建議買3xxx系列了~ 另外若非空間因素，我也想買台伺服器來玩玩。 只是拿舊零件組新機，越組越多台。 這空間似乎都能上機櫃了XD
推
10/18 16:32, 1年前 , 23F
樓上你那不是「有點」耗電而已吧....
10/18 16:32, 23F
推
10/18 17:55, 1年前 , 24F
有點是多少點
10/18 17:55, 24F
雙路CPU+雙冗餘電源，就算不含硬碟，應該也輕鬆破兩百瓦吧?
推
10/18 20:04, 1年前 , 25F
End of line拼錯字了XD
10/18 20:04, 25F
字打多了沒注意到，感謝提醒~ 工作中用APP不易編輯，到家用PCMAN修正!! ※ 編輯: SmithYANG (36.225.123.181 臺灣), 10/18/2022 20:59:50
→
10/18 20:46, 1年前 , 26F
Vader: You have reached your destination.
10/18 20:46, 26F
→
10/18 21:01, 1年前 , 27F
Dell 720 就是上機櫃了啊...
10/18 21:01, 27F
This is just the beginning... 我的意思是說，一開始受限空間沒上機櫃。 但後面越組越多台，所佔的空間都可以擺機櫃了~ ※ 編輯: SmithYANG (36.225.123.181 臺灣), 10/18/2022 21:04:17
推
10/18 23:43, 1年前 , 28F
LSI 2308 跟3008 價差不小耶
10/18 23:43, 28F
的確，如果不是急需的話，一樣可以繼續用2系列。 但相較之下，不但ESXI已經放棄對於2系列的支援。 而且3系列對於SSD的Trim也能正常使用。 在如今SSD快比HDD便宜的情況下，後面會使用到的機會想必會越來越大。 所以身為一個垃圾佬，就是等便宜的3系卡出來後，再入手做替換~ ※ 編輯: SmithYANG (36.225.123.181 臺灣), 10/19/2022 06:34:24
推
10/19 16:34, 1年前 , 29F
大概是每兩個月電費多一千塊左右，哈哈
10/19 16:34, 29F
→
10/19 16:39, 1年前 , 30F
原本也是用FREENAS，不過ZFS擴充太麻煩了，後來就轉
10/19 16:39, 30F
→
10/19 16:51, 1年前 , 31F
用OMV，反正我只是單純的需要大空間，沒其他應用
10/19 16:51, 31F
推
10/19 17:02, 1年前 , 32F
SSD傳檔NAS 10G
10/19 17:02, 32F
感謝分享心得，這正是我希望能夠與版友討論的~ ZFS的擴充的確麻煩，最好是在一開始就決定好容量免得後面再頭疼。 另外我看你的10G傳檔速度似乎未滿速? 是因為RAID的關係? 還是網卡的因素? 又或是軟體沒調教好呢? ※ 編輯: SmithYANG (36.225.123.181 臺灣), 10/19/2022 19:54:37
→
10/19 19:59, 1年前 , 33F
再來可以考慮用proxmox ve,掛機的閒置用途更廣
10/19 19:59, 33F
之前就有玩過ESXI跟PVE了喔!! 雖然與高手相比並未深入，但大概知道怎麼入門。 本來是想玩UNRAID的，不過因為這塊主板挪來裝OMV。 計畫只得暫緩啦~~ ※ 編輯: SmithYANG (36.225.123.181 臺灣), 10/19/2022 20:09:43
推
10/19 22:37, 1年前 , 34F
如果沒意外應該是卡在raid5速度的瓶頸
10/19 22:37, 34F
感謝回報~ 雖說我也是因為需要大容量才組OMV的。 不過要是10G沒跑滿，奇摩子也會感到不爽快XD 待我後面網卡到的時候，我再來測試速度~ ※ 編輯: SmithYANG (36.225.123.181 臺灣), 10/19/2022 22:56:20
推
10/20 06:55, 1年前 , 35F
對這個有興趣，請繼續發文 XD
10/20 06:55, 35F
看到文章能引起版友的興趣，著實高興～ 還在思考後面要寫TureNAS的重組記錄， 還是jellyfin/docker的應用。 希望屆時能一同來聊聊 :)
推
10/20 07:33, 1年前 , 36F
礦盤我買的時候已經990了，你是一次打包12顆嗎？
10/20 07:33, 36F
我分兩批買的，一次10顆。 本週假日有空時，應該會PO個購買流程及硬碟的記錄。 ※ 編輯: SmithYANG (101.12.27.25 臺灣), 10/20/2022 08:36:45 ※ 編輯: SmithYANG (101.12.27.25 臺灣), 10/20/2022 08:37:58
推
10/20 11:17, 1年前 , 37F
我才買3顆16TB就覺得很冒險了~想看你的分享！
10/20 11:17, 37F
我也是冒險賭一把，下單時心裡也七上八下的~ 慶幸被我賭對，否則就虧大了!!
推
10/20 12:05, 1年前 , 38F
10/20 12:05, 38F
不知道你使用上的體驗如何呢? ※ 編輯: SmithYANG (36.225.89.209 臺灣), 10/21/2022 06:02:32
‣ 更多 SmithYANG 的文章
文章代碼(AID): #1ZJ1estg (Storage_Zone)