[心得] 自組10GbE NAS心得 + 簡單測試

看板PC_Shopping作者 (Esvent)時間8年前 (2017/12/19 00:39), 8年前編輯推噓41(43推 2噓 25→)
留言70則, 43人參與, 8年前最新討論串1/1
前陣子因為系統不穩的關係，電腦很容易就突然就瞬間關機 電腦裡面的磁碟陣列(RAID0)也因此常常崩潰， 運氣好的時候可以靠fsck之類的工具重建成功，但更多的時候都只能直接格式化 然後漫長的等待回復備份，等到電腦恢復可用狀態又是一兩天過去了 重複著這樣的日子讓我起了由外部系統來管理硬碟陣列的想法 剛好手邊有一些閒置的零件，便想說來組一台10GbE的NAS來跑RAID6 在增加資料安全性的同時，仍保持一定的存取速度 最後終於在今年1111與1212的優惠加持之下把零件湊齊了 https://i.imgur.com/AFhKOEW.jpg
因為手邊有多出來的DDR3記憶體，所以選擇了CP值比較高的LGA 1155來組 https://i.imgur.com/UrBk33j.jpg
U-NAS的NSC-810A機殼，提供八個硬碟熱插拔插槽，特點是可以裝得下M-ATX的板子 機內空間也比較有餘裕，組裝起來比較不會那麼反人類 https://i.imgur.com/ixaRKY4.jpg
背後有兩個120mm PWM風扇，跟1U Flex電源的開口 PCI-E卡的開口不是平行的，所以不能裝超過一槽高度的卡 https://i.imgur.com/6DTkanY.jpg
內建八條安費諾細銀SATA線，但比較令人沮喪的部分的是廠商沒有幫忙標上硬碟的編號 害我開了寫輪眼看了半個小時才成功把所有SATA的編號標上去.. https://i.imgur.com/sQLNf9a.jpg
八顆硬碟全靠這兩個4Pin供電 https://i.imgur.com/XHiJJ1f.jpg
將比較簡單的部分都先接上，CPU的供電因為1U Flex大多沒有提供EPS12v 所以只能將ATX12V靠左接上，還好這次選用的E3-1245 v2吃電不多還可以開機 如果是比較耗電的CPU可能就需要注意了 https://i.imgur.com/6gWv7x2.jpg
直接從內部拉一條USB2.0來連接USB導引，就不用醜醜的插在外面了 https://i.imgur.com/x1P8tw4.jpg
最後就是PCI-E卡了，因為機殼設計的關係一定要用延長線才裝的上去 https://i.imgur.com/TaCPMNh.jpg
淘寶買的便宜SATA擴展卡，頻寬只有可憐的PCI-E 2.0 x1 不過好在B75M-D3H本身就有六個SATA，所以這張只要負責兩個硬碟就可以了 https://i.imgur.com/koWsand.jpg
今天主角之一的10GbE光纖網路卡，似乎是大量出清的洋垃圾 目前在淘寶上的價格非常漂亮，不到千元就能入手 https://i.imgur.com/ojzX2ln.jpg
層疊的方式安裝上去，散熱感覺挺讓人擔心的 https://i.imgur.com/JaXdYD7.jpg
內裝的部分完成 https://i.imgur.com/l9acOuM.jpg
整線的部分..只能說我盡力了 https://i.imgur.com/1KkHNnn.jpg
硬碟要一顆一顆慢慢鎖上硬碟架，插進機器的吻合度還不錯，沒有卡住的狀況 考慮到HGST對於RMA的外觀要求，硬插很有可能就不能送修了 https://i.imgur.com/ynGD2tX.jpg
最後開箱一下10GbE的主角，XS708T交換器 本身有提供兩個SPF+光口、八個RJ45電口(其中兩個跟光口共用) 剛開機的時候風扇的聲音大概跟吹風機差不多，瞬間讓我有退貨的打算，令人印象深刻 不過過一兩分鐘就會恢復正常了 https://i.imgur.com/r3kOtMD.jpg
最後組合在一起的樣子，運作聲其實還挺大的，極度不建議放在自己的房間 https://i.imgur.com/Pttof1L.jpg
簡單的效能測試與比較，串場的是Intel 520 240G與Samsung 960 EVO 512G NAS的部分因為我是用檔案式的LUN來作iSCSI，採用的檔案系統也是比較慢的btrfs 不然應該可以更快一些 https://i.imgur.com/SER7UDN.png
整體來說，這個儲存系統的效能幾乎可以達到一般SATA 3.0 SSD的讀寫水準 不過容量卻是突破天際的24TB，整個系統的花費大約落在70K左右 而且最近NETGEAR又推出了更便宜的10GbE交換器(XS505/508系列)，可以再省10K左右 需要大量儲存並且同時需要保有一定讀寫速度的板友或許也可以考慮看看。 (更正，大約77K左右，忘記計算機殼的部分) 感謝各位的收看！ 附件 詳細零件列表及花費 CPU: Intel E3-1245 v2 淘寶 3807元 MB: 技嘉 GA-B75M-D3H Friday購物 2490元 RAM: 創建 DDR3 1600 8GB x 2 自有 HDD: HGST NAS專用碟 7200rpm 4TB x 8 Yahoo購物 30720元 網卡: Mellanox MNPA19-XTR (SPF+，NAS用) 淘寶 499元 Intel X540-T1 (RJ45，黑蘋果/PC用) 淘寶 2438元 擴充卡: 樂擴 SATA3 擴展卡 淘寶 625元 PSU: 海韻 SS-350 M1U 淘寶 2560元 Case: U-NAS NSC-810A 淘寶 6790元 交換器: NETGEAR XS708T Momo購物 25830元 線材: SFP-H10GB-CU3M SPF+直連條線1M 淘寶 114元 群加 Cat.7 網路線 15M Momo購物 720元 9Pin to USB2.0轉接線 淘寶 50元 其他運費&雜支 700元 總計 77343元 -- 「地方的名字是什麼都可以。廁所和餐飲。日光燈和塑膠椅。難喝的咖啡。 草莓果醬三明治。這些東西是沒有意義的。要說什麼是有意義的， 只有我們是從什麼地方來的，要去什麼地方而已。對嗎？」 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.226.18.72 ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1513615191.A.B07.html
推
12/19 00:46, 8年前 , 1F
推
12/19 00:46, 1F
推
12/19 00:47, 8年前 , 2F
其實一般企業級/網管型L2開機聲音都非常大，等到開
12/19 00:47, 2F
→
12/19 00:47, 8年前 , 3F
機完成後轉速就會降下來了屬於正常現象
12/19 00:47, 3F
之前都沒用過網管型的switch，這個開機聲實在讓人印象深刻..XD
推
12/19 00:51, 8年前 , 4F
推 !
12/19 00:51, 4F
推
12/19 00:54, 8年前 , 5F
自用24TB嗎？是裝什麼東西XD
12/19 00:54, 5F
是給全家人一起用啦，當然影片之類的也是不會少的
推
12/19 01:17, 8年前 , 6F
帥...
12/19 01:17, 6F
推
12/19 01:26, 8年前 , 7F
你有看過一櫃 2x 台 Juniper 起飛的聲音嗎
12/19 01:26, 7F
可惜工作上沒有什麼機會進機房，不然倒是滿想去感受一下那個震撼力@@
推
12/19 01:27, 8年前 , 8F
帥
12/19 01:27, 8F
推
12/19 01:32, 8年前 , 9F
這個速度有點厲害 推
12/19 01:32, 9F
推
12/19 02:39, 8年前 , 10F
推
12/19 02:39, 10F
推
12/19 02:42, 8年前 , 11F
很厲害欸 推
12/19 02:42, 11F
推
12/19 02:56, 8年前 , 12F
24T藍光電影院
12/19 02:56, 12F
推
12/19 03:01, 8年前 , 13F
好奇交換機和網卡多少錢@@
12/19 03:01, 13F
我把這次詳細的花費加在文章最後面囉
推
12/19 03:04, 8年前 , 14F
不明覺厲
12/19 03:04, 14F
推
12/19 03:33, 8年前 , 15F
一般舊PC也可以弄成NAS嗎？
12/19 03:33, 15F
當然可以，不過要注意功耗的問題 另外也滿多人會用虛擬機來裝NAS的
推
12/19 04:06, 8年前 , 16F
帥
12/19 04:06, 16F
推
12/19 05:03, 8年前 , 17F
以前的資料儲存主機本來就是PC組的，nas是後來出現
12/19 05:03, 17F
推
12/19 06:59, 8年前 , 18F
帥
12/19 06:59, 18F
推
12/19 08:13, 8年前 , 19F
其實NAS就是一台有後台管理的簡易PC
12/19 08:13, 19F
噓
12/19 08:22, 8年前 , 20F
推
12/19 08:22, 20F
→
12/19 08:23, 8年前 , 21F
稍後補推@@
12/19 08:23, 21F
推
12/19 08:26, 8年前 , 22F
推
12/19 08:26, 22F
推
12/19 08:40, 8年前 , 23F
看起來是裝黑群暉XD, switch可以淘寶買很便宜...
12/19 08:40, 23F
淘寶便宜的機種我也有看了一些， 不過10GbE的部分似乎都是以SPF+為主，其他的RJ45都只有GbE的速度而已， 而且評論有人指出機器的內部頻寬其實不太足夠，上不了10GbE 最後還是選擇在台灣買NETGEAR，RJ45佈線比較簡單 還有網管可以做線路聚合，最重要的是有五年保固換新XD
推
12/19 08:42, 8年前 , 24F
機房用的產品都沒在乎噪音的啦XD
12/19 08:42, 24F
推
12/19 09:17, 8年前 , 25F
IDC 裡的主流是 SFP+ Direct Attach, 10GBase-T 少
12/19 09:17, 25F
→
12/19 09:19, 8年前 , 26F
高檔一點的直接用 10GBase-SR/LR, 洋垃圾當然都這些
12/19 09:19, 26F
→
12/19 09:21, 8年前 , 27F
10台1U SERVER開機聲音就夠了
12/19 09:21, 27F
→
12/19 09:23, 8年前 , 28F
現在的機器內部頻寬不會不夠啦 通常是卡硬碟吧
12/19 09:23, 28F
→
12/19 09:33, 8年前 , 29F
4PIN轉SATA電源感覺有點風險
12/19 09:33, 29F
4PIN是從機殼的電路板接出來的，不是那種直接大4PIN轉SATA電源的轉接線 應該不會有太大的問題(? (機殼裡面有兩塊電路板，每塊提供四個SATA熱插拔插座，以一個4PIN供電)
推
12/19 09:43, 8年前 , 30F
看起來很讚，推！不過電源應該可以再餵好一點
12/19 09:43, 30F
其實這個電源個人覺得還算不錯，他本身就是搭配我的這個機殼一起販售的， 線路夠長，又有閒置停轉，就是價錢有點偏高 我本來是想說在台灣自己買一個有保固的，殊不知找了半天不是沒得買就是不是不足瓦 然後上淘寶找也是多災多難，不過又是另一個故事了..
推
12/19 09:56, 8年前 , 31F
10GBase-T 用 CAT6 CAT7 應該跑的出10G吧
12/19 09:56, 31F
推
12/19 10:07, 8年前 , 32F
推
12/19 10:07, 32F
→
12/19 10:10, 8年前 , 33F
線不長的話可以... IDC 裡不盛行是因為設備的關係
12/19 10:10, 33F
→
12/19 10:14, 8年前 , 34F
10GBASE-T 很耗電, 降低功耗版做到 2.5W 只能傳 30m
12/19 10:14, 34F
→
12/19 10:14, 8年前 , 35F
SFP+ 就算最遠的 80km 也只要 1.5W, 機房內都 <1W
12/19 10:14, 35F
推
12/19 11:20, 8年前 , 36F
哦哦哦自家超絕電影院XD
12/19 11:20, 36F
噓
12/19 11:32, 8年前 , 37F
switch的聲音很正常退什麼貨
12/19 11:32, 37F
Sorry本人外行，沒有用過這種網管型的switch 當下只覺得如果這種等級的噪音會一直持續的話，那就不太可能擺在家裡了
推
12/19 11:41, 8年前 , 38F
為什麼不用freenas的zfs?
12/19 11:41, 38F
其實我一開始就是考慮組FreeNAS 不過後來讀到FreeNAS的文件上說建議要使用ECC記憶體，成本太高所以就放棄了QQ
推
12/19 12:03, 8年前 , 39F
屌
12/19 12:03, 39F
推
12/19 12:22, 8年前 , 40F
不好意思 .. 所以是灌什麼OS呢！謝謝 ..
12/19 12:22, 40F
有幾位板友猜到了..礙於站規無法詳細說明 有興趣板友的請自行Google XPEnology
推
12/19 12:56, 8年前 , 41F
建議要使用ECC記憶體 但沒有說一定要用啊
12/19 12:56, 41F
看到有Recommanded這個字眼就有點難以忽略XD
→
12/19 13:05, 8年前 , 42F
因為現在記憶體又貴..用ECC記憶體 依照原PO CPU種類
12/19 13:05, 42F
→
12/19 13:06, 8年前 , 43F
也必須用C216的主機板..想一想就不合成本..
12/19 13:06, 43F
→
12/19 13:06, 8年前 , 44F
但是好處就是CPU會多一組PCI-E 2.0 x4頻寬可以上
12/19 13:06, 44F
→
12/19 13:07, 8年前 , 45F
高頻寬的介面卡使用 不用遷就於PCH有限的頻寬
12/19 13:07, 45F
不過特殊板台灣都買不到，慘
推
12/19 13:22, 8年前 , 46F
樓主是用NAS系統嗎?
12/19 13:22, 46F
是用專門為NAS設計的OS沒錯
推
12/19 13:24, 8年前 , 47F
推
12/19 13:24, 47F
→
12/19 13:31, 8年前 , 48F
10G 以上交換晶片發熱量不低~ port多的風扇都很誇張
12/19 13:31, 48F
推
12/19 15:48, 8年前 , 49F
推 最近想把舊電腦改裝成NAS
12/19 15:48, 49F
→
12/19 17:16, 8年前 , 50F
阿這個一看就黑群XDDD
12/19 17:16, 50F
XD
推
12/19 18:05, 8年前 , 51F
猛猛的
12/19 18:05, 51F
推
12/19 19:42, 8年前 , 52F
12/19 19:42, 52F
→
12/19 19:42, 8年前 , 53F
大概是這樣，不過我之前是 24 port 低階的，這款
12/19 19:42, 53F
→
12/19 19:43, 8年前 , 54F
是比較好的 48 port 低階機
12/19 19:43, 54F
→
12/19 19:43, 8年前 , 55F
不過這只有一台，以前機房排插一打開二十幾台開機
12/19 19:43, 55F
→
12/19 19:43, 8年前 , 56F
真的很～吵～
12/19 19:43, 56F
感覺快飛起來了..
推
12/19 20:16, 8年前 , 57F
黑群是指 用Dsm的自製nas(偽Synolgy?)
12/19 20:16, 57F
推
12/19 23:11, 8年前 , 58F
其實樓主 我覺得反而去買片DELL拆機的RAID卡會更好
12/19 23:11, 58F
→
12/19 23:11, 8年前 , 59F
不過還是恭喜 很難得能看到這樣的測試
12/19 23:11, 59F
→
12/19 23:11, 8年前 , 60F
而且RAID卡的容錯能力比主機板PCH好這是真的
12/19 23:11, 60F
有支援超過四顆硬碟的RAID卡的價格似乎都挺可怕的..
推
12/20 01:03, 8年前 , 61F
推
12/20 01:03, 61F
推
12/20 10:35, 8年前 , 62F
認真推
12/20 10:35, 62F
推
12/20 14:30, 8年前 , 63F
傳輸速度倒不是很在意，比較顧慮到點擊檔案開啟時的
12/20 14:30, 63F
→
12/20 14:30, 8年前 , 64F
反應時間，不曉得版大要如何解決區網開多檔時的延遲
12/20 14:30, 64F
→
12/20 14:30, 8年前 , 65F
感？
12/20 14:30, 65F
推
12/20 14:52, 8年前 , 66F
也想知道這個機殼的散熱，能否麻煩版大分享溫度，最
12/20 14:52, 66F
→
12/20 14:52, 8年前 , 67F
近資料量也越來越大，搞得很頭痛
12/20 14:52, 67F
我其實也是第一次架設這種類型的網路儲存系統，所以也不知該怎麼辦XD 我自己的話之後是還有打算增加SSD快取以及網路聚合來增加存取速度 或許你可以先測試看看你那邊的效能瓶頸是在哪一塊，再決定怎麼升級 至於溫度的部分，我看CPU與硬碟大部分時間都是在35 ~ 40度上下， 使用測速軟體大量存取的時候也沒有明顯增加的狀況 ※ 編輯: Esvent (36.226.18.72), 12/20/2017 23:41:03
推
12/23 00:48, 8年前 , 68F
其實淘寶上的 HP P420 還蠻便宜的，樓主可以試試看
12/23 00:48, 68F
→
12/23 00:48, 8年前 , 69F
。
12/23 00:48, 69F
推
12/23 21:39, 8年前 , 70F
感謝原Po分享，3Q
12/23 21:39, 70F
‣ 更多 Esvent 的文章
文章代碼(AID): #1QD-zNi7 (PC_Shopping)