[心得] AMD平台搭建ESXi

看板PC_Shopping作者 (交大廢文王子)時間4年前 (2019/09/18 13:16), 4年前編輯推噓13(14推 1噓 65→)
留言80則, 19人參與, 4年前最新討論串1/1
先上配置 CPU : AMD Ryzen 3 Pro 2100ge MB : ASRock B450M Pro4 RAM : Samsung DDR4 16G ECC (M391A2K43BB1-CRC) 主要是原本用Freenas卻沒裝ECC有點抖，再加上突然在某寶看到這顆CPU就撿回來玩了 Ryzen只有沒內顯版本的才全系列支援ECC，帶G版就要找Pro的，市面上很少 主機板目前是小石頭全部都有支援ECC，大石頭中階以上都有(像B350M-A、TUF) 技嘉只有頂級的才有支援，其他的應該都沒有 https://imgur.com/R9BlMok
目前已經運行3個禮拜了，應該算是穩定吧 安裝的是ESXi 6.7 Update 3 過程網路上應該都有，總之就是要先打網卡的驅動進去才可以上 然後之前看到的6.5必須關SMT才可以動的目前6.7開著SMT也沒有問題 主要要講的坑點有兩個 1. Passthrough大多數裝置都無效 https://imgur.com/Z4OG9rF
不管怎麼重開機都會長上面這樣 翻log檔會發現"Device passthru not possible on this system (no PCI ACS support)" 但事實上之前在Intel平台(I5 3570 + H61)就沒事... 搜尋網路上資料少得可憐，只有找到這篇韓文的有解決 http://bit.ly/2lZBh3q 但所謂的打ACS Patch卻沒有說怎麼做(翻桌 最後摸兩天摸出來 https://imgur.com/z8l0uLV
disableACSCheck = true，無視就好 再來很重要，BIOS最多到AGESA 1.0.0.6的版本 再上去Bug一堆，最新版連Passthrough都打不開 重點是，升上去還不給降級，我*&#@$^&@.... (當初我還想說升級BIOS看會不會好，畢竟新平台) 2. IOMMU有點坑 借一張微星B450M的block diagram https://imgur.com/GQUk0h9
如果我passthrough板子上的sata port，同時有兩個usb孔也會一起過去，這沒問題 我不能理解的是，一條PCIe x4的也被強迫passthrough過去了== 但如果單獨passthrough那條PCIe x4卻又沒事 https://imgur.com/PTyya89
想Passthrough內顯的話，很抱歉，幾乎板子剩下的東西都會一起被Passthrough 開機就跟廢了一樣，感覺ACS沒有支援的很完善 總結一下，我覺得如果要搞EXSi虛擬機之類的話，Intel還是比較好的選擇 我就不記得以前用I5 3570 + H61有這麼折騰== 然後我感覺打ACS Patch應該可以解決大部分的問題 不知道有沒有大大能解惑QQ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.16.173 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1568783798.A.593.html
推
09/18 13:53, 4年前 , 1F
板子不對
09/18 13:53, 1F
→
09/18 13:53, 4年前 , 2F
你的iommu問題在於分的group都被分到同一個
09/18 13:53, 2F
→
09/18 13:53, 4年前 , 3F
intel其實也有這問題
09/18 13:53, 3F
→
09/18 13:54, 4年前 , 4F
我是挑X470太極才解決
09/18 13:54, 4F
→
09/18 14:02, 4年前 , 5F
b350m-a 算低階吧
09/18 14:02, 5F
推
09/18 14:05, 4年前 , 6F
剛好以前有在研究 說明一下
09/18 14:05, 6F
→
09/18 14:06, 4年前 , 7F
b350m-k 不是更低階？不懂 Asus 的分法
09/18 14:06, 7F
我用晶片組分啦XD，b350就叫他中階了，管他的 是說B350m-k應該也有支援ECC
→
09/18 14:07, 4年前 , 8F
就像樓上說的，都被分到同一個IOMMU Group才會這樣
09/18 14:07, 8F
→
09/18 14:08, 4年前 , 9F
通常這要主機板有好的VT-d或AMD-Vi才不會有問題
09/18 14:08, 9F
推
09/18 14:08, 4年前 , 10F
更低階應該是像PRIME A320系列這種吧????
09/18 14:08, 10F
→
09/18 14:08, 4年前 , 11F
通常不是高階的主機板或CPU很容易踩到這雷 但廠商不
09/18 14:08, 11F
→
09/18 14:09, 4年前 , 12F
會跟你說
09/18 14:09, 12F
這個部分我了解，但我理解的沒錯的話，ACS這個技術就是可以把IOMMU內的裝置分離 在之前Intel平台我就可以成功單獨Passthrough板子上的sata port 目前我想Passthrough sata port板子上的網卡(好像，不太記得是哪個關鍵的東西讓我放棄直通sata)也會一起過去 除了這個之外，貌似還有一條PCIe x16的插槽插任何東西都沒辦法Passthrough 我在猜應該是從CPU出來的那條PCIe x16，不過現在只有插兩張卡就不管了
→
09/18 14:12, 4年前 , 13F
320是晶片更低一階,我不懂是同級350晶片一樣搞出-A,
09/18 14:12, 13F
→
09/18 14:12, 4年前 , 14F
-K...一堆版本
09/18 14:12, 14F
→
09/18 14:13, 4年前 , 15F
剛好打算弄個散片+350板子跑 EXSi 說
09/18 14:13, 15F
推
09/18 14:15, 4年前 , 16F
Asus PRIME B350M-A 不用 2000, 外加4個DIMM,在口袋
09/18 14:15, 16F
→
09/18 14:15, 4年前 , 17F
名單說
09/18 14:15, 17F
→
09/18 14:16, 4年前 , 18F
wikichip上面寫2200g有支援ecc...
09/18 14:16, 18F
→
09/18 14:20, 4年前 , 19F
不過應該是錯的就是了. 以實測為主.
09/18 14:20, 19F
2200g不帶pro的應該確定不支援ecc，對岸論壇跟reddit都有人講
→
09/18 14:24, 4年前 , 20F
B350M-K只有兩個DDR4插槽，其他跟-A差不多
09/18 14:24, 20F
→
09/18 14:30, 4年前 , 21F
當初也是-A有4個DIMM選它,倒是沒考慮用ECC
09/18 14:30, 21F
推
09/18 14:41, 4年前 , 22F
除了X470的某幾張板子之外都算低階啦
09/18 14:41, 22F
→
09/18 14:41, 4年前 , 23F
intel的更狠 VT-D只有給半殘
09/18 14:41, 23F
推
09/18 14:50, 4年前 , 24F
收一台2手360 365比較快
09/18 14:50, 24F
→
09/18 14:50, 4年前 , 25F
基本上用AMD就是找麻煩。祝好運，AMD現在確實很好
09/18 14:50, 25F
→
09/18 14:51, 4年前 , 26F
但是畢竟ESXi用AMD的人真的很少阿
09/18 14:51, 26F
目前要有ECC的平台最便宜應該就是Ryzen了吧，主板挑個A320m就夠了其實 要不然我也不想搞這麼複雜，在組之前我就有心理準備會弄很久了
→
09/18 14:56, 4年前 , 27F
看用途吧,我只是拿來自玩.這些不會是問題.樓主可能
09/18 14:56, 27F
→
09/18 14:56, 4年前 , 28F
用在更專業需求上
09/18 14:56, 28F
小弟我也是玩玩的QQ，目前就跑NAS跟軟路由而已
→
09/18 14:57, 4年前 , 29F
幾個月前我用APU跑黑蘋果也是很痛苦 選I會輕鬆點
09/18 14:57, 29F
→
09/18 14:57, 4年前 , 30F
這篇學到不少東西,雖然之前用x3650跑,但6.7之後不
09/18 14:57, 30F
→
09/18 14:57, 4年前 , 31F
支援舊CPU.
09/18 14:57, 31F
→
09/18 14:57, 4年前 , 32F
當時主要是卡在APU的內顯驅動問題
09/18 14:57, 32F
→
09/18 14:59, 4年前 , 33F
AMD廉價的多核+RAM與SSD便宜,比以前跑VM已經快太多
09/18 14:59, 33F
→
09/18 14:59, 4年前 , 34F
了.
09/18 14:59, 34F
推
09/18 14:59, 4年前 , 35F
6.7還是可以在一些舊時代的機器上裝起來 DL380G8裝
09/18 14:59, 35F
→
09/18 14:59, 4年前 , 36F
成功過
09/18 14:59, 36F
推
09/18 15:08, 4年前 , 37F
Ryzen 從來不在 EXSi 的相容平台
09/18 15:08, 37F
→
09/18 15:08, 4年前 , 38F
EXSi 只支援 EPYC
09/18 15:08, 38F
→
09/18 15:09, 4年前 , 39F
6.7的文件有提到,但手上那台x3650就是不給裝
09/18 15:09, 39F
→
09/18 15:09, 4年前 , 40F
只能繼續用6.5
09/18 15:09, 40F
→
09/18 15:21, 4年前 , 41F
樓主沒考慮跑PVE嗎?
09/18 15:21, 41F
→
09/18 15:26, 4年前 , 42F
沒考慮過，也沒能力考慮QQ，主要是當初用Intel裝很
09/18 15:26, 42F
→
09/18 15:27, 4年前 , 43F
順利，這次換平台根本不想重弄我的虛擬機，只好硬幹
09/18 15:27, 43F
→
09/18 15:35, 4年前 , 44F
我買了一張小石頭的x470d4u server板 等cpu到我來試
09/18 15:35, 44F
→
09/18 15:35, 4年前 , 45F
試iommu
09/18 15:35, 45F
→
09/18 15:37, 4年前 , 46F
牙膏廠的iommu有時候也蠻神奇的 我有一台J3455 在ES
09/18 15:37, 46F
→
09/18 15:37, 4年前 , 47F
Xi下直通卻都沒問題 不會同時直通多個裝置過去 但我
09/18 15:37, 47F
→
09/18 15:37, 4年前 , 48F
在PVE就遇到iommu group問題了
09/18 15:37, 48F
→
09/18 15:38, 4年前 , 49F
是說你可以問看看華擎 看能不能改一下iommu group
09/18 15:38, 49F
→
09/18 15:38, 4年前 , 50F
華擎在這部分蠻用心的應該有機會讓他們修
09/18 15:38, 50F
推
09/18 16:00, 4年前 , 51F
ACS通常是跟IOMMU綁在一起的，就算CPU與晶片組支援
09/18 16:00, 51F
→
09/18 16:01, 4年前 , 52F
還要看每一家BIOS怎麼寫
09/18 16:01, 52F
→
09/18 16:01, 4年前 , 53F
就讓某樓說的 Intel給一般桌上或是E3等級的CPU
09/18 16:01, 53F
→
09/18 16:02, 4年前 , 54F
在VT-d支援上都是半殘 不少都是指這件事情
09/18 16:02, 54F
→
09/18 16:02, 4年前 , 55F
以前在KVM上玩GPU Passthrough的時候就被搞過很久
09/18 16:02, 55F
→
09/18 16:13, 4年前 , 56F
真的要完整支援就只能上兩家的HEDT或Server了
09/18 16:13, 56F
噓
09/18 16:27, 4年前 , 57F
你這些問題跟這位板廠比較有關
09/18 16:27, 57F
→
09/18 16:28, 4年前 , 58F
另外你應該要買tr才對
09/18 16:28, 58F
→
09/18 16:29, 4年前 , 59F
tr頂級主板例如asus zenith或者鳥頭 iommu都分的很
09/18 16:29, 59F
→
09/18 16:29, 4年前 , 60F
乾淨
09/18 16:29, 60F
→
09/18 16:30, 4年前 , 61F
ecc ryzen主機板大多數半殘 板廠基本上都亂閹割
09/18 16:30, 61F
→
09/18 16:31, 4年前 , 62F
另外 apu確實問題比較多 你怎不考慮無內顯cpu加上u
09/18 16:31, 62F
→
09/18 16:31, 4年前 , 63F
sb爛顯卡就好？
09/18 16:31, 63F
如果我錢很多，我就會去買Intel c236 + Xeon 重點就是買不起阿... 買不起就有買不起的玩法，就這樣而已 我那顆U才買1100而已，整組CPU+MB+RAM才不到5000 連張server板子都買不起
→
09/18 16:43, 4年前 , 64F
問個蠢問題請別見怪，都要玩VGA Passthrough了
09/18 16:43, 64F
→
09/18 16:43, 4年前 , 65F
為啥不直接用Xen或是Proxmox VE呢？ (思
09/18 16:43, 65F
顯卡直通只是弄看看而已XD，我目前並沒有應用要用到 再來真的想玩VGA Passthrough，我不會用內顯，到時候掛了我怎debug
推
09/18 16:49, 4年前 , 66F
不ˉ不是叫你買高級版
09/18 16:49, 66F
→
09/18 16:49, 4年前 , 67F
L1TF這一類論壇有人整理哪些是能正常使用的
09/18 16:49, 67F
→
09/18 16:50, 4年前 , 68F
不是噓你 是要噓不肖板廠
09/18 16:50, 68F
這應該也沒辦法，畢竟是消費級主板，板廠有做就謝主榮恩了 想要完整的功能就只有掏錢一途 ※ 編輯: NCTUFAIWEN (140.112.4.192 臺灣), 09/18/2019 16:53:34
→
09/18 17:37, 4年前 , 69F
請問MSI的板子都沒支援嗎？
09/18 17:37, 69F
→
09/18 17:39, 4年前 , 70F
手上4台香香機都是MSI的板子Carbon AC, Mortar Ti,
09/18 17:39, 70F
→
09/18 17:39, 4年前 , 71F
Mortar MAX
09/18 17:39, 71F
→
09/18 17:42, 4年前 , 72F
真要玩應該會去找Pro WS X570-ACE來搞吧..
09/18 17:42, 72F
→
09/18 17:42, 4年前 , 73F
但缺點是保固...
09/18 17:42, 73F
推
09/18 18:08, 4年前 , 74F
乖乖用intel
09/18 18:08, 74F
推
09/18 18:13, 4年前 , 75F
不過你這樣弄起來好便宜
09/18 18:13, 75F
→
09/18 18:47, 4年前 , 76F
若RAM不用ECC會更便宜
09/18 18:47, 76F
推
09/18 19:38, 4年前 , 77F
折騰花了很多時間，換成時薪頭夠買Intel了
09/18 19:38, 77F
→
09/18 21:04, 4年前 , 78F
真便宜 單一使用者沒ACS應該還好
09/18 21:04, 78F
推
09/20 01:19, 4年前 , 79F
ACS是打在kernel上吧，好懷念啊…
09/20 01:19, 79F
→
09/20 01:20, 4年前 , 80F
以前用消費級的pc也有解過這個問題
09/20 01:20, 80F
‣ 更多 NCTUFAIWEN 的文章
文章代碼(AID): #1TWRssMJ (PC_Shopping)