Re: [閒聊] 欸不是，買個顯卡還要買驅動= =

看板PC_Shopping作者 (MACROSS2K)時間1年前 (2023/04/08 22:32), 1年前編輯推噓85(88推 3噓 44→)
留言135則, 79人參與, 1年前最新討論串3/6 (看更多)
另外開一篇 在Docker/Container概念開始流行之前，多重環境同時執行的概念 從"模擬"，也就是用軟體進行binary translation，這種只靠CPU進行軟體運算的 環境 到"虛擬"，在原生硬體上建立多個"楚門的世界"，並且都享有原生硬體效能 到"函式庫共用"，同指令集架構的軟體，如果函式庫相同，則直接引用 不須要再建立那麼多楚門的世界 2013年開始的GPU虛擬化只是當時要興起的硬體虛擬化浪潮其中一環 而且還吃力不討好，因為要牽動從硬體層，韌體層到軟體層全部的設計 2020年的安培架構資料中心產品A100，多重執行實體Multiple Instance GPU 某種程度上解決了對於硬體依賴性的虛擬化方案 試想一下，如果今天GPU裝在一個還沒支援PCI IOMMU的平台上 那GPU硬體虛擬化便無用武之地，例如ARM 而MIG的作法提供了簡單的驅動程式層隔離，脫離對硬體虛擬化平台的依賴 MIG方案其實設計得很細，在不依賴硬體虛擬化的前提下，instance profile 把CUDA core數量，VRAM，硬體編解碼單元的劃分方式都考慮進去了 除了等分切割，還支援混和規模切割(例如切一個大一點的VRAM instance 然後把剩下的VRAM都用最小單位切割) 而且文中提到，這些instance可以各自執行不同變數類型的workload FP32，BF16，FP64，TF32... 那vGPU呢? 這其實不太能跟MIG拿來比較，因為vGPU其實是作為虛擬桌面解決方案 的，他的設計是從遠端桌面環境體驗去設計的，而MIG僅能執行"運算" 更新說明虛擬化等級: Host OS->最常見的使用情境，就是安裝一個例如Windows 10/11，RHEL，SLES Guest OS->虛擬機當中運行的OS Hypervisor->虛擬機管理軟體，用來溝通其下層的資源提供來源與虛擬機群 不論資源來源提供是原生硬體還是CPU進行軟體模擬 Level 0虛擬化 -> 虛擬機管理員hypervisor直接控制硬體，沒有預先安裝 Host OS，hypervisor自己就是host OS，例如VMware ESXi，Citrix XenServer Level 1虛擬化 -> 一開始的Host OS還在，但退化成虛擬機的角色作為 管理介面，改由hypervisor核心來控制硬體，開機一樣會進原本的OS GUI 例如Hyper-V，SuSE Xen kernel，此時該虛擬機被定義為Parent Level 2虛擬化 -> Host OS當中安裝hypervisor，對硬體沒有控制權，僅作為 一個應用程式來執行，例如VMware Workstation，Oracle Virtual Box Parallels Desktop 原po的方案我想應該是level 0，雖然proxmox我沒有接觸過 vGPU的方案是在這環境下，hypervisor(此處為proxmox)透過驅動程式 控制GPU，並且利用驅動程式提供的功能建立vGPU 這個vGPU是一種"子項目"，"子分支"，大概是這樣的概念 vGPU可以提供1/1到1/n(n視該卡型號提供的分割而定)GPU硬體的效能 並且占用PCI bus形成硬體通道，讓guest OS可以使用 上面提到的控制權是一個很重要的點 Host OS上了驅動程式，則Host OS核心可以透過驅動程式控制該硬體 其他OS核心無法控制，在虛擬化環境中則是 Hypervisor控制了GPU，因此guest OS無法直接控制GPU，頂多只能透過 軟體來"分"一些GPU效能 如果希望要guest OS群都能享受原生硬體存取，免去軟體轉譯的效能耗損 1. Passthrough 叫hypervisor不要用，不上驅動程式，並且設定為passthrough 成為等待指派的資源，接著guest OS來占用，帶著這張硬體開機 然後guest OS得到這張硬體，比照host OS方式安裝驅動，享受該卡全部 硬體效能，但也因此當要調度硬體時，必須要先關虛擬機，造成downtime 2. SR-IOV GPU卡建立一些硬體通道，讓這些硬體通道分布在PCI bus上 guest OS可以占用這些硬體通道，雖然只能得到1/n的GPU效能 但在需要調度效能的時候，因為hypervisor控制硬體，所以不會受限 於任何guest OS獨佔，只要GPU還有剩餘可調度效能，隨時可以變換規劃 由於proxmox不是NVIDIA支援項目，所以我猜proxmox是設計成直接讀取 給其他hypervisor用的驅動程式，例如VMware ESXi 但因為可能有license鎖，所以可能要花時間去改動一些細節才能 讓proxmox利用 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.134.54.139 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1680964349.A.872.html
噓
04/08 22:34, 1年前 , 1F
你幹嘛不上一篇編輯就好 洗文章?
04/08 22:34, 1F
→
04/08 22:37, 1年前 , 2F
不好意思，我很少回文，版面操作不是很熟悉，感謝指教
04/08 22:37, 2F
噓
04/08 22:44, 1年前 , 3F
噓一樓 PTT現在文章數沒什麼用
04/08 22:44, 3F
推
04/08 22:47, 1年前 , 4F
那就推回來...至少人家還是有心
04/08 22:47, 4F
推
04/08 22:48, 1年前 , 5F
這麼多字你想洗還洗不出來
04/08 22:48, 5F
推
04/08 22:52, 1年前 , 6F
這一兩篇單字我都看得懂，但組再一起沒有一個詞看得懂
04/08 22:52, 6F
→
04/08 22:54, 1年前 , 7F
原PO真的專業戶，有空再邊google邊看到底是在說明什麼東西
04/08 22:54, 7F
推
04/08 22:57, 1年前 , 8F
好不容易有專業文
04/08 22:57, 8F
→
04/08 22:57, 1年前 , 9F
感謝，希望分享一些商用產品的測試經驗對各位有幫助
04/08 22:57, 9F
推
04/08 23:00, 1年前 , 10F
以前沒有官方支援vGPU，要搞GPU資源隔離或是切割的做法還
04/08 23:00, 10F
→
04/08 23:00, 1年前 , 11F
滿邪門的
04/08 23:00, 11F
推
04/08 23:13, 1年前 , 12F
感謝 漲知識了 我對vGPU其實也沒什麼研究 就單純覺得現代
04/08 23:13, 12F
→
04/08 23:13, 1年前 , 13F
PC應該可以完全虛擬化 想玩玩看
04/08 23:13, 13F
推
04/08 23:14, 1年前 , 14F
一樓打的出來這些字嗎? 笑死
04/08 23:14, 14F
推
04/08 23:21, 1年前 , 15F
不然你來講
04/08 23:21, 15F
→
04/08 23:22, 1年前 , 16F
我打不出來 真是抱歉 但我覺得能編輯為啥不編輯
04/08 23:22, 16F
→
04/08 23:23, 1年前 , 17F
文章又不是很舊或是相隔很多篇
04/08 23:23, 17F
→
04/08 23:24, 1年前 , 18F
我剛試著編輯文章，發現並不是只編輯內文
04/08 23:24, 18F
→
04/08 23:24, 1年前 , 19F
而是連留言都一併顯示，有點看不懂這樣是否會動到版面
04/08 23:24, 19F
→
04/08 23:25, 1年前 , 20F
proxmox我沒有接觸過，也蠻好奇它提供到什麼程度
04/08 23:25, 20F
推
04/08 23:29, 1年前 , 21F
補推
04/08 23:29, 21F
推
04/08 23:33, 1年前 , 22F
專業文求洗好嗎
04/08 23:33, 22F
推
04/08 23:33, 1年前 , 23F
這種有料的文越多越好，雖然我看不懂QQ
04/08 23:33, 23F
推
04/08 23:34, 1年前 , 24F
沒事，討論就好別在意 沒啥大不了的
04/08 23:34, 24F
→
04/08 23:35, 1年前 , 25F
雖然專業，不過有電蝦點嗎XD
04/08 23:35, 25F
推
04/08 23:36, 1年前 , 26F
編輯文章的留言底下換行 不去動到留言的行不會有事的
04/08 23:36, 26F
→
04/08 23:38, 1年前 , 27F
編輯期間新增的推文也不用擔心洗掉 但手機App要擔心
04/08 23:38, 27F
推
04/08 23:39, 1年前 , 28F
有阿，極客灣就搞過虛擬化GPU四開虛擬機器打CS。應該是?
04/08 23:39, 28F
→
04/08 23:39, 1年前 , 29F
是極客灣還是某科技，我忘了。但概念大概雷同?
04/08 23:39, 29F
推
04/08 23:42, 1年前 , 30F
極客灣沒錯
04/08 23:42, 30F
→
04/08 23:44, 1年前 , 31F
四等分顯卡 不過是hyperV
04/08 23:44, 31F
推
04/08 23:45, 1年前 , 32F
這種專業文多洗一點才好 不像某大濕整天廢文
04/08 23:45, 32F
推
04/08 23:47, 1年前 , 33F
之前看GPU虛擬化技術上多難的的文章 結果nv好像已經克服了
04/08 23:47, 33F
→
04/08 23:48, 1年前 , 34F
20系顯卡被人發現只要改id就能解鎖vGPU，只是不想下放消費
04/08 23:48, 34F
→
04/08 23:48, 1年前 , 35F
級= =
04/08 23:48, 35F
推
04/08 23:49, 1年前 , 36F
能用跟足夠用我個人是覺得兩回事。能用應該好解決
04/08 23:49, 36F
→
04/08 23:50, 1年前 , 37F
但是足夠用就是問題惹，經過層層轉譯堆疊被吃掉的不知多少
04/08 23:50, 37F
推
04/08 23:53, 1年前 , 38F
問個不專業的問題，一般消費級顯卡有辦法虛擬化嗎？有時
04/08 23:53, 38F
→
04/08 23:53, 1年前 , 39F
候不想動到電腦的東西想在VM裡面測試一些東西
04/08 23:53, 39F
還有 56 則推文
還有 3 段內文
推
04/09 11:43, 1年前 , 96F
我的舊版指是2.10以前，從2.11開始windows停止支援GPU
04/09 11:43, 96F
推
04/09 12:26, 1年前 , 97F
推這篇
04/09 12:26, 97F
推
04/09 12:42, 1年前 , 98F
真假 抱歉 我以為2.8算新的了XD
04/09 12:42, 98F
→
04/09 12:45, 1年前 , 99F
tensorflow官網文件提到用pip安裝Windows支援GPU
04/09 12:45, 99F
推
04/09 13:09, 1年前 , 100F
幫推，專業文可以多來幾篇
04/09 13:09, 100F
推
04/09 13:18, 1年前 , 101F
你把一堆傘亂資訊總結專業文 給推
04/09 13:18, 101F
→
04/09 14:03, 1年前 , 102F
tf已經沒有windows原生gpu了 要wsl2才能支援
04/09 14:03, 102F
推
04/09 14:25, 1年前 , 103F
猛
04/09 14:25, 103F
推
04/09 14:45, 1年前 , 104F
長知識推。 工作上有用到proxmox，但是只用到xeon
04/09 14:45, 104F
→
04/09 14:45, 1年前 , 105F
內建GPU給VM用而已XD
04/09 14:45, 105F
推
04/09 14:52, 1年前 , 106F
1樓快點寫一篇專業文來洗
04/09 14:52, 106F
推
04/09 15:14, 1年前 , 107F
嗯，跟我想得一樣，我以為大家會這樣說
04/09 15:14, 107F
推
04/09 15:20, 1年前 , 108F
這種文再多我也不介意呀
04/09 15:20, 108F
推
04/09 15:32, 1年前 , 109F
推專業文
04/09 15:32, 109F
推
04/09 16:45, 1年前 , 110F
這是免費可以看的嗎
04/09 16:45, 110F
推
04/09 17:18, 1年前 , 111F
推
04/09 17:18, 111F
→
04/09 17:47, 1年前 , 112F
下次還是編輯就好...
04/09 17:47, 112F
推
04/09 19:18, 1年前 , 113F
只懂到passthrough，SR-IOV還是很模糊。
04/09 19:18, 113F
推
04/09 19:40, 1年前 , 114F
推專業文
04/09 19:40, 114F
推
04/09 20:02, 1年前 , 115F
這是專業文吧，看了半天還是看不懂，感覺很專業！
04/09 20:02, 115F
推
04/09 20:48, 1年前 , 116F
Proxmox是在qemu/kvm上套一層自己的介面，算level 1
04/09 20:48, 116F
推
04/09 20:59, 1年前 , 117F
MXGPU其實有打出市場，Instinct MI系列一直混的不差，
04/09 20:59, 117F
→
04/09 20:59, 1年前 , 118F
只是消費級看得到吃不到，開源支援幾乎是零
04/09 20:59, 118F
推
04/09 21:08, 1年前 , 119F
最近還有一種玩法是GPU-over-IP，直接跳過硬體層
04/09 21:08, 119F
推
04/09 22:03, 1年前 , 120F
雖然不太了解 不過推專業
04/09 22:03, 120F
推
04/09 22:11, 1年前 , 121F
一樓有貓餅 幫推專業文
04/09 22:11, 121F
推
04/09 22:15, 1年前 , 122F
這篇超專業好嗎...有本事自己打一篇別只出張嘴...
04/09 22:15, 122F
推
04/09 22:48, 1年前 , 123F
一樓也洗一篇這麼長的
04/09 22:48, 123F
推
04/09 23:12, 1年前 , 124F
推推
04/09 23:12, 124F
推
04/09 23:18, 1年前 , 125F
推專業
04/09 23:18, 125F
推
04/09 23:27, 1年前 , 126F
原來tf新版不支援了 感謝資訊
04/09 23:27, 126F
推
04/10 09:43, 1年前 , 127F
推，感謝分享
04/10 09:43, 127F
推
04/10 11:47, 1年前 , 128F
這種文還不夠格新開一篇，待會來看看一樓都寫些什麼神級論
04/10 11:47, 128F
→
04/10 11:47, 1年前 , 129F
文發在PTT。科科
04/10 11:47, 129F
推
04/10 11:51, 1年前 , 130F
TF可以在windows下用GPU啦，就算到WSL2下也是要把windows
04/10 11:51, 130F
→
04/10 11:51, 1年前 , 131F
下該裝的CUDA裝好
04/10 11:51, 131F
→
04/10 11:52, 1年前 , 132F
之前裝2.10還有，2.11我就不清楚了
04/10 11:52, 132F
推
04/10 18:39, 1年前 , 133F
推
04/10 18:39, 133F
推
04/11 12:51, 1年前 , 134F
我是碼農我看不懂，我好廢
04/11 12:51, 134F
推
04/11 17:57, 1年前 , 135F
可以敲碗就下集嗎??
04/11 17:57, 135F
‣ 更多 MACROSS2K 的文章
文章代碼(AID): #1aCNhzXo (PC_Shopping)
討論串 (同標題文章)
以下文章回應了本文：
完整討論串 (本文為第 3 之 6 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共6篇)
‣ 更多 MACROSS2K 的文章
文章代碼(AID): #1aCNhzXo (PC_Shopping)