Fw: [閒聊] 投入 生成式AI / GPT 的顯卡選購建議

看板AI_Art作者 (Zaious.)時間1年前 (2023/04/30 21:21), 1年前編輯推噓6(6推 0噓 6→)
留言12則, 6人參與, 1年前最新討論串1/1
※ [本文轉錄自 PC_Shopping 看板 #1aGWsx_3 ] 作者: ZMTL (Zaious.) 看板: PC_Shopping 標題: [閒聊] 投入生成式AI/GPT的顯卡選購建議 時間: Fri Apr 21 12:14:47 2023 看了板上的一些AI組機文，實在有點話想拿出來聊聊。 比較常提到的繪圖大家應該都知道，現在建議就是3060 12G，VRAM稱王， 其他選擇就是4070(Ti) 12G / 3090 24G / 4090 24G，4080 16G CP值太差...之類。 不過我真的強烈建議還弄的到二手3090就去弄、預算有個80K拿4090比較不會後悔。 為什麼呢？ 不知道板上關注生成式語言模型(ex:ChatGPT)的人多不多， GPT現在沒有開源，使用文字生成來做應用(串API)是逐字計費， 所以目前有一些仿GPT、甚至借助GPT訓練的開源語言模型正在發展中。 參考這幾天很紅的 GPT-4識圖功能不開放，MiniGPT-4搶先開放試用！OpenAI有的它都有 https://www.techbang.com/posts/105663 "並且團隊正在準備一個更羽量級的版本，部署起來只需要23GB的VRAM。 也就是消費級顯 示卡中擁有24GB VRAM的3090或4090就可以在本地端執行了。 " Stable Diffusion團隊剛發布的StableLM https://github.com/Stability-AI/StableLM/issues/17 以及其他語言模型 https://zhuanlan.zhihu.com/p/615199206 至少在這部分24G VRAM很可能會是標配。 一點淺見，感謝電蝦板在我要組跑AI用的電腦時給了很多建議，拿出來分享一下。 也留篇文讓人有機會爬。 -- AI_Art AI藝術與創作板 歡迎各方前來討論AIGC創作與相關議題！ AI情報屋營業中 噗浪：https://www.plurk.com/Zaious IG ：https://www.instagram.com/zaious.design/ 日曆：https://zaious.notion.site/zaious/22c0024eceed4bdc88588b8db41e6ec4 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.124.87.90 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1682050491.A.FC3.html ※ 編輯: ZMTL (59.124.87.90 臺灣), 04/21/2023 12:15:22
推
04/21 12:20, 1年前 , 1F
ARC a770(16GB)入門好選擇，越來越多的支援。如果你會玩
04/21 12:20, 1F
推
04/21 12:24, 1年前 , 2F
ARC也支援了OpenACC想跑氣候分析的也可以玩玩看
04/21 12:24, 2F
推
04/21 12:42, 1年前 , 3F
哦，我用練好的就好了
04/21 12:42, 3F
推
04/21 12:43, 1年前 , 4F
的確!你說的沒錯，VRAM 就跟入場券一樣
04/21 12:43, 4F
推
04/21 12:43, 1年前 , 5F
推 感謝分享
04/21 12:43, 5F
→
04/21 12:44, 1年前 , 6F
stable Diffusion 越做越複雜，後面 8G VRAM
04/21 12:44, 6F
→
04/21 12:44, 1年前 , 7F
快撐不住了，外掛太多好用的功能
04/21 12:44, 7F
推
04/21 12:45, 1年前 , 8F
Vram至上!
04/21 12:45, 8F
→
04/21 12:46, 1年前 , 9F
VRAM不足，速度再快也是無用武之地
04/21 12:46, 9F
→
04/21 12:46, 1年前 , 10F
連打開城市的資格都沒有
04/21 12:46, 10F
→
04/21 12:47, 1年前 , 11F
程式
04/21 12:47, 11F
噓
04/21 13:04, 1年前 , 12F
AI繪圖=盜圖
04/21 13:04, 12F
→
04/21 13:18, 1年前 , 13F
一個大VRAM且相對新卡便宜的選擇是 3090 Ti，3090 跑
04/21 13:18, 13F
→
04/21 13:18, 1年前 , 14F
diffusion 超燙
04/21 13:18, 14F
推
04/21 13:21, 1年前 , 15F
3090Ti量太少了，不然的確是比3090好很多的選擇
04/21 13:21, 15F
→
04/21 13:24, 1年前 , 16F
3090是真的燙 可以煮飯的那種
04/21 13:24, 16F
→
04/21 13:31, 1年前 , 17F
不過 4090 真的很強，用3090 Ti 70% 的功耗還加速 1.6
04/21 13:31, 17F
→
04/21 13:31, 1年前 , 18F
倍以上，本人親測，根本北極熊救星
04/21 13:31, 18F
→
04/21 13:37, 1年前 , 19F
學對岸魔改2080Ti 22GB好了XD
04/21 13:37, 19F
推
04/21 13:38, 1年前 , 20F
vram大 就是王
04/21 13:38, 20F
推
04/21 13:57, 1年前 , 21F
還可以研究看看webllm，為A卡打開一扇窗
04/21 13:57, 21F
→
04/21 14:29, 1年前 , 22F
23G VRAM... 好吧, 對於 GPU 程式好像沒有 12+12 當 24..
04/21 14:29, 22F
→
04/21 14:33, 1年前 , 23F
其實不喜歡模型越搞越大變成計算軍備競賽的趨勢...
04/21 14:33, 23F
→
04/21 14:34, 1年前 , 24F
(還是會用繪圖卡, 雖然慢, 但是可以在相對價格搞到 VRAM)
04/21 14:34, 24F
→
04/21 14:56, 1年前 , 25F
能放到家用電腦跑的，目前已經都是「縮小」的模型了(文字部
04/21 14:56, 25F
→
04/21 14:56, 1年前 , 26F
份啦
04/21 14:56, 26F
→
04/21 15:04, 1年前 , 27F
24G VRAM 繪圖卡就對不到價了, 這就沒辦法 XD
04/21 15:04, 27F
→
04/21 15:19, 1年前 , 28F
跑stable diffusion ,so-vits-svc 這些，選4090還是很有優
04/21 15:19, 28F
→
04/21 15:19, 1年前 , 29F
勢，如果只是玩看看，8G VRAM的顯卡慢慢跑就好了，不用特地
04/21 15:19, 29F
→
04/21 15:19, 1年前 , 30F
去換
04/21 15:19, 30F
推
04/21 15:23, 1年前 , 31F
HF也有GPT-2的模型 預訓練好的model應該都不用太多vram
04/21 15:23, 31F
推
04/21 15:28, 1年前 , 32F
3090到底跑起來要不要去改散熱那種東西啊？
04/21 15:28, 32F
推
04/21 15:29, 1年前 , 33F
沒有持續一直跑 限縮瓦數上限 可以不用
04/21 15:29, 33F
推
04/21 15:46, 1年前 , 34F
A卡是不是完全不用考慮阿
04/21 15:46, 34F
推
04/21 16:13, 1年前 , 35F
4090只怕線燒毀...
04/21 16:13, 35F
→
04/21 16:15, 1年前 , 36F
目前我還是用2070s的8g在算圖，8g是一個底限
04/21 16:15, 36F
→
04/21 16:16, 1年前 , 37F
實際玩起來還行，只是放大不方便用內建的高解析修正..
04/21 16:16, 37F
→
04/21 16:19, 1年前 , 38F
只是算圖實在覺得慢，過陣子還是會購入4090
04/21 16:19, 38F
推
04/21 16:27, 1年前 , 39F
4，現在AI都基於N卡在發展，要玩就是N家最好用
04/21 16:27, 39F
推
04/21 17:12, 1年前 , 40F
目前都在N卡上發展，不過微軟前幾天丟出新聞說他們
04/21 17:12, 40F
→
04/21 17:12, 1年前 , 41F
有打算自製AI專用晶片去應付更大的需求。Project A
04/21 17:12, 41F
→
04/21 17:12, 1年前 , 42F
thena 從2019開始應該要端出什麼東西來了
04/21 17:12, 42F
→
04/21 18:37, 1年前 , 43F
A卡能跑AI，我跳的時候，要訓練lora還做不到。至於速度？
04/21 18:37, 43F
→
04/21 18:38, 1年前 , 44F
rx5700也不算慢了，但因為vram不足，所以壓低效能就慢到
04/21 18:38, 44F
→
04/21 18:38, 1年前 , 45F
哭。真的要玩的確N卡比較好，但A卡還是可以玩，只是真的
04/21 18:38, 45F
→
04/21 18:39, 1年前 , 46F
vram要12G以上。lora現在那麼容易抓，其實也沒必要自己去
04/21 18:39, 46F
→
04/21 18:40, 1年前 , 47F
練。主玩遊戲，偶爾跑AI，A卡就夠了。兩者並重，N卡較佳
04/21 18:40, 47F
→
04/21 18:40, 1年前 , 48F
想跑訓練，vram 24G比較好。
04/21 18:40, 48F
→
04/21 18:44, 1年前 , 49F
另外預算也不用80k，4090才56K，折價下來都剩51左右，掛
04/21 18:44, 49F
→
04/21 18:45, 1年前 , 50F
個power 3~5K。CPU在玩遊戲才會出現瓶頸。單論跑AI還好。
04/21 18:45, 50F
→
04/21 18:46, 1年前 , 51F
所以大概55K~60K就能搞定。
04/21 18:46, 51F
推
04/21 22:20, 1年前 , 52F
webllm有沒有中文不錯的...之前測一個opt-13b感覺還不
04/21 22:20, 52F
→
04/21 22:20, 1年前 , 53F
太能用... 搞半天玩沒幾下就關了XD 感覺還有段路要走
04/21 22:20, 53F
推
04/22 00:44, 1年前 , 54F
前陣子也直上3090了，玩AI 12G絕對不夠用
04/22 00:44, 54F
→
04/22 01:03, 1年前 , 55F
聽說，聽說，Colab要開始限制跑SD又沒付錢買pro的了
04/22 01:03, 55F
→
04/22 01:03, 1年前 , 56F
Reddit上正在討論
04/22 01:03, 56F
推
04/22 11:33, 1年前 , 57F
一樓馬上兩個跑出來推770是怎樣
04/22 11:33, 57F
推
04/22 11:48, 1年前 , 58F
推
04/22 11:48, 58F
→
04/22 11:49, 1年前 , 59F
a770跟a卡沒辦法吧 好狠
04/22 11:49, 59F
推
04/22 12:20, 1年前 , 60F
千萬不要買N卡以外的顯卡，除非你非常想除錯練經驗值
04/22 12:20, 60F
→
04/22 16:42, 1年前 , 61F
stablelm 可以 12+16 > 24... 感恩, torch 基礎可能可以.
04/22 16:42, 61F
→
04/22 16:52, 1年前 , 62F
語言模型+torch 基礎的感覺高機率可以兩三張抵一張...
04/22 16:52, 62F
※ 發信站: 批踢踢實業坊(ptt.cc) ※ 轉錄者: ZMTL (123.193.180.122 臺灣), 04/30/2023 21:21:49
推
04/30 21:39, 1年前 , 63F
有限預算3060 12G已經很好用了，換3090其他配備也要再評估
04/30 21:39, 63F
→
04/30 22:03, 1年前 , 64F
4090怕燒+1，高機率電供甚至整組PC都要配合升級…
04/30 22:03, 64F
推
04/30 23:11, 1年前 , 65F
家裡的4G卡還在服役中，但我連LoRA或ControlNet都不敢裝
04/30 23:11, 65F
→
04/30 23:14, 1年前 , 66F
說4090是北極熊救星是不是太樂觀了XD這只會讓能耗疊上去
04/30 23:14, 66F
推
04/30 23:27, 1年前 , 67F
如果把顯存一顆1g的換成一顆2g其實不用買4090
04/30 23:27, 67F
→
04/30 23:29, 1年前 , 68F
像4070目前12g直接變24g的話
04/30 23:29, 68F
推
05/01 21:58, 1年前 , 69F
這幾天翻資料，2060有出12g版本的,算是市場最低價的12g
05/01 21:58, 69F
→
05/01 21:58, 1年前 , 70F
卡？
05/01 21:58, 70F
推
05/03 00:24, 1年前 , 71F
我是買二手A6000 速度我覺得跟3090差不多 好處是ram
05/03 00:24, 71F
→
05/03 00:24, 1年前 , 72F
大能跑各種開源的LLM
05/03 00:24, 72F
推
05/03 16:19, 1年前 , 73F
更正一下 4070是2g的6顆 不過還有2個空著 最高到16g
05/03 16:19, 73F
→
05/03 16:19, 1年前 , 74F
應該很有可能有16g版本的4070
05/03 16:19, 74F
‣ 更多 ZMTL 的文章
文章代碼(AID): #1aJcjk1x (AI_Art)