[問題] 要多少GPU ram才能自己養一個neuro

看板C_Chat作者 (第三方程式)時間1年前 (2024/10/09 20:07), 1年前編輯推噓2(3推 1噓 2→)
留言6則, 5人參與, 1年前最新討論串1/1
語音轉文字應該whisper就無敵了 文字轉文字有llama3.2 文字轉語音選擇很多 延遲是個問題 還有中間的檢索資料庫要怎麼架 但假設對延遲有一定容忍 就看她一個人在那裡嘴 需要多少RAM才能自己養一個neuro??? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.137.137.64 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1728475641.A.E15.html
推
10/09 20:08, 1年前 , 1F
vedal好像是用租的
10/09 20:08, 1F
有在靠ai賺錢的租可以 自己玩玩感覺還是自己組划算
噓
10/09 20:21, 1年前 , 2F
問就是4090
10/09 20:21, 2F
24GB 不確定夠不夠 ※ 編輯: attacksoil (223.137.137.64 臺灣), 10/09/2024 20:27:04
→
10/09 20:40, 1年前 , 3F
租個A100
10/09 20:40, 3F
推
10/09 20:59, 1年前 , 4F
租GPT API
10/09 20:59, 4F
推
10/09 21:50, 1年前 , 5F
llama其實是dram benchmark, 記憶體需求就是版本號，7B=7G
10/09 21:50, 5F
→
10/09 21:50, 1年前 , 6F
B以此類推
10/09 21:50, 6F
7b 實際跑通常要10到16gb不等 ※ 編輯: attacksoil (223.137.137.64 臺灣), 10/09/2024 22:49:38
‣ 更多 attacksoil 的文章
文章代碼(AID): #1d1d7vuL (C_Chat)