[LLMs] Meta 正式推出 Llama 3

看板AI_Art作者 (阿緯)時間2周前 (2024/04/20 21:26), 2周前編輯推噓3(3推 0噓 3→)
留言6則, 5人參與, 2周前最新討論串1/1
Meta AI 2023年2月發布Llama 2023年7月發布LLama2 2024年4月發布Llama3 每代都有巨幅的進步 目前公布Llama3 70B的版本甚至與Gemini 1.5 Pro、GPT-4互有輸贏 就連Llama3 8B的版本也完全贏過Llama2 70B 無法想像N年後的Llama還會成長到什麼高度... 下圖是Simon Liu(https://medium.com/@simon3458/)整理的比較表 https://i.imgur.com/9o57eAI.png
_______________ Meta在Hugging Face公開了8B與70B的models 需要先跟Meta申請使用的審核才能存取模型 https://huggingface.co/collections/meta-llama/ _______________ 若想測試在HuggingChat中 設定Meta-Llama-3-70B-Instruct為Active後 就可以線上測試Meta Llama 3了 我線上測試一下這次原生版本 中文懂得比前一代Llama-2還要多不少 https://huggingface.co/chat/ _______________ 底下是幾個關於Llama 3的中文介紹 _______________ 歡迎 Llama 3：Meta 的新一代開源大語言模型 https://huggingface.co/blog/zh/llama3 [快速帶你看] 世界不能沒有 Meta 來開源 LLM 模型— Llama 3 介紹 https://reurl.cc/ZeQ8nW 最強開源大模型Llama3深夜發佈 - 世界不能沒有Meta / meta才是真正的那個"OpenAI" https://reurl.cc/LW0e1L 開源 AI 全攻略 - 企業如何善用 Llama 3, Taide 等開源大型語言模型創造競爭優勢 https://www.largitdata.com/blog_detail/20240420 Llama 3 最強開源大語言模型王者歸來，這次表現直逼 GPT-4 https://www.techbang.com/posts/114719-call-3-gpt-4 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.83.155.252 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1713619604.A.663.html
推
04/20 23:46, 2周前 , 1F
玩了一下 8B的版本 還不錯 就是中文裡面會夾一點英文比較煩
04/20 23:46, 1F
→
04/21 01:39, 2周前 , 2F
畢竟多語言資料只佔預訓練集5%左右，不過我覺得也還算堪用
04/21 01:39, 2F
→
04/21 01:42, 2周前 , 3F
當回覆的內容都為英文時，也可跟他說將回答翻譯為繁體中文w
04/21 01:42, 3F
推
04/21 20:59, 2周前 , 4F
這個可以色!
04/21 20:59, 4F
推
04/22 00:24, 2周前 , 5F
70b本地跑要多少vram啊？
04/22 00:24, 5F
在reddit上面有相關討論 https://reurl.cc/MOZKv3 https://reurl.cc/jWqKdn 原生的Llama-3-70B safetensors檔案合計141.06G vram大約就是模型檔案大小 而torch dtype in float16時vram大約是檔案大小除2 目前huggingface已有GGUF的量化版本 使用q4_K(4bit)量化版本大約40G以上 使用q2_K(2bit)量化版本大約21G左右 所以最低限度24G的顯卡是必要的... GGUF的量化類型可以參考底下說明 https://huggingface.co/docs/hub/gguf#quantization-types ※ 編輯: avans (111.83.155.252 臺灣), 04/22/2024 01:14:03
→
04/22 08:19, 2周前 , 6F
用CPU跑 只要ram夠大就行 當然速度偏慢就是了
04/22 08:19, 6F
‣ 更多 avans 的文章
文章代碼(AID): #1c8yAKPZ (AI_Art)