[討論] 手機跑小型ChatGPT ~ LLaMA大型語言模型

看板MobileComm作者 (內容農場殺手)時間2年前 (2023/04/07 12:57), 2年前編輯推噓17(17推 0噓 6→)
留言23則, 16人參與, 2年前最新討論串1/1
祖克伯的Meta公司今年2月公開的「LLaMA」是體積比較小的大型語言模型(LLM)。 LLaMA依照訓練參數數量分為7B、13B、30B、65B。訓練數量雖比不上OpenAI的ChatGPT，但 是硬體需求大大降低，是個人電腦甚至旗艦手機都跑得動的程度。 根據他們paper的說法，LLaMA 13B的模型性能比GPT-3模型要好，可以作到基本對答。 一些LLaMA可以達成的任務 這邊的截圖是來自Dalai LLaMA，它只是一個LLaMA的網頁前端。 目前LLaMA只支援英文，未來應該會有中文模型。 1. 幫我把這句話翻譯成中文：Taiwan is a country. https://i.imgur.com/G4o7TYs.png
2. 解釋Skinner行為主義心理學理論的優缺點，並舉出五個例子 https://i.imgur.com/MtYgomt.png
3. 寫個Python程式，尋找一個字串中出現最多次的字元 https://i.imgur.com/3OKMDun.png
4. 幫我想五個新文章標題候選：使用Linux當主力系統的好處 https://i.imgur.com/jjx5prE.png
5. 段落抓重點：請抓出以下有關普遍文法 (Universal Grammar) 段落的重點，並用十句 話解釋何為普遍文法。 https://i.imgur.com/6DccCwW.png
在Android手機跑LLaMA 除了LLaMA以外，還有Alpaca模型，這是史丹佛大學微調後的版本。同樣的資源耗用較小， 且有人製作了純CPU運算的版本llama.cpp，不用依賴顯示卡。 因此除了在個人電腦跑，也可以跑在Android手機上。 最小的LLaMA 7B至少需要4GB RAM，保險起見手機最好有8GB RAM才不會跑到一半手機自動 重開。 簡單的辦法就是裝Termux，解開signal9的錯誤 然後設定Proot Debian，把模型下載下來，alpaca.cpp編譯一下就可以開始聊天了。 https://i.imgur.com/M24wDqr.png
詳細安裝方法：https://reurl.cc/OVDRVg 手機RAM低於8GB的也不用灰心，你可以root後，設定chroot Ubuntu，掛載SWAP強行增大 虛擬記憶體。 手機與電腦速度比較 問一個10個字的問句 純CPU運算下，LLaMA在Intel Core i5-7400的CPU約10秒就會開始作答，寫完回答約1分鐘 。 高通s845處理器要等30秒才會開始回答，並且寫完整個回答2分鐘。 如果使用GPU加速，速度應該會快許多，要用GPU加速可嘗試Text Generation WebUI。 LLaMA的回答品質不可能像ChatGPT那麼神，胡言亂語機率更高 但好處是沒有任何道德限制～想聊什麼就聊什麼～ 隨著這類模型的開源，大型語言模型可能會走向Stable Diffusion那樣的發展路徑。 (雖說LLaMA一開始是提前外洩才為人所知的) -- 想辦法在開源系統跑閉源遊戲 https://i.imgur.com/FUrYLxA.png
Arch是真愛 https://i.imgur.com/0ja0Tx8.png
論使用Gentoo的好處 https://i.imgur.com/QjvfLfR.png
是言論自由，不是免費啤酒 https://i.imgur.com/sNmNm9x.png
流量密碼 https://i.imgur.com/rXERMcM.png
刪除user? 我不記得有這功能 https://i.imgur.com/xcml0xN.png
-- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.27.87.182 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1680843424.A.E35.html
推
04/07 13:19,
兩年前在實驗室就用開源框架把GPT2放到手機上試過了
04/07 13:19
→
04/07 13:19,
只是沒必要 畢竟網路發達 中心運算就好
04/07 13:19
我覺得未來還是值得試試模型小型化...如果SoC都夠強的話啦
推
04/07 13:24,
推，技術力真強
04/07 13:24
推
04/07 13:42,
認真說 我覺得他們應該去跟line合作 去幫我打字的句
04/07 13:42
→
04/07 13:42,
子找出對應的貼圖
04/07 13:42
推
04/07 13:42,
https://bit.ly/3zAGaCR 要用 NPU 加速比較有效率
04/07 13:42
→
04/07 13:42,
在 Pixel 6 可以跑出 5 token / sec
04/07 13:42
隨著這類模型的開源，大型語言模型可能會走向Stable Diffusion那樣的發展路徑。 (雖說LLaMA一開始是提前外洩才為人所知的) -- 想辦法在開源系統跑閉源遊戲 https://i.imgur.com/FUrYLxA.png
Arch是真愛 https://i.imgur.com/0ja0Tx8.png
論使用Gentoo的好處 https://i.imgur.com/QjvfLfR.png
是言論自由，不是免費啤酒 https://i.imgur.com/sNmNm9x.png
流量密碼 https://i.imgur.com/rXERMcM.png
刪除user? 我不記得有這功能 https://i.imgur.com/xcml0xN.png
-- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.27.87.182 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1680843424.A.E35.html
推
04/07 13:19, 2年前 , 1F
兩年前在實驗室就用開源框架把GPT2放到手機上試過了
04/07 13:19, 1F
→
04/07 13:19, 2年前 , 2F
只是沒必要 畢竟網路發達 中心運算就好
04/07 13:19, 2F
我覺得未來還是值得試試模型小型化...如果SoC都夠強的話啦
推
04/07 13:24, 2年前 , 3F
推，技術力真強
04/07 13:24, 3F
推
04/07 13:42, 2年前 , 4F
認真說 我覺得他們應該去跟line合作 去幫我打字的句
04/07 13:42, 4F
→
04/07 13:42, 2年前 , 5F
子找出對應的貼圖
04/07 13:42, 5F
推
04/07 13:42, 2年前 , 6F
https://bit.ly/3zAGaCR 要用 NPU 加速比較有效率
04/07 13:42, 6F
→
04/07 13:42, 2年前 , 7F
在 Pixel 6 可以跑出 5 token / sec
04/07 13:42, 7F
Google的先見之明(咦
推
04/07 14:14, 2年前 , 8F
太酷了
04/07 14:14, 8F
推
04/07 15:16, 2年前 , 9F
@@
04/07 15:16, 9F
推
04/07 15:57, 2年前 , 10F
不錯xd
04/07 15:57, 10F
推
04/07 16:08, 2年前 , 11F
能不用網路也是有很多用處，例如語音助理
04/07 16:08, 11F
推
04/07 18:32, 2年前 , 12F
用Android NDK打包llama.cpp不知道會不會比較快
04/07 18:32, 12F
有，llama.cpp作者就有示範用NDK編譯，應會比proot快
推
04/07 18:41, 2年前 , 13F
推
04/07 18:41, 13F
推
04/07 19:23, 2年前 , 14F
好厲害
04/07 19:23, 14F
推
04/07 20:05, 2年前 , 15F
推，我連docker都還沒改kernel…太有行動力了
04/07 20:05, 15F
※ 編輯: ivon852 (114.27.87.182 臺灣), 04/07/2023 21:15:31
推
04/07 21:59, 2年前 , 16F
問一個白癡問題 chatgpt不是手機上就可以跑了嗎？ 就一個
04/07 21:59, 16F
→
04/07 21:59, 2年前 , 17F
網頁不是？
04/07 21:59, 17F
推
04/07 22:16, 2年前 , 18F
我覺得AI還是交給網路別人算就好 幾秒鐘才回答==手機有網
04/07 22:16, 18F
→
04/07 22:16, 2年前 , 19F
路chatgpt一兩秒就回答了
04/07 22:16, 19F
確實算力不如人的情況下雲端較有優勢，不過開源自架的價值就在於可以自己掌控。
推
04/07 22:40, 2年前 , 20F
不是每個國家都吃到飽
04/07 22:40, 20F
推
04/07 22:43, 2年前 , 21F
歐@@
04/07 22:43, 21F
→
04/07 23:20, 2年前 , 22F
這個有點厲害
04/07 23:20, 22F
※ 編輯: ivon852 (114.27.87.182 臺灣), 04/08/2023 00:23:09
推
04/08 03:41, 2年前 , 23F
你好厲害
04/08 03:41, 23F
推 JKGOOD: 如果chatGPT可以離線不知道模型庫會多大？我猜跟Stable Di 04/08 08:25 目前有quantized處理過的LLaMA模型，最小的4GB，最大的40GB。 ※ 編輯: ivon852 (111.71.221.44 臺灣), 04/09/2023 00:43:16
‣ 更多 ivon852 的文章
文章代碼(AID): #1aBwAWur (MobileComm)