Re: [閒聊] 文心一言AI繪圖（慎入）

看板C_Chat作者 (Bomb)時間1年前 (2023/03/23 23:55), 編輯推噓14(21推 7噓 108→)
留言136則, 24人參與, 1年前最新討論串3/4 (看更多)
文心一言實力不如ChatGPT是理所當然的，微軟投資幾百億美元並且用微軟的雲端訓練整個網 路資料兩年了，到了去年底才終於開花結果 目前這種LLM模型，最重要的就是 資料 算力 和算法，其中基礎的資料是非常重要的，Chat GPT在建立模型的過程跟一般的Ai一樣要機器學習建立模型，而ChatGPT的基礎原理就是由上 一個字生成下一個字，週而復始，其中在訓練的過程還會經過人工挑選優質回答和一些和添 加一些限制來引導訓練方向，但總體而言跟其他Ai模型一樣訓練出來的模型基本上是黑盒子 ，是無法直接改動的，所以基礎語料的重要性不言而喻 而中文跟英文在目前網路的資料量91%左右，而中文只有0.11%，甚至還沒有日文0.12%多，文 心一言基本上就是專攻中文的，所以在先天條件下其實就不如ChatGPT（GPT的中文回答很多 時候也是經由英文生成答案再轉成中文的 第二個就是算力差距也很大，之前微軟的訓練場所都是5萬張A100在24小時跑模型的，美國之 前已經要求NV禁售高階運算卡很久了，目前百度能用的卡就是一些消費級的和以前囤積的卡 ，聽說他們之後要用他們的國產摩爾線程的顯卡，不過那個效能和NV差距非常大，在算力這 方面上幾年內也是追不上OpenAi團隊的 不夠就算如此，我也覺得百度這次算厲害了，為什麼？因為隔壁Google 開始公測的Bard實際 表現還不如文心一言，甚至可以說慘多了，全靠同行襯托啊。而且百度這次不像很多中國公 司一樣拿外國產品套個皮就說自研，而是真的在做產品，這點就挺厲害了，不過他們會下去 做主要也是想繼續霸佔中國瀏覽器市場的龍頭地位就是了 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.240.11.63 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1679586924.A.9ED.html
噓
03/23 23:58, 1年前 , 1F
這沒辦法解釋為什麼愛國的定義 出來是美國捏
03/23 23:58, 1F
→
03/23 23:58, 1年前 , 2F
算力不足的狀況下我覺得這模型出得太快了~
03/23 23:58, 2F
→
03/24 00:01, 1年前 , 3F
因為實際上那張圖的標籤加了美國的，只是被P掉了
03/24 00:01, 3F
→
03/24 00:01, 1年前 , 4F
03/24 00:01, 4F
→
03/24 00:02, 1年前 , 5F
所以我說那個國呢?
03/24 00:02, 5F
→
03/24 00:03, 1年前 , 6F
我覺得那不是重點，生成圖片和影片就是百度的噱頭，實際上
03/24 00:03, 6F
→
03/24 00:03, 1年前 , 7F
看文字生成的部分比較有意義
03/24 00:03, 7F
推
03/24 00:07, 1年前 , 8F
這篇也太lag早就被踢爆這個垃圾是把用戶打的字機翻
03/24 00:07, 8F
→
03/24 00:08, 1年前 , 9F
然後放到國外的sd跑出來的
03/24 00:08, 9F
→
03/24 00:08, 1年前 , 10F
你只要用一些中英歧異的字 就能測試出來
03/24 00:08, 10F
→
03/24 00:09, 1年前 , 11F
機翻也可能是核心抄襲所以沒辦法直接用中文啊
03/24 00:09, 11F
推
03/24 00:09, 1年前 , 12F
03/24 00:09, 12F
→
03/24 00:10, 1年前 , 13F
03/24 00:10, 13F
→
03/24 00:10, 1年前 , 14F
03/24 00:10, 14F
推
03/24 00:11, 1年前 , 15F
不多說了自己去查 反正這又是國外開源我就原創
03/24 00:11, 15F
噓
03/24 00:11, 1年前 , 16F
所以我說那個標籤呢?
03/24 00:11, 16F
→
03/24 00:11, 1年前 , 17F
文字對話和圖片生成是分開的啊，圖片生成是用開源的工具生
03/24 00:11, 17F
→
03/24 00:11, 1年前 , 18F
成的這個第一天內測的時候不就知道了，但文心一言最重要的
03/24 00:11, 18F
→
03/24 00:11, 1年前 , 19F
是跟ChatGPT一樣的語言對話模型啊，為何都在討論圖片生成的
03/24 00:11, 19F
→
03/24 00:11, 1年前 , 20F
部分，我看不太懂
03/24 00:11, 20F
→
03/24 00:12, 1年前 , 21F
你要不要看看標題在說什麼
03/24 00:12, 21F
噓
03/24 00:12, 1年前 , 22F
那你上面說的那個標籤跟P掉是怎麼一回事 要不要解釋一下
03/24 00:12, 22F
→
03/24 00:14, 1年前 , 23F
那你要不要看內文在寫什麼？
03/24 00:14, 23F
→
03/24 00:14, 1年前 , 24F
我只是想討論一下目前的幾個大型LLM模型而已，Ai繪圖早就已
03/24 00:14, 24F
→
03/24 00:14, 1年前 , 25F
經玩爛了，技術難度也遠低於對話模型
03/24 00:14, 25F
→
03/24 00:14, 1年前 , 26F
就那張圖把標籤P掉了啊，你實際打愛國的貓沒有美國國旗，很
03/24 00:14, 26F
→
03/24 00:14, 1年前 , 27F
難懂嗎？
03/24 00:14, 27F
噓
03/24 00:16, 1年前 , 28F
呵
03/24 00:16, 28F
噓
03/24 00:16, 1年前 , 29F
連人家自家人都懷疑文心一言了 你居然能信誓旦旦他只
03/24 00:16, 29F
→
03/24 00:16, 1年前 , 30F
是訓練不夠 你難道是內部員工?
03/24 00:16, 30F
→
03/24 00:17, 1年前 , 31F
而且你拿bard比較更好笑 你要不要去查一下bard的作用
03/24 00:17, 31F
→
03/24 00:21, 1年前 , 32F
你真的沒有基礎概念嗎？難道你覺得對話模型可以生成圖片嗎
03/24 00:21, 32F
→
03/24 00:21, 1年前 , 33F
？百度只是把生成圖片跟影片這個部分當成噱頭加進去文心一
03/24 00:21, 33F
→
03/24 00:21, 1年前 , 34F
言，但這個功能跟語言模型的部分是獨立的你了解嗎？這種語
03/24 00:21, 34F
→
03/24 00:21, 1年前 , 35F
言模型重要的是訓練模型，訓練出來的模型都在OpenAi的雲端
03/24 00:21, 35F
→
03/24 00:21, 1年前 , 36F
，想抄還抄不到，所以我才說百度是真的有訓練語言模型，理
03/24 00:21, 36F
→
03/24 00:21, 1年前 , 37F
解嗎？
03/24 00:21, 37F
→
03/24 00:21, 1年前 , 38F
至於Bard Google就定義為聊天語言模型了，在ChatGPT推出後
03/24 00:21, 38F
→
03/24 00:21, 1年前 , 39F
急忙上線公測版，不是對標是要做什麼？
03/24 00:21, 39F
還有 57 則推文
→
03/24 02:50, 1年前 , 97F
000倍以後，ChatGPT才表現的更像人類，這也是為什麼以前搜
03/24 02:50, 97F
→
03/24 02:50, 1年前 , 98F
索引擎時代，Google可以以小公司白手起家，但是現在LLM模型
03/24 02:50, 98F
→
03/24 02:50, 1年前 , 99F
卻沒有新興小公司能做的原因，原理不難，難的是錢啊，微軟
03/24 02:50, 99F
→
03/24 02:50, 1年前 , 100F
兩年前投資100億美元，讓open Ai用微軟雲端的5萬張A100訓練
03/24 02:50, 100F
→
03/24 02:50, 1年前 , 101F
才有的成果，一般公司或者大學研究團隊根本搞不出來這麼大
03/24 02:50, 101F
→
03/24 02:50, 1年前 , 102F
規模的算力
03/24 02:50, 102F
→
03/24 02:50, 1年前 , 103F
而且我發現前面很多人的噓文好像以為我是想吹百度，其實我
03/24 02:50, 103F
→
03/24 02:50, 1年前 , 104F
真正想吹的是有了多模塊能力的GPT4.0啊，數學能力飛速成長
03/24 02:50, 104F
→
03/24 02:50, 1年前 , 105F
和擁有了圖片識別能力，實際上我認為百度根本沒有追上Open
03/24 02:50, 105F
→
03/24 02:50, 1年前 , 106F
Ai的機會
03/24 02:50, 106F
→
03/24 02:50, 1年前 , 107F
倒是Transformer模型的提出者Google推出的Bard令人失望，也
03/24 02:50, 107F
→
03/24 02:50, 1年前 , 108F
體現到了最近的股價，就不多談了
03/24 02:50, 108F
推
03/24 03:33, 1年前 , 109F
你好有耐心
03/24 03:33, 109F
推
03/24 03:40, 1年前 , 110F
推原po，你討論的是技術，很激動噓文那幾個討論的是政治，
03/24 03:40, 110F
→
03/24 03:40, 1年前 , 111F
永遠取不到共識
03/24 03:40, 111F
推
03/24 04:14, 1年前 , 112F
就資料庫來說 中文這塊還真的要靠對岸發展 他們的資料量
03/24 04:14, 112F
→
03/24 04:14, 1年前 , 113F
大封閉性又高 就怕又是另一個內宣噱頭而已
03/24 04:14, 113F
推
03/24 04:42, 1年前 , 114F
我是覺得不用跟前面幾樓解釋這麼久啦...他們就不在乎真相只
03/24 04:42, 114F
→
03/24 04:42, 1年前 , 115F
在乎能不能嘲笑中國而已
03/24 04:42, 115F
推
03/24 09:23, 1年前 , 116F
認真文給推
03/24 09:23, 116F
推
03/24 09:23, 1年前 , 117F
但百度的語言模型和近年看到的各種 transformer 差
03/24 09:23, 117F
→
03/24 09:23, 1年前 , 118F
不多。然後繪圖也是他自稱的多模態，既然他刻意混
03/24 09:23, 118F
→
03/24 09:23, 1年前 , 119F
淆也別說別人誤解了。
03/24 09:23, 119F
→
03/24 10:15, 1年前 , 120F
ChatGPT和Brad也都是transformer模型啊，只是在GPT3.0之前
03/24 10:15, 120F
→
03/24 10:15, 1年前 , 121F
沒有預料到LLM會讓基於transformer模型建立的語言模型產生
03/24 10:15, 121F
→
03/24 10:15, 1年前 , 122F
類似邏輯鏈的概念，至於百度說他活該我也沒意見的，自己要
03/24 10:15, 122F
→
03/24 10:15, 1年前 , 123F
搞噱頭的，不過要強調的是百度的文心一言跟多模塊差很多的
03/24 10:15, 123F
→
03/24 10:15, 1年前 , 124F
，文心一言並不能以文字輸入以外的方式來和模型對話
03/24 10:15, 124F
推
03/24 10:36, 1年前 , 125F
推
03/24 10:36, 125F
推
03/24 12:56, 1年前 , 126F
推樓主回覆
03/24 12:56, 126F
噓
03/24 13:01, 1年前 , 127F
私聊資料都能用的
03/24 13:01, 127F
推
03/24 14:30, 1年前 , 128F
我也覺得生圖那是噱頭可不談。但我的意思是 transf
03/24 14:30, 128F
→
03/24 14:30, 1年前 , 129F
ormer 近年大家都在玩，百度語言模型的看起來也沒
03/24 14:30, 129F
→
03/24 14:30, 1年前 , 130F
比較厲害。chatGPT 真的恐怖
03/24 14:30, 130F
→
03/24 16:42, 1年前 , 131F
跟openAi比那是比不過，但是現在檯面上有推出對話語言模型
03/24 16:42, 131F
→
03/24 16:42, 1年前 , 132F
的就只有GPT Bard 文心一言這三個，底層結構這三個都差不多
03/24 16:42, 132F
→
03/24 16:42, 1年前 , 133F
，差別在於語料 訓練量和權重，OpenAi雇了數萬人來人工審核
03/24 16:42, 133F
→
03/24 16:42, 1年前 , 134F
GPT生成的答案，就是在改變模型的權重，不過讓人感興趣的G
03/24 16:42, 134F
→
03/24 16:42, 1年前 , 135F
PT4.0數學能力大幅提升到秒解高等數學的程度的原理，OpenA
03/24 16:42, 135F
→
03/24 16:42, 1年前 , 136F
i並沒有公布，這個應該不是單純喂資料可以訓練出來的
03/24 16:42, 136F
‣ 更多 Reze 的文章
文章代碼(AID): #1a77Pidj (C_Chat)
‣ 更多 Reze 的文章
文章代碼(AID): #1a77Pidj (C_Chat)