Re: [問題] 有可以討論AI繪圖關鍵字的地方嗎？已回收

看板C_Chat作者 (InInder)時間3年前 (2022/10/12 15:16), 編輯推噓15(15推 0噓 46→)
留言61則, 12人參與, 3年前最新討論串2/5 (看更多)
NovelAI最近的tech blog正好有聊到這議題 主要是在clip module上面 首先看這張示意圖 https://i.imgur.com/szUMmnr.png
主流的(Dall-e, imagen, stable diffusion)架構由兩塊組成 訓練語言語意轉化為圖片語意的CLIP 和訓練生成圖片能力的U-NET Stable diffusion和google的imagen在CLIP上的差別是 Stable diffusion使用CLIP的最後一層隱藏層狀態 而Imagen則是使用倒數第二層 NovelAI實驗後發現Stable diffusion可在interpret倒數第二層狀態下 採用最後一層的norm 進而在犧牲一點準確度的情況下 改善概念的拆分 舉例來說 正確的上色 以下圖來說 Hatsune Miku, Red Dress https://i.imgur.com/NnHdeU0.png
若用原本的最終層狀態 會使紅色從衣服大量的溢出到頭髮和瞳色上 而使用新方案則能大幅改善這點 當然這充其量只是改善方案 不能完全解決 這目前算是diffusion的通病 還沒有完美的方案 現在不僅NovelAI自身下一代模型研究ing Diffusion的爆熱也已經在NeurIPS 2022展現出來 聽朋友說只要是diffusion的topic都有超高accept率XD 也有很多新的方案和技術快速誕生 或許可以期待一下 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.163.84.235 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1665558977.A.80F.html
推
10/12 15:16, 3年前 , 1F
漂亮~
10/12 15:16, 1F
推
10/12 15:17, 3年前 , 2F
角色還是拆不出來 配AND也拆不出來
10/12 15:17, 2F
→
10/12 15:18, 3年前 , 3F
然後 12/2 score-based model workshop 啊 www
10/12 15:18, 3F
推
10/12 15:20, 3年前 , 4F
原來如此，我明白了
10/12 15:20, 4F
→
10/12 15:21, 3年前 , 5F
本猴子也懂
10/12 15:21, 5F
推
10/12 15:26, 3年前 , 6F
這邊難道只剩我還是草履蟲了嗎?
10/12 15:26, 6F
推
10/12 15:27, 3年前 , 7F
推
10/12 15:27, 7F
→
10/12 15:28, 3年前 , 8F
可惜當初沒轉CS，根本不知道你在共三小
10/12 15:28, 8F
→
10/12 15:31, 3年前 , 9F
單以diffusion來說 比起CS的 應該數學系的更熟
10/12 15:31, 9F
→
10/12 15:31, 3年前 , 10F
物理系笑而不語 (X
10/12 15:31, 10F
推
10/12 15:32, 3年前 , 11F
數學系不太學這個的吧 EE裡面DSP的可能還比較有機會
10/12 15:32, 11F
→
10/12 15:33, 3年前 , 12F
這篇講的的確是比較實務面modeltuning 跟數學沒啥關係
10/12 15:33, 12F
→
10/12 15:33, 3年前 , 13F
我認識的EE裡面的Theorist大多對DL滿感冒的
10/12 15:33, 13F
→
10/12 15:33, 3年前 , 14F
但diffusion算近年來最數學的model了
10/12 15:33, 14F
→
10/12 15:35, 3年前 , 15F
從Energy based model到Langevin Equation
10/12 15:35, 15F
推
10/12 15:36, 3年前 , 16F
數學系也沒有啦，他們或許能看懂，但是沒有接觸過
10/12 15:36, 16F
→
10/12 15:36, 3年前 , 17F
evidence lower bound 和 Markov chain 推導
10/12 15:36, 17F
推
10/12 15:37, 3年前 , 18F
這個比較接近 應用數學/統計 的分支
10/12 15:37, 18F
→
10/12 15:37, 3年前 , 19F
10/12 15:37, 19F
→
10/12 15:37, 3年前 , 20F
google發的22頁推導paper
10/12 15:37, 20F
→
10/12 15:39, 3年前 , 21F
近年蠻多數學系轉CS碩的吧 這種的都蠻猛ㄉ 基礎扎實
10/12 15:39, 21F
→
10/12 15:40, 3年前 , 22F
不是所有系都轉CS碩嗎
10/12 15:40, 22F
→
10/12 15:42, 3年前 , 23F
嘿嘿
10/12 15:42, 23F
→
10/12 15:43, 3年前 , 24F
也不一定要轉 教授突然就開始搞AI了><
10/12 15:43, 24F
推
10/12 15:44, 3年前 , 25F
這跟錢有關係
10/12 15:44, 25F
→
10/12 15:44, 3年前 , 26F
這也加重了Theorist們的不爽
10/12 15:44, 26F
推
10/12 15:44, 3年前 , 27F
我不得不說我真的很喜歡diffusion model 已經考慮跳槽
10/12 15:44, 27F
→
10/12 15:45, 3年前 , 28F
了 不過現在太紅競爭很嚴重 而且不知道能做多久
10/12 15:45, 28F
→
10/12 15:45, 3年前 , 29F
好一陣子內都會是diffusion稱霸吧 原理推導漂亮一回事
10/12 15:45, 29F
→
10/12 15:45, 3年前 , 30F
到頭來還是要把基礎打好不然天知道下個模型又用了什麼
10/12 15:45, 30F
→
10/12 15:46, 3年前 , 31F
重點是效果真的好 在能做的領域品質全面超越GANs
10/12 15:46, 31F
→
10/12 15:46, 3年前 , 32F
真的我今天在訓練gan 然後這東西果然不能用
10/12 15:46, 32F
推
10/12 15:46, 3年前 , 33F
是啊 重點是效果好XD
10/12 15:46, 33F
→
10/12 15:46, 3年前 , 34F
而且又好train 不像gans你還要顧兩個model 一不小心
10/12 15:46, 34F
→
10/12 15:46, 3年前 , 35F
又collapse
10/12 15:46, 35F
→
10/12 15:47, 3年前 , 36F
靠gan概念明明很漂亮就是訓練不起來 我現在要重想演算
10/12 15:47, 36F
→
10/12 15:47, 3年前 , 37F
法 頭痛 diffusion訓練上限制還是比較大
10/12 15:47, 37F
→
10/12 15:47, 3年前 , 38F
但缺點就是算力消耗大 訓練時間久
10/12 15:47, 38F
→
10/12 15:47, 3年前 , 39F
我今天大概訓練十次collapse九次 崩潰
10/12 15:47, 39F
→
10/12 15:47, 3年前 , 40F
不過最新一批paper開始應該一堆改善效率的出來了
10/12 15:47, 40F
→
10/12 15:48, 3年前 , 41F
就真的很競爭 現在入場
10/12 15:48, 41F
→
10/12 15:48, 3年前 , 42F
教授們很爽阿 transformer把舊題目拉出來生完一輪後
10/12 15:48, 42F
→
10/12 15:49, 3年前 , 43F
太晚了 然後老實講那些數學我也是半信半疑啦
10/12 15:49, 43F
→
10/12 15:49, 3年前 , 44F
diffusion又可以再生一輪==
10/12 15:49, 44F
推
10/12 15:49, 3年前 , 45F
我看過的DL相關教學，數學model的推倒比較像是靈感來原
10/12 15:49, 45F
→
10/12 15:49, 3年前 , 46F
天知道哪些深度學習的數學是真的能解釋背後現象的
10/12 15:49, 46F
→
10/12 15:50, 3年前 , 47F
還不是bound推一推發paper 對就是我lol
10/12 15:50, 47F
→
10/12 15:50, 3年前 , 48F
performance guarantee 相關的我還真沒看過
10/12 15:50, 48F
→
10/12 15:51, 3年前 , 49F
這波的diffusion原理2015就出來了
10/12 15:51, 49F
→
10/12 15:51, 3年前 , 50F
2020突然就work了主要還是因為U-net的inductive bias
10/12 15:51, 50F
→
10/12 15:51, 3年前 , 51F
cybermeow有po過那篇2015的paper啊
10/12 15:51, 51F
→
10/12 15:51, 3年前 , 52F
個人感覺
10/12 15:51, 52F
→
10/12 15:52, 3年前 , 53F
只能說18 19 那批人真的有眼光
10/12 15:52, 53F
→
10/12 15:52, 3年前 , 54F
水paper的跟真正把方法做出來的還是不一樣
10/12 15:52, 54F
推
10/12 16:06, 3年前 , 55F
可以用單細胞生物也能聽的懂的說法解釋這篇嗎QQ
10/12 16:06, 55F
→
10/12 16:10, 3年前 , 56F
加了醬汁之後 龍蝦的味道就被凸顯出來了
10/12 16:10, 56F
推
10/12 16:12, 3年前 , 57F
所以我我說那個醬汁呢？還要多久才能做出來
10/12 16:12, 57F
→
10/12 16:18, 3年前 , 58F
那個醬汁，再給我一分鐘我一定能完成的
10/12 16:18, 58F
推
10/12 17:56, 3年前 , 59F
這應該是leak才能得知的訊息吧? Automatic1111三天前有改
10/12 17:56, 59F
→
10/12 17:57, 3年前 , 60F
我才知道 4ch那一群很瘋狂地要reproduce novelAI
10/12 17:57, 60F
→
10/12 18:10, 3年前 , 61F
沒事 你第一句就說了 補連結 https://is.gd/UgmV2c
10/12 18:10, 61F
‣ 更多 acininder 的文章
文章代碼(AID): #1ZHcd1WF (C_Chat)
討論串 (同標題文章)
完整討論串 (本文為第 2 之 5 篇)：
排序： 最新先 | 最舊先 | 留言數
在新視窗開啟完整討論串 (共5篇)
‣ 更多 acininder 的文章
文章代碼(AID): #1ZHcd1WF (C_Chat)