Re: [閒聊] AI畫圖是不是大數據拼圖？

看板C_Chat作者cybermeow (北歐組一生推)時間1年前 (2022/10/06 13:10)推噓22(22推 0噓 12→)

留言34則, 25人參與討論串6/11 (看更多)

我很久以前連waifu diffusion都還沒出來就發過了 https://www.pttweb.cc/bbs/C_Chat/M.1661681711.A.DE3 複製貼上自己的文章算抄襲嗎 -------------------- 造成這波圖像生成革命的推手正式所謂的 Diffusion / Score-matching model 系列一般往前最早大約推到2015年這篇文章 [1] https://arxiv.org/abs/1503.03585 Deep Unsupervised Learning using Nonequilibrium Thermodynamics 不過船過水無痕之後幾年還是一直由GAN (Generative Adversarial Netwok 生成對抗網路 ) 統領生成模型這塊直到2019年後兩派人馬分別用不同個觀點把這系列的效果真的做起來後才有我們今天所看到的這些結果所以說 Diffusion model 到底是什麼會什麼效果可以這麼好下面分三個面向來談真的想深入了解的很推薦今年 CVPR 的 tutorial https://cvpr2022-tutorial-diffusion-models.github.io/ 深入淺出的從不同面向介紹這些模型 1. Diffusion model as denoiser 最直覺最好解釋同時也可能是最正確的觀點是把 Diffusion model 當作一個不斷去噪的過程以下圖片分別取自 DDPM 的 Paper [2] 以及上面提到的 tutorial https://imgur.com/kkj76zH

https://imgur.com/uEPubtG

第一張圖示從右到左 x0 到 xT 不斷地加噪音而訓練是學習如何把不同程度噪音的圖片還原成原本的資料由於還原無法完美所以嘗試還原再加上一定程度的噪音相當於學習如何從一個噪音較多的 xt 到一個噪音較少的 x_{t-1} 而最後生成圖片的時候則是從白噪音不斷去噪得到我們所見到的成果至於為什麼這簡單的解釋正是真的的原因可以參考 Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise [3] 2. Diffusion model as maximum-likelihood model 數學的角度上來講 Diffusion model 跟任何機率模型一樣 (Gaussian mixture, Hidden markov chain or whatever 都是由許多參數來描述一個機率也就是經過上面一部一部去噪所得到的機率分佈不過它由於利用許多如今神經網路的特性所以效果特別好稍微讀過統計的人大概都聽過學習一個模型最常用的就是 maximum-likelihood 白話來說就是如何找到一組參數使得在這個參數下觀察到手邊資料的機率是最大的而所謂訓練去除噪音的過程其實就是在最小化訓練集機率分佈跟模型機率分佈的交叉熵的某個上界以達到 maximum likelihood 的效果詳細推導可以參考 https://lilianweng.github.io/posts/2021-07-11-diffusion-models/ 而這也是 DDPM [2] 或者 2015 那篇 [1] 的看法另外同樣機率模型來說 Diffusion model 也可以看作一種 energy model 又或者是 hierarchical VAE 的特例 3. Diffusion model as discretization of a reverse stochastic differential equati on 如果把剛剛一部一部往前加噪音連續化那將成為一個隨機微分方程的軌跡 (trajectory) 將它從我們感興趣的圖片的機率分佈帶到高斯噪音而這個隨機微分方程其實是可逆的往回走得過程需要學每一個時間點的 score function 也就是 gradient of log density 如同下圖所示 (取自 https://yang-song.net/blog/2021/score/ 那邊有詳細解釋 https://imgur.com/fprfULR

而其實學習如何去噪也可以理解成在學習這個 score function 上面的 sampling process 也跟學好 score function 後沿著這個 reverse SDE 走回來有異曲同工之妙另外同樣 score function 系列的比較早期的 Annealed Langevin Dynamics 也是類似的概念 -------------------- 好貼完了今天出了waifu diffusion 1.3 https://huggingface.co/hakurei/waifu-diffusion-v1-3 跟hentai diffusion 1214 https://huggingface.co/Deltaadams/Hentai-Diffusion/tree/main 正在測效果但不會下prompt 崩潰 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 172.58.43.212 (美國) ※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1665033024.A.A40.html

→

smart0eddie

10/06 13:11, 1年前 , 1^F

10/06 13:11, 1^F

推

diabolica

10/06 13:11, 1年前 , 2^F

10/06 13:11, 2^F

→

diabolica

10/06 13:11, 1年前 , 3^F

10/06 13:11, 3^F