[StaD] LCM 減少step/加速生成

看板AI_Art作者tsubasawolfy (悠久の翼)時間5月前 (2023/11/12 17:26)推噓1(1推 0噓 6→)

留言7則, 2人參與討論串1/2 (看更多)

LCM (Latent Consistency Model) https://github.com/luosiallen/latent-consistency-model 這東西好像兩個禮拜前被丟出來前天SD.Next的DC公告說正式支援後才玩看看主要賣點是生成同樣品質的圖只需要4-8步(Steps) 如此一來可以大大加速整個產圖速度，進階大概就搭配正夯的AnimateDiff弄出更多FPS 或者用攝影鏡頭的即時影像轉換可以更流暢目前是弄成LoRa型式，或者要自行把把LoRa整合進model轉換成LCM model SD1.5 LoRA https://huggingface.co/latent-consistency/lcm-lora-sdv1-5/tree/main SDXL LoRA https://huggingface.co/latent-consistency/lcm-lora-sdxl/blob/main/README.md 不管SD1.5或SDXL都說Step 2-8內就可以，不過CFG要限制在1-2內 CFG 1會忽略negative prompt, 2以上圖會焦掉，實際跑大概到3而已 SDXL可以搭配他們的Sampler LCM SD1.5的測試 T2I原圖 Steps: 20, Sampler: DPM++ 2M, CFG scale: 8, Size: 512x832, Model: meinapastel_v6Pastel 使用ControlNet+ Latent couple+ Composable LoRA https://i.imgur.com/3OFIvOT.jpg

加入LCM LoRA 權重設0.5。因為太高的權重會讓一些model脫色，例如這個meinapastel 設1的話，出來就會帶點藍色濾鏡感覺把所有extension後測CFG 1-3, Step 4-8 https://i.imgur.com/6vSBkZR.jpg

固定CFG2 Step8 測所有的Sampler https://i.imgur.com/8Oo8pAI.jpg

採樣器 Euler跟LMS都不錯跟原圖一樣上ControlNet+ Latent couple+ Composable LoRA Sampler: Euler https://i.imgur.com/eXuHSeJ.jpg

用是可以用，只是要重找喜歡的Seed了XD 另外如果再加上 HiRES 用latent放大會變成油畫 HiRES step 4-12都長這樣 https://i.imgur.com/BNtsRpi.jpg

SDXL測試 T2I原圖 Steps: 30, Sampler: DPM++ 2M, CFG scale: 7, Size: 1024x1536, Model: holoanimeXL_v27 https://i.imgur.com/OzwV4ll.jpg

高CFG直接焦掉 https://i.imgur.com/KzIjjJp.jpg

CFG:2 Step:8 測不同Sampler https://i.imgur.com/90jFhaQ.jpg

這是推薦的採樣器 LCM https://i.imgur.com/mHJrx6M.jpg

這是Euler https://i.imgur.com/MZrzM5W.jpg

去除LCM LoRA後一樣用Euler跑 https://i.imgur.com/01c54Zv.jpg

老實說我感覺不到推薦的LCM採樣器優勢在哪... 一樣少步數下Euler或者DPM SDE都比較好速度看CMD視窗跑調後的數字是一樣不過LCM LoRA在低步數下的確是提供比較好的圖 CFG:2 Steps:8 Euler https://i.imgur.com/VVCDMlR.jpg

可以跟上面30 step的原圖比看看值不值得 HiRES下的原圖 HiRES steps: 15, Latent (nearest-exact), Hires upscale: 1.5, Latent sampler: DPM SDE https://i.imgur.com/neuYlWm.jpg

HiRES Step: 8, Latent, Hires upscale: 1.5, Latent sampler: LCM, https://i.imgur.com/2r32RlU.jpg

Hires下的第二步Latent作圖就沒有加速了，一樣慢感覺這東西還是給動畫去加速用之類 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 218.161.113.223 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1699781169.A.291.html

推

avans

11/13 00:05, 5月前 , 1^F

11/13 00:05, 1^F

→

avans

11/13 00:05, 5月前 , 2^F

11/13 00:05, 2^F

→

tsubasawolfy

11/13 07:24, 5月前 , 3^F

11/13 07:24, 3^F