Re: [閒聊] FANZA上「特定畫風」的AI作品越來越多了

看板C_Chat作者 (沙陀曼)時間5月前 (2023/11/25 22:46), 編輯推噓36(36推 0噓 33→)
留言69則, 38人參與, 5月前最新討論串3/4 (看更多)
→
11/24 22:25,
不過我也不知道它怎麼練的 只有約100張圖的角色
11/24 22:25
→
11/24 22:25,
它也可以畫的很精準 只知道v3是基於sdxl
11/24 22:25
昨天本來想講，只不過用推文講有點麻煩 == 其實這也算是一個常見的誤解： 就是AI要將一個人物「學得像」需要大量、精緻的圖片作為資料。 但是實際上，如果只是要「學得像」那其實只要不到10張圖片就能辦到了。 而且圖片不用特別精緻，或者說某些特別精緻的圖片反而會有反效果。 對AI來說，要學習一個人物比較需要的是能精確呈現角色特徵， 用色和線條分明的圖片。 最符合以上需求的圖片是什麼？ 對，動畫的截圖。 我舉個比較極端的例子來講： https://i.imgur.com/RUAphDb.jpg
這是我自己練出來的早坂媽LORA產出來的圖。 這個角色在動畫裡出場只有5分鐘左右，當然也沒有什麼同人圖。 可是LORA模型一樣可以把這個角色給練出來。 我的給它學習的基本學習資料就長這樣： (搞了好幾個不同的版本，可能不是這個資料夾 ==) https://i.imgur.com/AGDXoGV.jpg
https://i.imgur.com/hpiG4TO.jpg
除了兩張我預先學習的AI圖，其他就是那5分鐘的動畫截圖 == LORA模型的原理是汙染干涉原本底模的生圖結果， 所以「學得像」為前提的話它只要動畫截圖就夠了。 但是大部分玩AI的人不會滿足於學得像，而是希望這個角色能擺一些原本看不到的姿勢， 做一些原本看不到的動作。 講白一點就是10個玩AI的有9個會拿來搞色色的東西， 最起碼也要能換一些色色的衣服。 這樣問題就來了，AI在只有少數幾張圖的情況下學習不到， 因為它的資料只被限制在那幾張圖中，所以也只會做那幾個動作。 用比較專業的術語來講叫做「過擬合」，白話文就是「學太像」。 這個時候大量圖片學習的優勢就出來了。 如果有50張圖片，並且風格沒有過於牴觸的話， 那AI就會知道你想訓練的東西不是一個站挺挺的人物， 而是一個人物能根據TAG擺出不同的姿勢，甚至是換成不同的衣服。 甚至在超過200張圖片的情況下，我的經驗是也不太需要擔心風格牴觸的問題， 因為這問題會被大量的資料本身淡化至可以忽略的程度。 那冷門角色是不是就真的沒救？ 也不是。 https://i.imgur.com/KmkMk7r.jpg
https://i.imgur.com/zWmq9AS.jpg
我這個早坂媽就練出了可以讓角色回頭張望或坐下平躺之類的基本動作。 因為AI學習中有個方法叫「正則化」可以給AI補習，讓它學習到其他的概念。 簡單來講，就是在訓練時丟一些其他圖片給它一起學習。 現在開源的LORA訓練腳本都有正則化的選項可以勾選。 但是那個正則化用起來怪怪的，現在很多人其實是手動處理。 以這個早坂媽的LORA來講，我正則化是先加上了一堆無頭裸女的圖片一起學習。 像是這種： https://iili.io/JoN1Cnj.png
這個方法我是從一個中國人那邊抄來的。 我本來是用學習衣服的方法，添加各種衣服的去頭圖片來學習， 但是後來才發現這種裸女去頭法更簡單粗暴。 因為我把頭塗黑了，人物又是裸體，所以AI就只會學習動作而不會汙染我原本學習資料。 然後我又感覺長裙的頭身比例經常出錯， 因為原本資料幾乎都上半身，缺少全身圖讓AI認識正確的頭身比例。 所以我想了一下，又很簡單粗暴的加上了一組資料給它學習： https://i.imgur.com/r2ZR5qS.jpg
對，我把早坂愛的頭砍了下來，只留穿長裙的身體給AI學習身體比例。 如此一來AI大概知道角色的頭身比例， 還有個附加優點是這個LORA的早坂媽可以換穿她女兒的衣服。 https://i.imgur.com/ufyeZq4.jpg
當然，要換一些色色的衣服也不成問題。 https://iili.io/JoNwUJf.jpg
簡單來講，要讓LORA模型學習角色圖片的數量其實本身不是必要條件， 而動畫截圖其實是學習人物最優秀的原料 == 所以現在模型網站CIV上最多的就是各類動畫人物，新番人物也是一堆人搶著練 == 譬如說這季的福利蓮製作精良、用色分明、線條簡潔，學習起來效果就很好。 所以幾乎每個女角都是一堆模型。 像是屍骨未寒的阿烏拉和莉妮耶，掛掉後她們馬上就被分屍練成LORA了 == https://i.imgur.com/jRkyASl.jpg
https://i.imgur.com/z2LAG2I.jpg
所以回到正題，NovelAI的人物和畫風模型是哪來的？ 最直接的想法就是他們內部有人在專門練各類畫風和角色LORA讓使用者使用。 另一種想法就是他們也幹了其他公開的LORA來用， 只不過這些LORA本來就是基於他們前洩漏模型來訓練的，也算是鮭魚回鄉。 但是不管是哪種，圖片數量其實都不是大問題。 100張圖片對於練成人物LORA來講完全是綽綽有餘， 對我這個專門截圖練冷門人物自爽的人來講是甚至有點奢侈。 至於營利問題嗎，目前基本上無解。 因為除了ADOBE我相信他的圖庫是相對沒問題的之外， 其他的AI模型應該都有用非正當手法取得學習資料的問題。 以最流行的開源的stable diffusion底模來講，他使用的圖庫來源本身就並非正當授權。 更別提構成現在宅圖根基的NovelAI模型，那是直接拿盜圖網站在作訓練的。 換句話說扣除ADOBE之外，AI圖和模型本身大多沒有一張是清白的， 基本上都是盜圖產物。 要說這是引發產業革命的蒸汽機？ 以目前來看來比較像是比較像是引發混亂的產業廢棄物 == 只是這廢棄物目前對我來講還有玩樂的用途，偶爾想「用」某個角色時可以不求人罷了 == -- (と・てノ) 翼龍欸 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.137.204.56 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1700923581.A.AA0.html
→
11/25 22:48, 5月前 , 1F
斷頭台的翼龍4ni?
11/25 22:48, 1F
→
11/25 22:49, 5月前 , 2F
請給我更多AI色圖 我要做研究
11/25 22:49, 2F
推
11/25 22:50, 5月前 , 3F
請問收現金袋嗎？
11/25 22:50, 3F
推
11/25 22:52, 5月前 , 4F
太認真了吧 XD 推
11/25 22:52, 4F
→
11/25 22:52, 5月前 , 5F
早坂愛：????????
11/25 22:52, 5F
推
11/25 22:53, 5月前 , 6F
然後發現自己喜歡的冷門角有人做AI色圖是蠻開心的XDD
11/25 22:53, 6F
推
11/25 22:54, 5月前 , 7F
翼龍你data set太小的話有試過data argument嗎?
11/25 22:54, 7F
→
11/25 22:56, 5月前 , 8F
我通常是手動處理去轉轉翻翻，讓他圖片看起來是不同張
11/25 22:56, 8F
推
11/25 22:57, 5月前 , 9F
有很多可以弄 DL的時候水平翻轉 旋轉 alpha值 伸縮 剪裁
11/25 22:57, 9F
→
11/25 22:57, 5月前 , 10F
啥的
11/25 22:57, 10F
→
11/25 22:58, 5月前 , 11F
我沒試過，主要還是dataset每幾張的話自己手動調就好了
11/25 22:58, 11F
→
11/25 22:59, 5月前 , 12F
像是全身圖我通常會順手裁成三到四張圖
11/25 22:59, 12F
推
11/25 23:00, 5月前 , 13F
哦哦 數量少所以乾脆手動就是了
11/25 23:00, 13F
→
11/25 23:00, 5月前 , 14F
對啊，本來就沒幾張整理的時候順便調一下就好
11/25 23:00, 14F
推
11/25 23:02, 5月前 , 15F
畢竟資料集太小造成的overfitting 最直觀解法就是擴大資
11/25 23:02, 15F
→
11/25 23:02, 5月前 , 16F
料集(`・ω・′)
11/25 23:02, 16F
→
11/25 23:03, 5月前 , 17F
斷頭法其實很好用，看到服裝類似但是用TAG區分的也可以用
11/25 23:03, 17F
→
11/25 23:03, 5月前 , 18F
只是湊一腳談談 沒實際玩過AI產圖就是
11/25 23:03, 18F
→
11/25 23:04, 5月前 , 19F
stable diffusion的webui有內建一個翻轉功能
11/25 23:04, 19F
→
11/25 23:04, 5月前 , 20F
我自己是沒用直接用過，因為還是有人物左右不對稱的問題
11/25 23:04, 20F
推
11/25 23:05, 5月前 , 21F
原來如此(′・ω・`)
11/25 23:05, 21F
推
11/25 23:16, 5月前 , 22F
難怪最近阿烏拉的圖大量發生...
11/25 23:16, 22F
推
11/25 23:21, 5月前 , 23F
斷頭學習法
11/25 23:21, 23F
推
11/25 23:29, 5月前 , 24F
推講解
11/25 23:29, 24F
推
11/25 23:33, 5月前 , 25F
人為了色色，其利斷金
11/25 23:33, 25F
推
11/25 23:37, 5月前 , 26F
斷頭法學習的身體如果畫風差異仍然偏大不會污染嗎
11/25 23:37, 26F
→
11/25 23:40, 5月前 , 27F
LORA就是把大模型沒有的東西加上去啊
11/25 23:40, 27F
→
11/25 23:40, 5月前 , 28F
這不是接頭霸王嗎XD
11/25 23:40, 28F
→
11/25 23:42, 5月前 , 29F
但所謂學得像還是蠻主觀的 圖提供的資訊少姿勢一變就歪
11/25 23:42, 29F
→
11/25 23:47, 5月前 , 30F
衣服到現在訓練有完整重現的嗎 好像還是會是微妙的不同
11/25 23:47, 30F
→
11/25 23:50, 5月前 , 31F
嚴格來講不是加，是在過程中汙染就是了
11/25 23:50, 31F
→
11/25 23:51, 5月前 , 32F
完整重現就看本身衣服複雜度和抽卡數量
11/25 23:51, 32F
推
11/26 00:09, 5月前 , 33F
我的意思是如果只有100張的圖他們都特地練出來
11/26 00:09, 33F
→
11/26 00:10, 5月前 , 34F
那樣總共需要的工程量未免也太大了
11/26 00:10, 34F
→
11/26 00:10, 5月前 , 35F
現在一堆人用腳本和AI再練AI，其實還好
11/26 00:10, 35F
→
11/26 00:11, 5月前 , 36F
CIV上也有一堆用AI練AI產生的模型，人類從頭到尾不用介入
11/26 00:11, 36F
推
11/26 00:46, 5月前 , 37F
真是好研究~~~~推推
11/26 00:46, 37F
推
11/26 00:48, 5月前 , 38F
阿烏拉也是為了研究AI才成為斷頭台的阿烏拉
11/26 00:48, 38F
推
11/26 01:55, 5月前 , 39F
喜歡的冷門角色能自己產真的挺開心的
11/26 01:55, 39F
推
11/26 02:04, 5月前 , 40F
就叫你阿烏拉吧
11/26 02:04, 40F
推
11/26 02:37, 5月前 , 41F
老哥，如果我想要訓練某個畫風的模型要多少圖才夠
11/26 02:37, 41F
→
11/26 02:53, 5月前 , 42F
不一定，大部分的人都是能多少就丟多少，再看情況調整
11/26 02:53, 42F
→
11/26 02:53, 5月前 , 43F
通常是選看起來差異性比較大的圖片，除非你有想搞腳色包
11/26 02:53, 43F
推
11/26 03:05, 5月前 , 44F
推
11/26 03:05, 44F
推
11/26 04:12, 5月前 , 45F
原來翼龍大有在玩AI
11/26 04:12, 45F
推
11/26 04:59, 5月前 , 46F
推推
11/26 04:59, 46F
推
11/26 06:38, 5月前 , 47F
貌強只推
11/26 06:38, 47F
推
11/26 06:46, 5月前 , 48F
原來還有這種方法 感謝分享
11/26 06:46, 48F
推
11/26 06:56, 5月前 , 49F
資料原則上越多越好，多還可以想怎麼調整，少就比較麻煩
11/26 06:56, 49F
推
11/26 07:03, 5月前 , 50F
推專業，學到了
11/26 07:03, 50F
推
11/26 07:31, 5月前 , 51F
推 能自己畫冷門角色的圖真的棒 但之前試的感覺是用文字
11/26 07:31, 51F
→
11/26 07:31, 5月前 , 52F
還是很難控制圖的內容 controlnet+使用者有繪畫底子才能
11/26 07:31, 52F
→
11/26 07:31, 5月前 , 53F
真的釋放這類model的潛力
11/26 07:31, 53F
→
11/26 07:32, 5月前 , 54F
另外砍頭那召真有趣XD 搞不好之後會有人釋放砍頭數據集
11/26 07:32, 54F
推
11/26 08:20, 5月前 , 55F
瑟瑟！
11/26 08:20, 55F
推
11/26 08:51, 5月前 , 56F
感謝為世界和平貢獻
11/26 08:51, 56F
→
11/26 11:04, 5月前 , 57F
確實是接頭霸王 但AI會幫你P的還把接頭醫治好一致性
11/26 11:04, 57F
推
11/26 11:55, 5月前 , 58F
厲害厲害
11/26 11:55, 58F
推
11/26 11:56, 5月前 , 59F
好奇那個txt檔是什麼？
11/26 11:56, 59F
推
11/26 11:58, 5月前 , 60F
真厲害
11/26 11:58, 60F
推
11/26 12:13, 5月前 , 61F
曹賊大喜
11/26 12:13, 61F
推
11/26 12:20, 5月前 , 62F
推
11/26 12:20, 62F
→
11/26 13:10, 5月前 , 63F
txt就標籤，告訴ai這張圖片有什麼要素
11/26 13:10, 63F
→
11/26 13:10, 5月前 , 64F
之後產圖的時候咒語就是那些標籤
11/26 13:10, 64F
推
11/26 13:28, 5月前 , 65F
Novelai自己就有訓練能力，現在一堆SD模型都參了一部分當
11/26 13:28, 65F
→
11/26 13:28, 5月前 , 66F
初洩漏的Novelai模型，v3會這麼強單純只是用了SDXL，不是
11/26 13:28, 66F
→
11/26 13:29, 5月前 , 67F
什麼LORA，SDXL訓練的需求太高，所以雖然推出很久，民間模
11/26 13:29, 67F
→
11/26 13:29, 5月前 , 68F
型的完成度還是沒有很高
11/26 13:29, 68F
推
11/26 21:45, 5月前 , 69F
大師
11/26 21:45, 69F
‣ 更多 Satoman 的文章
文章代碼(AID): #1bOWYzgW (C_Chat)
討論串 (同標題文章)
以下文章回應了本文：
完整討論串 (本文為第 3 之 4 篇)：
排序： 最舊先 | 最新先 | 留言數
在新視窗開啟完整討論串 (共4篇)
‣ 更多 Satoman 的文章
文章代碼(AID): #1bOWYzgW (C_Chat)