BOOKCARD.NET

ebsynth-utility短片轉動畫,係開工之前,需准备架餐.

1. EbSynth
2. Ebsynth_Utility
3. FFmpeg BIN設定指南
4. transparent-background遮罩
5. 首先建立工程project資料夾, 以『a~z/A~Z』起名,『吉格』以『-』替换.

Z:\Bookcard\Stable-Diffusion-ebsynth-utility\input

Z:\Bookcard\Stable-Diffusion-ebsynth-utility\output

6. 係input下擺影片

Z:\Bookcard\Stable-Diffusion-ebsynth-utility\input\model.mp4

7. 著『stable diffusion webui』

 

 

 

 

1. 撳『Ebsynth Utility』->『stage1』分幀同埋遮罩
2. 『Project directory』工程資料夾路徑,吉資料夾.

Z:\Bookcard\Stable-Diffusion-ebsynth-utility\output

3. 『Original Movie Path』填影片路徑

Z:\Bookcard\Stable-Diffusion-ebsynth-utility\input\model.mp4

4. 撳『Configuration』->『stage1』
5. 『Frame Width』『Frame Height』填『-1』,與影片寬高臺致.
6. 『Mask Threshold』遮罩閾值『0~0.1』ࣿ
7. 撳『Generate』生成『video_frame』分幀『video_mask』遮罩.
8. 『video_frame』分幀

Z:\Bookcard\Stable-Diffusion-ebsynth-utility\output\video_frame

9. 『video_mask』輸出幀遮罩

Z:\Bookcard\Stable-Diffusion-ebsynth-utility\output\video_mask

 

 

 

8. 撳『Ebsynth Utility』->『stage2』生成關鍵幀
9. 撳『Configuration』->『stage2』
10. 『Minimum keyframe gap』最细關鍵幀間隔,默認
11. 『Maximum keyframe gap』最大關鍵幀間隔,默認
12. 『Threshold of delta frame edge』幀邊緣檢測閾值. 默認5
13. 撳『Generate』复制關鍵幀『video_key』

Z:\Bookcard\Stable-Diffusion-ebsynth-utility\output\video_key

 

 

 

1. 撳『Ebsynth Utility』->『stage3』轉二元.
2. 『Stable Diffusion checkpoint』揀貳次元模型『safetensors』
3. 撳『img2img』
4. 『prompt』咒詞

Masterpiece,Ultra high res,High quality,4k,(Photorealistic:1.2),Photo,Miniskirt,Breasts,large breasts,Navel,Lace,

5. 『Negative prompt』反向咒詞

(worst quality:2), (low quality:2), (normal quality:2),lowres,((monochrome)),((grayscale)), (monochrome), skin spots, acnes, skin blemishes, age spot, glans,extra limbs,extra arms,extra legs,extra leg,extra foot,extra fingers,fewer fingers,strange fingers,missing arms,missing legs,missing fingers,fused fingers,too many fingers,bad hand,(bad_prompt:0.8), bad anatomy,bad hands, bad feet,bad body,bad proportions,gross proportions,DeepNegative,(fat:1.2),looking away,tilted head,{Multiple people},text,error,extra digit,fewer digits,cropped,jpeg artifacts,signature,watermark,username,blurry,cropped,poorly drawn hands,poorly drawn face,mutation,deformed,malformed limbs,long neck,cross-eyed,mutated hands,polar lowres,

6. 『Resize by』->『WIDTH』『HEIGHT』與原片寛高壹致.
7. 『Denoising strength重绘幅度』值細於『5』值越細圖像與原圖越似.
8. 『SEED』随機種子.随意填固定值,例『123』.
10. 係『script脚本』揀『ebsynth utility』
11. 係『Project directory』填工程路徑.

Z:\Bookcard\Stable-Diffusion-ebsynth-utility\output

12. 係『Mask option (Override img2img Mask mode)』遮罩揀『Normal』
13. 係『Inpaint Area(Override img2img Inpaint area)』揀『Only masked』僅重繪遮罩.
14. 『Control Net Weight』权重『5』
15. 『Control Net Weight For Face』face权重『5』
16. 勾『Use Preprocess image If exists in /controlnet_preprocess』
17. 撳『Settings』->『ControlNet』 .
18. 勾『Allow other script to control this extension』允许 ControlNet 畀其它脚本调用.
19. 『Apply settings』應用設定.
20. 撳『img2img』->『Generate』生成『controlnet_input』同埋『img2img_key』

Z:\Bookcard\Stable-Diffusion-ebsynth-utility\output\img2img_key

 

 

1. 撳『Ebsynth Utility』->『5』校色
2. 撳『Color Transfer Method』揀『default』
3. 撳『Color Matcher Ref Image Type』揀『original video frame』
4. 撳『Generate』生成撳『st3_5_backup_img2img_key』

 

 

1. 撳『Ebsynth Utility』->『stage4』放大關鍵幀
2. 撳『Settings』->『Saving images/grids』
3. 勾『Use original name for output filename during batch process in extras tab』. 原始名稱作為輸出檔名
4. 撳『Apply settings』應用設定.
5. 撳『extrans』->『Batch from Directory』從資料㚒批次處理
6. 『Input directory』輸入資料㚒

Z:\Bookcard\Stable-Diffusion-ebsynth-utility\output\img2img_key

7. 『Output directory』輸出資料㚒

Z:\Bookcard\Stable-Diffusion-ebsynth-utility\output\img2img_upscale_key

8. 『Upscaler1』揀『4x-UltraSharp』
9. 『Scale By』揀『1』
10. 撳『extrans』->『Generate』生成『img2img_upscale_key』放大關鍵幀.

 

 

 

 

11. 撳『Ebsynth Utility』->『stage5』生成ebs文檔.
12. 撳『Generate』生成ebs文檔.

Z:\Bookcard\Stable-Diffusion-ebsynth-utility\xxxxx.ebs

 

 

 

1. 撳『Ebsynth Utility』->『stage6』生成過度幀.
2. 著『Ebsynth』載入『ebs』,頁眉顯示當前EBS檔名.
3. 撳『Run All』生成『out』
4. Ebsynth 過渡幀狀態變成 Synth後,依次載入『ebs』『00002.ebs』『00003.ebs』…重复上述两步.

Z:\Bookcard\Stable-Diffusion-ebsynth-utility\out-…

 

 

 

5. 撳『Ebsynth Utility』->『stage7』合成短片.
6. 『Crossfade blend rate』速率填
7. 『Export type』可揀『mp4』『webm』『gif』『rawvideo』.
8. 撳『Generate』生成两條片壹條有聲壹條冇聲.

 

 

 

 

1. 撳『Ebsynth Utility』->『stage8』替換背景.
2. 『Background source』背景可揀『圖』或『短片』
3. 『Background type』可揀『Fit video length』或『LOOP』

 

 

正面咒詞	譯
Masterpiece,	傑作
Ultra high res,	超高解像
High quality,	高品質
4k,	4k
(Photorealistic:1.2),	真實感
Photo,	相片
Miniskirt,	迷你裙
Breasts,	胸部
large breasts,	大乳
Navel,	肚臍
Lace,	蕾絲
WHITE LACE,	白色蕾絲
a girl with Tulle skirt,	薄紗裙
a girl with Lace blouse,	蕾絲襯衫

 

反向咒語Negative Prompt	簡述
(worst quality:2),	低質內容
(low quality:2),	低質內容
(normal quality:2),	低質內容
lowres,	低質內容
((monochrome)),	黑白
((grayscale)),	灰階
(monochrome),	單色
skin spots,	皮膚斑點
acnes,	痤瘡
skin blemishes,	皮膚瑕疵
age spot,	老人斑
glans,	龜頭
extra limbs,	多餘肢體
extra arms,	額外武器
extra legs,	多餘腳瓜瓤
extra leg,	多餘腳瓜瓤,
extra foot,	多餘腳掌
extra fingers,	手指太多
fewer fingers,	手指更少
strange fingers,	怪手指
missing arms,	缺手瓜
missing legs,	缺腳瓜瓤
missing fingers,	缺手指
fused fingers,	融合手指
too many fingers,	手指太多
bad hand,	歪手
(bad_prompt:0.8),	不良提示
bad anatomy,	解剖不良
bad hands,	歪手
bad feet,	脚
bad body,	歪身歪勢,
bad proportions,	身體比例差,
gross proportions,	總比例
DeepNegative,	深度負面
(fat:1.2),	脂肪
looking away,	睇向別處
tilted head,	側頭
{Multiple people},	多人
text,	文字
error,	錯字
extra digit,	額外數字
fewer digits,	細數
cropped,	裁剪
jpeg artifacts,	壓縮痕跡
signature,	簽名
watermark,	水印
username,	身份
blurry,	模糊
cropped,	裁剪
poorly drawn hands,	手畫得吾靚
poorly drawn face,	樣畫得吾靚
mutation,	突變
deformed,	變形
malformed limbs,	肢體畸形
long neck,	長頸
cross-eyed,	鬥雞眼
mutated hands,	手型變異
polar lowres,	極地低氣壓

 

 

Ebsynth Utility係Ebsynth 配套『Stable Diffusion』插件. 將短片分割幀,利用貳次元模型進行風格轉换.

https://github.com/s9roll7/ebsynth_utility.git

下載插件:

1. 撳『Extensions擴展』->『Install from URL係網裝』
2. 『URL for extension’s git repository』填『https://github.com/Mikubill/sd-webui-controlnet』

https://github.com/Mikubill/sd-webui-controlnet.git

3. 撳『Install』下載
4. 撳『Extensions擴展』->『Installed已裝』
5. 撳『Apply and restart UI應用後重啟界面』
6. 係『txt2img』『img2img』下側『ControlNet』
7. 如果出錯刪下列資料夾,在重新下載

C:\stable-diffusion-webui\extensions\ebsynth_utility

C:\stable-diffusion-webui\tmp\ebsynth_utility

 

神器『EbSynth』係两關鍵幀之間插值生成過渡幀,登入官網『https://ebsynth.com/』撳『Download』鍵.

https://ebsynth.com/EbSynth-Beta-Win.zip

1. 下載後解壓, 𢴇行『exe』.
2. 載入『ebsynth-utility』生成
3. 撳『Run All』生成過渡幀.

『transparent-background』自動分離人像同背景,再生成遮罩,冇需人手干預.

https://github.com/plemeri/transparent-background

登入『命令行模式CMD』, 進入資料夾Python.

CD C:\Program Files\Python310\

下載安裝『transparent-background』1.3.2版,

python.exe -m pip install transparent-background==1.3.2

裝1.3.3版係產生’fast’錯設

remover = Remover(fast=tb_use_fast_mode, jit=tb_use_jit, device=devices.get_optimal_device_name()) TypeError: Remover.init() got an unexpected keyword argument ‘fast’

卸裝『transparent-background』

pip uninstall transparent-background

可能需要更新python

python.exe -m pip install –upgrade pip

顯列python安装包及版本號.

Pip list

下載模型『ckpt_base.pth』『ckpt_fast.pth』『ckpt_base_nightly.pth』

https://github.com/plemeri/transparent-background/releases/tag/1.2.12

https://github.com/plemeri/transparent-background/releases/download/1.2.12/ckpt_base.pth

https://github.com/plemeri/transparent-background/releases/download/1.2.12/ckpt_fast.pth

https://github.com/plemeri/transparent-background/releases/download/1.2.12/ckpt_base_nightly.pth

下載後擺係『C:\Users\user.transparent-background』

佢有圖形版『transparent-background-gui.exe』壹建生成遮罩.

C:\Program Files\Python310\Scripts\transparent-background-gui.exe

1. 撳『open file』載入圖檔.
2. 勾『reverse』反轉遮罩.
3. 撳『process』生成遮罩.

 

如果『pydantic』報錯可先卸载後重装

ImportError: cannot import name ‘ValidationInfo’ from ‘pydantic’ (C:\Users\bookc\AppData\Roaming\Python\Python310\site-packages\pydantic\__init__.cp310-win_amd64.pyd)

先卸载『pydantic』

python.exe -m pip uninstall pydantic

後重装『pydantic』

python.exe -m pip install pydantic==1.8.1

 

1. 登錄錄官網FFmpeg

https://ffmpeg.org/download.html

2. 撳『Windows』
3. 撳『Windows Builds by Btbn』
4. 下載『ffmpeg-master-latest-win64-gpl.zip』

https://github.com/BtbN/FFmpeg-Builds/releases/download/latest/ffmpeg-master-latest-win64-gpl.zip

5. 解壓後擺係C碟,下有bin資料夾.

C:\ffmpeg-master-latest-win64-gpl\bin

三大神器

ffmpeg.exe	音影轉碼
ffplay.exe	播放機
ffprobe.exe	多媒体码流分析

 

添增環境路徑.

1. 撳『win+Pause break』鍵
2. 撳『進階系統設定』
3. 撳『環境變數』
4. 係『系統變數』->編輯『Path』->撳『新增』.

C:\ffmpeg-master-latest-win64-gpl\bin

 

『nvidia 2080ti』吾支持半精度類型, 早知買『nvidia 3090ti』

modules.devices.NansException: A tensor with NaNs was produced in Unet. This could be either because there’s not enough precision to represent the picture, or because your video card does not support half type. Try setting the “Upcast cross attention layer to float32” option in Settings > Stable Diffusion or using the –no-half commandline argument to fix this. Use –disable-nan-check commandline argument to disable this check.

A tensor with all NaNs was produced in VAE. Web UI will now convert VAE into 32-bit float and retry. To disable this behavior, disable the ‘Automatically revert VAE to 32-bit floats’ setting. To always start with 32-bit VAE, use –no-half-vae commandline flag.

1. 𢴇行『webui-user.bat』著『Stable Diffusion webui』
2. 撳『Settings』->『Stable Diffusion』
3. 勾『Upcast cross attention layer to float32』
4. 撳『Apply settings』應用設定
5. 撳『Reload UI』重啟界面

 

另壹條橋係加入命令行參數

6. 編緝『C:\stable-diffusion-webui\webui-user.bat』
7. 係命令行參數『COMMANDLINE_ARGS』加入『–no-half』冇半精度類型, -『-no-half-vae』『–disable-nan-check』禁nan檢驗.

webui-user.bat

set COMMANDLINE_ARGS= –no-half  –no-half-vae  –disable-nan-check

 

–no-half-vae	吾將VAE模型切換成16bit浮點數
–no-half	吾將模型切換成16bit浮點數
–disable-nan-check	吾檢查生成圖像潛在空間是否包含nan值,係持續集成中運行時無需檢查點

 

『Openpose』直接控制姿势同埋表情.對人像動作控制大大提升.

首先獲得骨架姿勢『pose.json』

1. 撳『txt2img』
2. 撳『ControlNet Unit 0』
3. 『Control Type』揀『OpenPose』
4. 係『image』上傳人像圖.
5. 『Preprocessor』揀『dw_openpose_full』獲得姿势表情.小量人像圖揀『openpose_full』.
6. 『Model』揀『kohya_controllllite_xl_openpose_anime_v2 [b0fa10bb] 』
7. 勾『Enable』使能.
8. 勾『Pixel Perfect』像數完美
9. 勾『Allow Preview』 允許預覽
10. 撳『JSON』下載骨架姿勢『json』

 

依據骨架生成圖畫.

11. 『Stable Diffusion checkpoint』揀『safetensors』或『waiREALMIX_v100.safetensors』
12. 撳『txt2img文生圖』
13. 填『正向咒語Prompt』
14. 填『反向咒語Negative Prompt』
15. 『Sampling method』揀『DPM++ 2S a』.
16. 『Sampling steps 』填
17. 『Width』填1600,『height』填
18. 撳『ControlNet Unit 0』
19. 『Control Type』揀『OpenPose』
20. 勾『Enable』使能.
21. 勾『Pixel Perfect』像數完美.
22. 勾『Allow Preview』允許預覽.
23. 撳『Upload JSON』上傳骨架姿勢『json』.
24. 『Preprocessor』揀『dw_openpose_full』.
25. 『Model』揀『thibaud_xl_openpose』.
26. 『Control mode』揀『balanced平衡』.
27. 撳『Generation』生成

 

正向咒語Prompt	簡述
1girl,	1女
solo,	獨奏
long hair,	長髮
breasts,	乳房
towel,	毛巾
cleavage,	卵裂
very long hair,	很長頭髮
naked towel,	裸毛巾
brown eyes,	棕色眼睛
large breasts,	大乳
hair between eyes,	眼睛之間頭髮
upper body,	上身
looking at viewer,	看著觀眾
bangs,	劉海
bare shoulders,	裸肩
tile wall,	瓷磚牆
collarbone,	鎖骨
brown hair,	棕髮
indoors,	室內
parted lips,	張開嘴唇
ahoge,	啊

 

反向咒語Negative Prompt	簡述
(worst quality:2),	低質內容
(low quality:2),	低質內容
(normal quality:2),	低質內容
lowres,	低質內容
((monochrome)),	黑白
((grayscale)),	灰階
(monochrome),	單色
skin spots,	皮膚斑點
acnes,	痤瘡
skin blemishes,	皮膚瑕疵
age spot,	老人斑
glans,	龜頭
extra limbs,	多餘肢體
extra arms,	額外武器
extra legs,	多餘腳瓜瓤
extra leg,	多餘腳瓜瓤,
extra foot,	多餘腳掌
extra fingers,	手指太多
fewer fingers,	手指更少
strange fingers,	怪手指
missing arms,	缺手瓜
missing legs,	缺腳瓜瓤
missing fingers,	缺手指
fused fingers,	融合手指
too many fingers,	手指太多
bad hand,	歪手
(bad_prompt:0.8),	不良提示
bad anatomy,	解剖不良
bad hands,	歪手
bad feet,	脚
bad body,	歪身歪勢,
bad proportions,	身體比例差,
gross proportions,	總比例
DeepNegative,	深度負面
(fat:1.2),	脂肪
looking away,	睇向別處
tilted head,	側頭
{Multiple people},	多人
text,	文字
error,	錯字
extra digit,	額外數字
fewer digits,	細數
cropped,	裁剪
jpeg artifacts,	壓縮痕跡
signature,	簽名
watermark,	水印
username,	身份
blurry,	模糊
cropped,	裁剪
poorly drawn hands,	手畫得吾靚
poorly drawn face,	樣畫得吾靚
mutation,	突變
deformed,	變形
malformed limbs,	肢體畸形
long neck,	長頸
cross-eyed,	鬥雞眼
mutated hands,	手型變異
polar lowres,	極地低氣壓

 

 

https://github.com/huchenlei/sd-webui-openpose-editor.git

 

 

『Stable Diffusion』真人改動畫, 重點係揀適合模型,同埋設較細重绘幅度.

1. 撳『Tagger』反推咒語引導生圖.
2. 『Stable Diffusion checkpoint』模型揀『safetensors』.
3. 撳『img2img文生圖』.
4. 撳『Generation』->『img2img』
5. 係『IMAGE』拖入動畫.
6. 『Resize mode』揀『Resize and fill』.
7. 『Sampling method采樣法』揀『DPM++ 2S a』.
8. 『Sampling steps采樣步』填『32』.
9. 『Resize BY』->『SCALE缩放』填 與原圖大細壹致.
10. 『Denoising strength重绘幅度』填『0.52』,值越細圖像與原圖越似.
11. 撳『ControlNet unit0』
12. 勾『Enable使能』
13. 勾『Pixel Perfect』像數完美
14. 勾『Allow Preview』允許預覽
15. 勾『Upload independent control image』上傳獨立控制影像
16. 揀『Single image』拖入動畫.
17. 『Control Type』揀『openpose』
18. 『Preprocessor』揀『dw_openpose_full』
19. 『mode』揀『t2i_adapter_diffusers_xl_openpose』,openpose模型須與基礎模型相配.
20. 『Control mode』揀『balanced平衡』
21. 『Resize mode』揀『Resize and fill』.
22. 撳『Generate』生成影像.

 

正向咒語Prompt	簡述
1girl,	1女
solo,	獨奏
long hair,	長髮
breasts,	乳房
towel,	毛巾
cleavage,	卵裂
very long hair,	很長頭髮
naked towel,	裸毛巾
brown eyes,	棕色眼睛
large breasts,	大乳
hair between eyes,	眼睛之間頭髮
upper body,	上身
looking at viewer,	看著觀眾
bangs,	劉海
bare shoulders,	裸肩
tile wall,	瓷磚牆
collarbone,	鎖骨
brown hair,	棕髮
indoors,	室內
parted lips,	張開嘴唇
ahoge,	啊

 

反向咒語Negative Prompt	簡述
(worst quality:2),	低質內容
(low quality:2),	低質內容
(normal quality:2),	低質內容
lowres,	低質內容
((monochrome)),	黑白
((grayscale)),	灰階
(monochrome),	單色
skin spots,	皮膚斑點
acnes,	痤瘡
skin blemishes,	皮膚瑕疵
age spot,	老人斑
glans,	龜頭
extra limbs,	多餘肢體
extra arms,	額外武器
extra legs,	多餘腳瓜瓤
extra leg,	多餘腳瓜瓤,
extra foot,	多餘腳掌
extra fingers,	手指太多
fewer fingers,	手指更少
strange fingers,	怪手指
missing arms,	缺手瓜
missing legs,	缺腳瓜瓤
missing fingers,	缺手指
fused fingers,	融合手指
too many fingers,	手指太多
bad hand,	歪手
(bad_prompt:0.8),	不良提示
bad anatomy,	解剖不良
bad hands,	歪手
bad feet,	脚
bad body,	歪身歪勢,
bad proportions,	身體比例差,
gross proportions,	總比例
DeepNegative,	深度負面
(fat:1.2),	脂肪
looking away,	睇向別處
tilted head,	側頭
{Multiple people},	多人
text,	文字
error,	錯字
extra digit,	額外數字
fewer digits,	細數
cropped,	裁剪
jpeg artifacts,	壓縮痕跡
signature,	簽名
watermark,	水印
username,	身份
blurry,	模糊
cropped,	裁剪
poorly drawn hands,	手畫得吾靚
poorly drawn face,	樣畫得吾靚
mutation,	突變
deformed,	變形
malformed limbs,	肢體畸形
long neck,	長頸
cross-eyed,	鬥雞眼
mutated hands,	手型變異
polar lowres,	極地低氣壓