Hướng dẫn dùng Stable Diffusion cho người mới bắt đầu inpainting (ví dụ từng bước)

Cho dù lời nhắc và mô hình của bạn tốt đến đâu, rất hiếm khi có được một bức ảnh hoàn hảo trong một lần chụp.

Inpainting là một cách không thể thiếu để sửa chữa những khiếm khuyết nhỏ. Trong bài đăng này, tôi sẽ đi qua một vài ví dụ cơ bản để sử dụng inpainting để sửa lỗi.

Nếu bạn chưa quen với hình ảnh AI, trước tiên bạn có thể muốn đọc hướng dẫn dành cho người mới bắt đầu.

Đây là phần 3 của loạt bài hướng dẫn dành cho người mới bắt đầu.
Đọc phần 1: Hướng dẫn tuyệt đối cho người mới bắt đầu.
Đọc phần 2: Cấu Trúc Câu Lệnh
Đọc phần 4: Models

Mô hình hình ảnh và GUI

Chúng tôi sẽ sử dụng AI khuếch tán ổn định và GUI AUTOMATIC1111. Xem hướng dẫn bắt đầu nhanh của tôi để thiết lập trong máy chủ đám mây của Google.

Cài đặt inpainting cơ bản

Trong phần này, tôi sẽ chỉ cho bạn từng bước cách sử dụng inpainting để sửa các lỗi nhỏ.

Tôi sẽ sử dụng một hình ảnh gốc từ lời nhắc của Lonely Palace:
[emma watson: amber heard: 0.5], (long hair:0.5), headLeaf, wearing stola, vast roman palace, large window, medieval renaissance palace, ((large room)), 4k, arstation, intricate, elegant, highly detailed

(Cài đặt chi tiết có thể được tìm thấy ở đây.)

Ảnh gốc
Đó là một hình ảnh đẹp nhưng tôi muốn khắc phục các vấn đề sau

• Khuôn mặt trông không tự nhiên.
• Cánh tay phải bị mất.

Sử dụng một mô hình inpainting (tùy chọn)

Bạn có biết có một mô hình Stable Diffusion được đào tạo để inpainting không? Bạn có thể sử dụng nó nếu bạn muốn có được kết quả tốt nhất. Nhưng thông thường, bạn có thể sử dụng cùng một mô hình mà bạn đã tạo hình ảnh để inpainting.

Để cài đặt mô hình inpainting v1.5, hãy tải xuống tệp điểm kiểm tra mô hình và đặt nó vào thư mục
stable-diffusion-webui/models/Stable-diffusion
Trong AUTOMATIC1111, nhấn vào biểu tượng làm mới bên cạnh hộp thả lựa chọn điểm kiểm tra ở trên cùng bên trái. Chọn sd-v1-5-inpainting.ckpt để kích hoạt mô hình.

Tạo mặt nạ inpaint

Trong GUI AUTOMATIC1111, Chọn tab img2img và chọn tab phụ Inpaint. Tải hình ảnh lên khung inpainting.

Chúng ta sẽ vẽ cả cánh tay phải và khuôn mặt cùng một lúc. Sử dụng công cụ cọ vẽ để tạo mặt nạ. Đây là khu vực bạn muốn Khuếch tán ổn định tái tạo hình ảnh.
Tạo mặt nạ bằng công cụ cọ vẽ.

Cài đặt cho inpainting

Câu lệnh

Bạn có thể sử dụng lại lời nhắc ban đầu để sửa lỗi. Điều này giống như tạo ra nhiều hình ảnh nhưng chỉ trong một khu vực cụ thể.

Kích cỡ hình

Kích thước hình ảnh cần được điều chỉnh để giống với hình ảnh gốc. (704 x 512 trong trường hợp này).

Phục hồi khuôn mặt

Nếu bạn đang vẽ khuôn mặt, bạn có thể bật khôi phục khuôn mặt. Bạn cũng sẽ cần chọn và áp dụng mô hình khôi phục khuôn mặt sẽ được sử dụng trong tab Cài đặt. CodeFormer là một cái tốt.

Lưu ý rằng tùy chọn này có thể tạo ra vẻ ngoài không tự nhiên. Nó cũng có thể tạo ra điều gì đó không phù hợp với phong cách của mô hình.

Nội dung mặt nạ

Cài đặt quan trọng tiếp theo là Nội dung mặt nạ.

Chọn bản gốc nếu bạn muốn kết quả được hướng dẫn bởi màu sắc và hình dạng của nội dung gốc. Bản gốc thường được sử dụng khi vẽ khuôn mặt vì hình dạng chung và giải phẫu là ok. Chúng tôi chỉ muốn nó trông hơi khác một chút.

Trong hầu hết các trường hợp, bạn sẽ sử dụng Bản gốc và thay đổi cường độ khử nhiễu để đạt được các hiệu ứng khác nhau.

Bạn có thể sử dụng tiếng ồn tiềm ẩn hoặc không có gì tiềm ẩn nếu bạn muốn tạo lại thứ gì đó hoàn toàn khác với bản gốc, chẳng hạn như loại bỏ một chi hoặc giấu một bàn tay. Các tùy chọn này khởi tạo vùng được che bằng một thứ khác với hình ảnh gốc. Nó sẽ tạo ra một cái gì đó hoàn toàn khác.

Cường độ khử nhiễu

Cường độ khử nhiễu kiểm soát mức độ thay đổi nó sẽ tạo ra so với hình ảnh gốc. Sẽ không có gì thay đổi khi bạn đặt thành 0. Bạn sẽ nhận được một bức tranh không liên quan khi đặt thành 1.

0,75 thường là một điểm khởi đầu tốt. Giảm nếu bạn muốn thay đổi ít hơn.

Kích thước lô

Đảm bảo tạo một vài hình ảnh cùng một lúc để bạn có thể chọn những hình ảnh tốt nhất. Đặt hạt giống thành -1 để mọi hình ảnh đều khác nhau.

Lời nhắc	(Giống như bản gốc)
Các bước lấy mẫu	20
Seed	-1
Kích cỡ hình	704 x 512
Phục hồi khuôn mặt	Codeformer
phương pháp lấy mẫu	Euler a
Model	Stable Diffusion v1.5 inpainting
Nội dung mặt nạ	latent noise or latent nothing
Inpaint ở độ phân giải đầy đủ	On
cường độ khử nhiễu	0.75

Kết quả inpainting

Dưới đây là một số hình ảnh đã impaint

Hình ảnh đã được inpaint

Một vòng nữa của inpainting

Tôi thích cái cuối cùng nhưng có thêm một bàn tay dưới cánh tay mới sơn. Làm theo các bước tương tự để tải lên hình ảnh này và tạo mặt nạ. Nội dung bị che phải được đặt thành latent noise để tạo ra thứ gì đó hoàn toàn khác.

Bàn tay dưới cánh tay được loại bỏ với vòng vẽ thứ hai:
Sử dụng inpainting để loại bỏ bàn tay thừa dưới cánh tay.
Và đây là hình ảnh cuối cùng của tôi.

So sánh song song
Còn lại: nguyên bản. Đúng: inpaint 2 lần.
Inpainting là một quá trình lặp đi lặp lại. Bạn có thể áp dụng nó nhiều lần nếu muốn tinh chỉnh một hình ảnh.

Xem bài đăng này để biết một ví dụ cực đoan hơn về inpainting.

Xem hướng dẫn loại bỏ các chi thừa bằng inpainting.

Thêm đối tượng mới

Đôi khi bạn muốn thêm một cái gì đó mới vào hình ảnh.

Hãy thử thêm một chiếc quạt cầm tay vào bức tranh.

Đầu tiên, tải hình ảnh lên canvas vẽ tranh và tạo mặt nạ quanh ngực và cánh tay phải.

Thêm lời nhắc” holding a hand fan” vào đầu lời nhắc ban đầu. Lời nhắc cho inpainting là
(holding a hand fan: 1.2), [emma watson: amber heard: 0.5], (long hair:0.5), headLeaf, wearing stola, vast roman palace, large window, medieval renaissance palace, ((large room)), 4k, arstation, intricate, elegant, highly detailed

Việc thêm các đối tượng mới vào dấu nhắc ban đầu đảm bảo tính nhất quán về kiểu dáng. Bạn có thể điều chỉnh trọng số từ khóa (1,2 ở trên) để làm cho người hâm mộ hiển thị.

Đặt nội dung che dấu là latent noise.

Điều chỉnh cường độ khử nhiễu và tỷ lệ CFG để tinh chỉnh hình ảnh không sơn.

Sau một số thử nghiệm, nhiệm vụ của chúng tôi đã hoàn thành:
Thêm một chiếc quạt tay với inpainting.

Giải thích các thông số inpainting

Cường độ khử nhiễu

Cường độ khử nhiễu kiểm soát mức độ tôn trọng mà hình ảnh cuối cùng phải trả cho nội dung gốc. Đặt nó thành 0 không thay đổi gì. Đặt thành 1 bạn có một hình ảnh không liên quan.

Đặt thành giá trị thấp nếu bạn muốn thay đổi nhỏ và giá trị cao nếu bạn muốn thay đổi lớn.
Thay đổi cường độ khử nhiễu. Đặt giá trị thấp nếu bạn muốn thay đổi nhỏ và giá trị cao nếu bạn muốn thay đổi lớn.

Quy mô CFG

Tương tự như cách sử dụng trong chuyển văn bản thành hình ảnh, thang đo Hướng dẫn miễn phí của Trình phân loại là một tham số để kiểm soát mức độ tôn trọng của mô hình đối với lời nhắc của bạn.

1 – Chủ yếu bỏ qua lời nhắc của bạn.
3 – Hãy sáng tạo hơn.
7 – Một sự cân bằng tốt giữa làm theo lời nhắc và tự do.
15 – Tuân thủ nhiều hơn lời nhắc.
30 – Tuân thủ nghiêm ngặt lời nhắc.

Nội dung ẩn danh

Nội dung được che dấu kiểm soát cách vùng được che dấu được khởi tạo.

• Tô màu: Khởi tạo với độ mờ cao của ảnh gốc.
• Bản gốc: Chưa sửa đổi.
• Latent noise: Vùng mặt nạ được khởi tạo với lấp đầy và độ nhiễu ngẫu nhiên được thêm vào không gian tiềm ẩn.
• Latent nothing: Giống latent noise ngoại trừ không có độ nhiễu nào được thêm vào không gian tiềm ẩn.

Dưới đây là nội dung mặt nạ ban đầu trước bất kỳ bước lấy mẫu nào. Điều này cung cấp cho bạn một số ý tưởng về những gì họ đang có.
Nội dung che đậy.

Lời khuyên cho inpainting

Vẽ tranh thành công đòi hỏi sự kiên nhẫn và kỹ năng. Dưới đây là một số ngôi nhà khi sử dụng inpainting

• Một khu vực nhỏ tại một thời điểm.
• Giữ nội dung bị che ở Bản gốc và điều chỉnh cường độ khử nhiễu hoạt động 90% thời gian.
• Chơi với nội dung ẩn để xem nội dung nào hoạt động tốt nhất.
• Nếu không có gì hoạt động tốt trong cài đặt của AUTOMATIC1111, hãy sử dụng phần mềm chỉnh sửa ảnh như Photoshop hoặc GIMP để vẽ khu vực quan tâm bằng hình dạng và màu sắc thô mà bạn muốn. Tải lên hình ảnh đó và inpaint với nội dung gốc.