Một vấn đề phổ biến trong hình ảnh AI của Stable Diffusion là các cánh tay hoặc chân có thể không được tạo ra đúng cách. Đôi khi một người có thể có thêm một cánh tay, và lúc khác một chân của anh ta có thể bị thiếu. Cuối cùng, chúng tôi có 4 cánh nhưng giải phẫu không hoàn toàn chính xác.
Một độc giả đã đề xuất làm một hướng dẫn đặc biệt để loại bỏ các cánh tay hoặc chân thừa. Vậy đây là nó! Trong bài viết này, tôi sẽ chỉ cho bạn cách sử dụng inpainting để sửa hai hình ảnh có vấn đề về cánh tay hoặc chân.
Phần mềm
Trong hướng dẫn này, tôi sẽ sử dụng giao diện người dùng AUTOMATIC1111. Bạn có thể chạy giao diện người dùng này chỉ với 1 cú nhấp chuột bằng cách sử dụng sổ ghi chú Colab trong Hướng dẫn bắt đầu nhanh. Bạn cũng có thể cài đặt nó trên Windows và Mac.
Chúng ta sẽ cần mô hình inpainting phiên bản 1.5. Hãy đảm bảo rằng bạn đã chọn mô hình inpainting khi khởi chạy sổ ghi chú colab trong Hướng dẫn bắt đầu nhanh.
Theo dõi các hướng dẫn để cài đặt mô hình inpainting nếu bạn chạy AUTOMATIC1111 tại cơ sở.
Tôi sẽ sử dụng Photoshop để vẽ lên một số khu vực trong ví dụ thứ hai. Bạn có thể sử dụng bất kỳ phần mềm chỉnh sửa ảnh nào khác.
Dòng lệnh và dòng lệnh phủ định
Hai hình ảnh cần được sửa đổi được tạo ra bằng cách sử dụng dòng lệnh sau.
full-body portrait of beautiful female wearing running outfit, highlights in hair, sitting outside restaurant, brown eyes, wearing a dress, side light
Và dòng lệnh phủ định là
disfigured, ugly, bad, immature, two heads
Chúng ta sẽ sử dụng cùng một dòng lệnh trong ví dụ về inpainting.
Ví dụ 1: Chỉ sử dụng inpainting để sửa chân tay
Chúng ta sẽ sửa hình ảnh dưới đây với chân tay bị biến dạng.
Bạn có thể tải hình ảnh này bằng cách sử dụng nút dưới đây nếu bạn muốn làm theo hướng dẫn này.
Gửi hình ảnh đến inpainting
Rõ ràng chân là vấn đề lớn nhất. Hình ảnh này được tạo ra bằng cách sử dụng tab txt2img trong AUTOMATIC1111. Chúng ta sẽ sửa hình ảnh này chỉ với inpainting. Sử dụng nút Gửi đến Inpaint tiện lợi dưới hình ảnh để gửi một hình ảnh mới tạo đến inpainting.
Nếu không, nếu bạn đang sử dụng hình ảnh đã tải xuống, chuyển sang tab img2img và chọn tab con Inpaint. Viết dòng lệnh và dòng lệnh phủ định vào các ô nhập tương ứng. Tải lên hình ảnh bằng cách kéo và thả vào khung hình.
Bất kể phương pháp bạn sử dụng, bây giờ bạn nên đã thiết lập GUI giống như dưới đây.
Tham số Inpainting
Dưới đây là ảnh chụp màn hình của cài đặt inpainting của tôi.
Có rất nhiều cài đặt. Những điều quan trọng là:
-
- Dòng lệnh và dòng lệnh phủ định: Giống như ban đầu.
-
- Bước mẫu: Đặt giá trị khá cao, như 25.
-
- Khu vực inpainting: “Toàn bức ảnh” tạo ra các hình ảnh phù hợp với toàn bộ hình ảnh. “Chỉ vùng đã đánh dấu” chỉ vẽ vùng đã đánh dấu nhưng với độ phân giải cao hơn. Nó rất hữu ích để vẽ các chi tiết tinh tế như khuôn mặt.
-
- Kích thước lô: Đặt thành một số hợp lý như 4 để bạn có thể lựa chọn hình ảnh tốt nhất.
-
- Độ mạnh của việc lọc nhiễu là một tham số rất quan trọng. 0.75 là một điểm bắt đầu tốt. Tăng nếu bạn muốn nó thay đổi nhiều hơn. Giảm nếu bạn muốn nó thay đổi ít hơn.
-
- Nội dung đã đánh dấu: Giữ nguyên.
-
- Hạt giống: -1 cho ngẫu nhiên. Điều này quan trọng vì bạn muốn tạo ra một cái gì đó khác sau mỗi lần thử.
-
- Chọn mô hình inpainting Stable Diffusion v1.5.
Sửa chân tay
Bây giờ, chúng ta đã sẵn sàng sử dụng inpainting để sửa chân tay. Hãy sửa chân trước bởi vì chúng là vấn đề lớn nhất. Sử dụng công cụ cọ bên cạnh khung hình inpainting để tạo một mặt nạ xung quanh chân. Che phần bạn muốn tái tạo.
Hãy sử dụng độ mạnh lọc nhiễu ( denoising strength) 0.75. Nhấn nút Generate. Chúng ta thấy 4 hình ảnh được tạo ra.
Bạn có thể thấy hình ảnh mới tạo ra có độ thành công khác nhau. Vì vậy, việc tạo ra nhiều hình ảnh và chọn hình ảnh tốt nhất là quan trọng. Mặc dù không hoàn hảo, hãy chọn hình ảnh trên cùng bên trái vì nó di chuyển về hướng đúng. Trong trường hợp bạn không thấy cải thiện nào, bạn có thể tạo ra một tập hợp 4 khác. (Đảm bảo rằng hạt giống được đặt thành -1)
Vậy đây là lần lặp đầu tiên của chúng ta:
Để sử dụng hình ảnh cho lần tiếp theo, bạn chọn hình ảnh trong khung hình bên phải và sử dụng nút Gửi đến inpaint dưới hình ảnh để gửi nó đến khung hình inpainting.
Sau khi nhấn nút, bạn có thể tự hỏi tại sao dường như không có gì thay đổi. Lý do là tất cả các thay đổi đều dưới khu vực đã đánh dấu mà chúng được che phủ bằng họa tiết màu đen. Bạn sẽ thấy các thay đổi nếu bạn loại bỏ mặt nạ. Nhưng vì chúng ta muốn sử dụng lại mặt nạ giống nhau, chúng ta không sẽ làm như vậy.
Sử dụng cùng một mặt nạ và cùng một tham số, nhấn nút Generate để nhận thêm 4. 4 mới được tạo dựa trên hình ảnh đã cải thiện ở trên.
Hình ảnh ở phía dưới bên phải rõ ràng là người chiến thắng. Hãy tiếp tục với nó.
Sửa Giày Sneaker
Khi sử dụng inpainting để sửa chữa chân hoặc bất kỳ thứ gì, bạn nên bắt đầu từ một khu vực lớn và dần dần chuyển sang các khu vực nhỏ hơn. Ví dụ, chúng ta muốn thay đổi giày sneaker mà cô ấy đang mặc.
Chúng ta sẽ tuân theo các bước tương tự: chọn hình ảnh ở góc dưới bên phải và sử dụng nút Send to Inpaint dưới hình ảnh để gửi nó tới bức vẽ inpaint ở bên trái.
Một lần nữa, trên bức vẽ inpaint, bạn sẽ thấy không có gì thay đổi.
Bạn sẽ cần sử dụng nút hoàn tác ở góc trên bên phải để hoàn toàn loại bỏ mặt nạ. Vẽ lại mặt nạ nhưng chỉ phủ lên giày sneaker.
Sử dụng cùng một cài đặt (độ mạnh denoising 0.75, nội dung gốc) và sau khi tạo khoảng 16 hình ảnh, tôi chọn hình ảnh sau.
Sửa Khuôn Mặt
Khuôn mặt của cô ấy hơi rối. Đây là điều mà inpainting rất phù hợp để sửa chữa. Gửi hình ảnh mới đến inpainting và tạo một mặt nạ trên khuôn mặt của cô ấy.
Bây giờ chúng ta cần sử dụng các cài đặt mới:
-
- Độ mạnh Denoising: 0.2. Chúng ta cần giá trị thấp hơn vì khuôn mặt không quá tồi. Chúng ta đã có mắt, mũi và miệng ở đúng vị trí. Vì vậy, chúng ta muốn thay đổi rất nhỏ.
-
- Khu vực inpaint: Chỉ khu vực đã được đánh dấu. Tùy chọn này mở rộng khu vực inpaint thành một khu vực lớn hơn, thực hiện inpainting, và thu nhỏ lại. Vì chúng ta đang vẽ một khu vực nhỏ với nhiều chi tiết, tùy chọn này giúp cải thiện chất lượng.
Nhấn nút Generate để tạo 4 hình ảnh mới với khuôn mặt mới. Dưới đây là những gì tôi chọn.
Sửa Vai
Cuối cùng, vai của cô ấy có vẻ không tự nhiên. Hãy sửa nó.
Sử dụng độ mạnh denoising là 0.5 và giữ khu vực inpaint là chỉ khu vực đã được đánh dấu, chúng ta nhận được hình ảnh sau.
Cuối cùng, sửa tay của cô ấy bằng một phương pháp tương tự.
So Sánh và Tóm Tắt
Hãy so sánh hình ảnh trước và sau khi sửa.
Trước Sau Bạn có thể sử dụng inpainting để tiếp tục sửa những chi tiết nhỏ chưa hoàn hảo. Nhưng tôi hy vọng đây là một ví dụ tốt để minh họa cách sử dụng inpainting một mình để sửa chữa chân.
Để tóm tắt, các ý tưởng cơ bản của kỹ thuật này là
-
- Sử dụng lại lời nhắc và lời nhắc tiêu cực.
-
- Giữ nội dung đã được đánh dấu là gốc và điều chỉnh độ mạnh của denoising để kiểm soát mức độ thay đổi mà chúng ta muốn tạo ra. (0 có nghĩa là không thay đổi. 1 có nghĩa là tạora các thay đổi không dựa trên nội dung gốc). Bằng cách này, bạn không cần phải điều chỉnh các cài đặt nội dung đã đánh dấu khác trong khi đạt được điều khiển tương tự.
-
- Chọn inpaint toàn bức ảnh khi vẽ một khu vực lớn, và chỉ khu vực đã được đánh dấu khi inpainting một khu vực nhỏ.
-
- Bắt đầu với những khiếm khuyết lớn như chân, và dần dần chuyển sang các khu vực nhỏ hơn.
Ví dụ 2: Inpainting và Vẽ
Hãy xem xét ví dụ thách thức hơn này về việc loại bỏ hai chân phụ và thêm một chân vào hình ảnh dưới đây. Trên thực tế, bạn không nên cố gắng sửa các hình ảnh như này vì nó sẽ dễ dàng hơn nhiều để tạo ra những hình ảnh mới có ít khuyết điểm hơn để bắt đầu. Nhưng đây là một bức ảnh tốt để minh họa kỹ thuật này nên đó là những gì tôi đã chọn.
Bạn có thể tải xuống hình ảnh này ở đây.
Cắt đôi chân
Đầu tiên, tôi sử dụng Photoshop để vẽ qua hai chân phụ trong khi phối hợp màu của bệ đá. Nó không cần phải phù hợp hoàn hảo, gần đúng là tốt vì chúng ta sẽ sử dụng inpainting để sửa nó lên.
Bước này dễ dàng hơn nếu bạn có một thiết bị vẽ như Apple pencil và iPad, nhưng nó hoàn toàn có thể thực hiện được với chuột. Nếu bạn không có quyền truy cập vào Photoshop, bạn có thể sử dụng Gimp (chạy cục bộ) hoặc Photopea (trực tuyến). Chúng là miễn phí. Trong bất kỳ phần mềm vẽ nào, bạn có thể sử dụng công cụ nhặt màu để chọn màu của bề mặt đá lân cận và vẽ màu tương tự lên các chân phụ.
Nếu các tùy chọn trên không hoạt động cho bạn, bạn có thể thử sử dụng công cụ Inpaint sketch trong AUTOMATIC1111. Nhưng tôi thấy nó có lỗi và cố gắng không sử dụng nó.
Dưới đây là hình ảnh của tôi sau khi vẽ qua.
Bây giờ hãy sử dụng nó để inpainting. Sử dụng các cài đặt tương tự như ví dụ 1. Nhưng vì chúng ta đã vẽ bệ đá lên và muốn Stable Diffusion sử dụng màu mà chúng ta đã vẽ, chúng ta nên đặt độ mạnh denoising ở mức thấp 0.2 – 0.5 và sử dụng nội dung gốc.
Model: mô hình inpainting v1.5 (sd-v1-5-inpainting.ckpt)
Prompt: (giống như ví dụ 1)
Negative prompt: (giống như ví dụ 1)
Nội dung đã được đánh dấu: gốc
Khu vực đã được inpaint: Toàn bức ảnh
Bước lấy mẫu: 25
Độ mạnh Denoising: 0.5
Tôi đã tạo ra 4 hình ảnh.
Giống như trước, kết quả đầu tiên không cần phải hoàn hảo. Nó chỉ cần tốt hơn vì chúng ta sẽ inpaint lặp lại nhiều lần. Tôi đã chọn hình ảnh ở góc trên bên phải. Không hoàn hảo nhưng ít nhất đã sửa phần lớn bề mặt đá.
Thêm một chân lại
Bây giờ, quay lại Photoshop và thêm chân bị mất. Vẽ quần ngắn, chân phụ và chải qua một số khuyết điểm nhỏ khác. Một lần nữa, sử dụng công cụ nhặt màu để phù hợp với màu. Dưới đây là những gì tôi có được sau khi vẽ trong Photoshop.
Tải lên hình ảnh trở lại bức vẽ inpaint. Với độ mạnh denoising giảm xuống 0.2, tôi nhận được 4 hình ảnh này.
Hãy chọn hình ảnh ở góc dưới bên trái để tiếp tục. Đi qua một vòng tạo thêm sử dụng độ mạnh denoising 0.5. Chúng ta nhận được hình ảnh sau đây gần như những gì chúng ta muốn.
Sửa tay, giày sneaker và khuôn mặt
Đã đến lúc sửa tay của cô ấy. Tạo một mặt nạ xung quanh tay của cô ấy.
Inpaint chỉ khu vực đã được đánh dấu và đặt độ mạnh denoising lên 0.75, tay đã được phục hồi.
Phần còn lại là những bước nhỏ để sửa một số khu vực khác, từng khu vực một lúc: Giày sneaker, áo sơ mi và khuôn mặt. Tôi giữ nguyên các tham số như bước cuối cùng nhưng điều chỉnh độ mạnh denoising nếu cần.
Dưới đây là hình ảnh cuối cùng sau tất cả các bước sửa.
So sánh và Tóm tắt
Hãy đặt hình ảnh trước và sau khi sửa chữa cùng nhau để xem những gì chúng ta đã đạt được.
Trong ví dụ thứ hai này, chúng tôi đã sử dụng công cụ chỉnh sửa ảnh bên ngoài để vẽ qua một số khu vực nhằm hướng dẫn việc tạo thế hệ inpainting. Điều này cho phép bạn kiểm soát màu sắc và cấu trúc của thế hệ một cách tương đối.
Tôi hy vọng tôi đã giải thích rõ cách sử dụng inpainting để sửa chữa chân trong hai ví dụ này. Như bạn đã thấy, bạn có thể thực sự sửa bất cứ thứ gì nếu bạn có sự kiên nhẫn.
Đọc thêm
Đọc về cơ bản của các luồng công việc inpainting nếu bạn không quen với kỹ thuật này. Không chỉ bạn có thể sửa chữa các khiếm khuyết, mà còn tạo ra các đối tượng mới.
Inpainting thực ra là một trường hợp đặc biệt của image-to-image. Bạn có thể đọc thêm về cách nó hoạt động ở cấp độ mô hình tại đây.
Nguồn từ: https://medium.com/