Cách Huấn Luyện LoRA Stable Diffusion

Sau khi hoàn tất cài đặt LoRA, chúng ta sẽ chuyển sang bước Đào tạo LoRA bằng giao diện webUI.

Mục lục

1. Tạo tập dữ liệu cho LoRA đào tạo
2. Tạo chú thích cho hình ảnh
3. Bắt đầu đào tạo LoRA
4. Sử dụng LoRA với Automatic11114. Using LoRA with Automatic1111

1. Tạo tập dữ liệu cho LoRA đào tạo

Chuẩn bị hình ảnh cho đào tạo

Chọn hình ảnh và thay đổi kích thước chúng thành kích thước 512 × 512
Ví dụ, hãy sử dụng Chi Pu

Tạo thư mục chứa file liên quan đến Chi Pu. Trong trường hợp này, tôi đã tạo một thư mục có tên “Train” trên ổ đĩa F. Bên trong thư mục Train, tôi đã tạo một thư mục con có tên là “Chipu”.

Trong thư mục Chipu tạo thêm các thư mục con:

Hình ảnh: Để lưu trữ dữ liệu hình ảnh cho LoRA đào tạo

log: Để lưu trữ nhật ký
mô hình: Các mô hình LoRA được đào tạo thành công sẽ được lưu trữ tại đây

Trong thư mục Hình ảnh, tạo một thư mục con khác ở định dạng stepnumber_name. Trong trường hợp này, tôi đã tạo một thư mục có tên “150_chipu”. “150_chipu”.
150 ở đây đại diện cho 150 bước cho mỗi hình ảnh được sử dụng để đào tạo LoRA. Bạn nên có tổng số bước ít nhất là 1500, với ít nhất 100 bước cho mỗi hình ảnh. Với 10 hình ảnh để đào tạo, bạn có 1500/10 = 150 bước cho mỗi hình ảnh. Số bước càng nhiều thì thời gian đào tạo càng lâu và máy tính của bạn sẽ sử dụng càng nhiều tài nguyên. Nếu bạn đào tạo với 20 hình ảnh, thì số bước tối thiểu vẫn phải là 100 hoặc nhiều hơn, trong trường hợp đó, tổng số bước bạn đào tạo là 100*20 = 2000.

Thư mục này sẽ chứa những hình ảnh khuôn mặt của Chi Pu đã được cắt vuông góc.

2. Tạo chú thích cho hình ảnh

Trên màn hình giao diện kohya_ss, chọn tab Tiện ích. Sau đó, chọn tab Phụ đề BLIP.

Trong phần “thư mục hình ảnh để chú thích”, hãy điều hướng đến thư mục chứa hình ảnh bạn muốn chú thích.

Nhấn nút “Hình ảnh chú thích” để bắt đầu chú thích. Kết quả sẽ là các tệp .txt chứa chú thích cho từng hình ảnh tương ứng.

3. Bắt đầu đào tạo LoRA

Chọn tab Dreambooth LoRA.

Trong tab Chế độ nguồn, nhấp vào biểu tượng tờ giấy để chọn mô hình cơ sở bạn muốn sử dụng để huấn luyện LoRA.

Chọn chế độ Nguồn.

Mô hình Nguồn là đường dẫn đến tệp mô hình mà bạn muốn đào tạo với dữ liệu mới. Trong trường hợp này, tôi đã chọn mô hình realityVisionV13_v13.

Chuyển sang tab Thư mục.

Khai báo các đường dẫn

Thư mục Image là đường dẫn đến thư mục Image chứa bộ dữ liệu (Lưu ý: không đưa vào thư mục 150_chipu)
Thư mục đầu ra là đường dẫn đến thư mục Model đã tạo trước đó
Logging Folder là đường dẫn đến thư mục Log
Tên đầu vào mô hình là tên của mô hình LoRA bạn muốn tạo

Bạn có thể thay đổi các thông số trong tab Thông số đào tạo. Hiện tại, tôi sẽ để chúng ở giá trị mặc định trong phạm vi hướng dẫn này.

Nhấn nút “Mô hình xe lửa”. Quá trình đào tạo bắt đầu:

Sau khi hoàn thành, tệp LoRA được đào tạo sẽ nằm trong thư mục Model.

Bây giờ bạn copy file LoRA này vào thư mục LoRA của Automatic1111 để bắt đầu sử dụng.

Trong trường hợp của tôi, tệp LoRA nằm ở đây: F:stable-diffusionstable-diffusion-webuimodelsLora

F:stable-diffusionstable-diffusion-webuimodelsLora

4. Sử dụng LoRA với Automatic1111Automatic1111

Copy file LoRA đã tạo vào thư mục models/Lora như hướng dẫn ở trên.

Mở giao diện web SD (Automatic1111) và làm theo các bước bên dưới:
Chọn tab Tiện ích mở rộng, sau đó chọn tab Cài đặt từ URL. Sao chép URL sau cho kho lưu trữ git của tiện ích mở rộng và nhấp vào nút Cài đặt.
https://github.com/kohya-ss/sd-webui-additional-networks