Cách làm video với Stable Diffusion (Deforum)

Deforum là công cụ tạo video hoạt hình với Stable Diffusion. Tất cả những gì bạn cần để cung cấp lời nhắc và cài đặt về cách camera di chuyển.

Chúng ta sẽ thực hiện các bước để tạo video deforum này.

Bài đăng này dành cho những người mới bắt đầu chưa tạo video deforum trước đây. Bạn sẽ học

• Deforum là gì.
• Cách cài đặt tiện ích mở rộng deforum trên AUTOMATIC1111 Stable Diffusion.
• Các cài đặt cơ bản.
• Làm thế nào để tạo video deforum đầu tiên của bạn từng bước.

“deforum” là gì?

Deforum là phần mềm mã nguồn mở và miễn phí để tạo hoạt ảnh. Nó sử dụng chức năng chuyển hình ảnh sang hình ảnh của Stable Diffusion để tạo ra một loạt hình ảnh và ghép chúng lại với nhau để tạo video.

Nó áp dụng các phép biến đổi nhỏ cho một khung ảnh và sử dụng chức năng chuyển ảnh sang ảnh để tạo khung tiếp theo. Vì sự thay đổi giữa các khung hình là nhỏ nên nó tạo ra cảm giác về một video liên tục.

Làm thế nào để cài đặt deforum?

Chúng tôi sẽ sử dụng tiện ích mở rộng deforum của AUTOMATIC1111 GUI. Bạn có thể sử dụng GUI này trên Windows, Mac hoặc Google Colab.

Sử dụng deforum trên Google Colab

Nếu bạn đang sử dụng sổ tay Colab trong Hướng dẫn bắt đầu nhanh, chỉ cần kiểm tra tiện ích mở rộng Deforum trước khi bắt đầu AUTOMATIC1111.

Chỉ vậy thôi!

Bạn sẽ thấy tab Deforum trong AUTOMATIC1111 GUI sau khi khởi động.

Cài đặt deforum trên Windows

Thực hiện theo các hướng dẫn sau để cài đặt deforum nếu bạn chạy AUTOMATIC1111 cục bộ trên Windows.

Bước 1. Mở dấu nhắc lệnh (cmd) và thay đổi thư mục thành stable-diffusion-webui. Nếu bạn làm theo hướng dẫn cài đặt của trang web, hãy chạy
cd %userprofile%stable-diffusion-webui
Bước 2. Cài đặt tiện ích mở rộng deforum bằng cách chạy lệnh sau.
git clone https://github.com/deforum-art/deforum-for-automatic1111-webui extensions/deforum
Bạn sẽ thấy tab Deforum sau khi khởi động lại GUI AUTOMATIC1111.

Cài đặt deforum trên Mac

Làm theo các hướng dẫn sau để cài đặt deforum nếu bạn chạy AUTOMATIC1111 cục bộ trên máy Mac.

Bước 1. Mở ứng dụng Terminal. Điều hướng đến thư mục cài đặt của stable-diffusion-webui. Nếu bạn đã làm theo hướng dẫn của trang web, hãy chạy phần sau.

cd ~/stable-diffusion-webui 

Bước 2. Cài đặt tiện ích mở rộng deforum bằng cách chạy lệnh sau.

git clone https://github.com/deforum-art/deforum-for-automatic1111-webui extensions/deforum 

Bạn sẽ thấy tab Deforum sau khi khởi động lại GUI AUTOMATIC1111.

Tạo video thử nghiệm

Bước này là tùy chọn nhưng sẽ cung cấp cho bạn tổng quan về nơi tìm các cài đặt mà chúng tôi sẽ sử dụng.

Bước 1: Trong AUTOMATIC1111 GUI, Điều hướng đến trang Deforum.

Bước 2: Điều hướng đến tab khung hình chính.

• Bạn sẽ thấy tab Chuyển động ở nửa dưới của trang. Đây là nơi bạn sẽ thiết lập các thông số camera.
• Khung hình tối đa là số lượng khung hình của video của bạn. Giá trị cao hơn làm cho video dài hơn.

Bạn có thể sử dụng các giá trị mặc định.

Bước 3: Điều hướng đến tab Lời nhắc. Bạn sẽ thấy một danh sách lời nhắc có đánh số trước mỗi lời nhắc. Số là khung mà lời nhắc có hiệu lực.

Đối với các lời nhắc bên dưới, nó sẽ sử dụng lời nhắc đầu tiên ở đầu video. Sau đó, nó sẽ chuyển sang sử dụng dấu nhắc thứ hai ở khung thứ 30 và dấu nhắc thứ ba ở khung thứ 60 và dấu nhắc thứ tư ở khung thứ 90.

Bạn có thể để nguyên các lời nhắc.

Bước 4: Nhấp vào Tạo để bắt đầu tạo video.

Bước 5: Khi hoàn tất, bấm vào nút Tạo phía trên để xem video.

Bạn có thể lưu video vào bộ nhớ cục bộ của mình bằng cách nhấp vào ba dấu chấm dọc ở góc dưới cùng bên phải. Hoặc bạn có thể tìm thấy video của mình trong thư mục đầu ra trong thư mục img2img-hình ảnh.

Cài đặt cơ bản (có ví dụ)

Trước tiên chúng ta sẽ đi qua hai cài đặt quan trọng nhất

• Chuyển động (2D và 3D)
• lời nhắc

Điều quan trọng là phải có một số hiểu biết cơ bản về những gì Deforum có thể làm trước khi xem qua các ví dụ từng bước để tạo video.

Trong phần này, bạn sẽ thấy các ví dụ về việc thay đổi một tham số trong khi vẫn giữ nguyên các thông số khác. Đây là những khối xây dựng của video của bạn.

Bằng cách kết hợp chúng và bật tắt chúng vào những thời điểm khác nhau, bạn có thể tạo ra những hiệu ứng hình ảnh tuyệt đẹp.

Cài đặt chuyển động

Cài đặt chuyển động là một số tùy chọn được sử dụng nhiều nhất trong Deforum. Bạn có thể tạo một video hay bằng cách thay đổi chúng và lời nhắc. Vì vậy, bạn nên hiểu rõ cách cài đặt chuyển động hoạt động và những gì chúng có thể làm.

Hãy đề cập đến hai chế độ hoạt hình được sử dụng nhiều nhất

• 2D – coi hình ảnh là 2D và thực hiện nhiều phép biến đổi khác nhau như thu phóng và xoay để tạo ra ảo giác về chuyển động.
• 3D – xem hình ảnh như một khung cảnh 3D. Bạn có thể di chuyển khung nhìn của máy ảnh trong bất kỳ hoạt động 3D nào.

Cài đặt chuyển động 2D

Thu phóng 2D

Sử dụng chức năng thu phóng để phóng to hoặc thu nhỏ hình ảnh. Sử dụng giá trị thu phóng lớn hơn 1 để phóng to và nhỏ hơn 1 để thu nhỏ.

Giá trị càng xa giá trị 1 thì thu phóng càng nhanh.

Theo mặc định, thu phóng được tập trung ở trung tâm. Bạn có thể kiểm soát tiêu điểm bằng cách đặt Transform Center X và Transform Center Y. Chúng tôi sẽ giới thiệu chúng trong một vài lần cuộn xuống.

zoom 0:(0.99)
zoom 0:(0.1.01)

Góc 2D

Use 2D Angle to rotate the images. A positive value rotates the image counterclockwise, and a negative value rotates the image clockwise.

A larger value rotates the image faster.

By default, the rotation is around the center of the image. You can control the center of rotation by setting Transform Center X and Transform Center Y. We will cover them in a few scrolls down.

2D angle: 2
2D angle: -2

2D Translation X

Sử dụng Dịch X để di chuyển hình ảnh sang một bên. Sử dụng giá trị dương để di chuyển hình ảnh sang phải và giá trị âm để di chuyển hình ảnh sang trái.

2D translation X: 5
2D translation X: -5

2D Translation Y

Sử dụng Dịch Y để di chuyển camera lên và xuống. Sử dụng giá trị dương để di chuyển hình ảnh xuống và giá trị âm để di chuyển hình ảnh lên trên

2D translation Y: 5
2D translation Y: -5

2D Transform Center

Transform Center dùng để thay đổi tiêu điểm thu phóng và/hoặc xoay.

Giá trị mặc định là 0,5 cho cả X và Y, là trung tâm của hình ảnh. (X, Y) = (0, 0) là góc trên cùng bên trái và (1, 1) là góc dưới cùng bên phải. Xem sơ đồ sau để biết các vị trí phổ biến khác.

Bạn có thể chỉ định các giá trị nhỏ hơn 0 hoặc lớn hơn 1. Các giá trị này sẽ nằm ngoài hình ảnh.

Dưới đây là hai ví dụ về phóng to góc trên bên trái (0, 0) và góc dưới bên phải (1, 1).

Transform Center (0,0) with zoom
Transform Center (1,1) with zoom

Lật phối cảnh 2D

Lật phối cảnh thực hiện các phép biến đổi giống như 3D đối với hình ảnh để tạo ra một số hiệu ứng thú vị.

Bạn sẽ cần chọn Bật lật phối cảnh để bật các tùy chọn này.

Cài đặt chuyển động 3D

Chuyển động 3D là một thay thế cho chuyển động 2D. Hãy nghĩ về nó như bạn đang cầm một chiếc máy ảnh. Bạn có thể di chuyển và xoay camera theo bất kỳ cách nào bạn muốn.

3D Chuyển Cảnh X

Dịch X di chuyển máy ảnh sang một bên. Giá trị dương sẽ di chuyển máy ảnh sang bên phải. Giá trị âm sẽ di chuyển máy ảnh sang trái.

Chuyển cảnh 3D Y

Dịch Y di chuyển camera lên xuống. Sử dụng giá trị dương sẽ di chuyển máy ảnh lên. Giá trị âm sẽ di chuyển máy ảnh xuống dưới.

3D Chuyển cảnh Z

Dịch Z trong 3D tương tự như phóng to các chuyển động 2D.

Xoay 3D X

Xoay X xoay máy ảnh quanh trục X.

Xoay 3D Y

Xoay Y xoay máy ảnh quanh trục Y.

Xoay 3D Z

Xoay Z xoay máy ảnh quanh trục Z.

Lịch trình chuyển động

Cài đặt chuyển động được đặt ở dạng
frame1:(value1), frame2:(value2), frame3:(value3), …
Mỗi mục bao gồm hai số: Số khung có hiệu lực và giá trị của chuyển động. Khung và giá trị của mỗi mục phải được phân tách bằng dấu hai chấm và giá trị phải được đặt trong ngoặc đơn.

Bạn luôn cần một mục nhập cho khung 0.

Bạn có thể có nhiều mục như bạn muốn.

Điều quan trọng cần lưu ý là khi bạn có hai mục nhập trở lên, điều đó có nghĩa là nội suy giữa hai khung.

Ví dụ: công thức sau đây được sử dụng trong thu phóng có nghĩa là tăng dần giá trị thu phóng từ 1 lên 1,02 trong 100 khung hình đầu tiên và giảm giá trị thu phóng trở lại 1 trong 100 khung hình tiếp theo.
0:(1), 100:(1.02), 200:(1)

Nếu bạn muốn một giá trị thu phóng mới có hiệu lực bắt đầu từ khung hình thứ 100, bạn có thể viết một cái gì đó như:
0:(1), 99:(1), 100:(1.02), 150:(1.02), 151:(1), 200:(1)

Công thức này sẽ chỉ áp dụng hiệu ứng thu phóng giữa các khung hình 100 và 150.

Mỗi cài đặt có lịch trình chuyển động riêng.

Thu phóng: 0:(1)

Góc: 0:(0)

Trung tâm biến đổi X: 0:(0,5)

Trung tâm biến đổi Y: 0:(1)

Dịch X: 0:(0)

Dịch Y: 0:(5), 60:(0)

Lời khuyên: không thể chỉ viết 180:(5). Viết 0:(0), 180:(5). Mục nhập đầu tiên phải dành cho khung thứ 0.

Một ví dụ từng bước

Bước 1: Tạo một hình ảnh ban đầu

Hình ảnh ban đầu là một trong số ít những thứ bạn có toàn quyền kiểm soát trong video deforum. Nó cũng được cho là quan trọng nhất vì nó thiết lập tông màu và màu sắc cho phần còn lại của hoạt ảnh.

Dành thời gian của bạn để tạo một hình ảnh bắt đầu tốt trong tab txt2img.

Trong ví dụ này, tôi đã sử dụng dấu nhắc sau.
portrait of henry cavill as james bond, casino, key art, sprinting, palm trees, highly detailed, digital painting, artstation, concept art, cinematic lighting, sharp focus, illustration, by gaston bussiere alphonse mucha
Và lời nhắc tiêu cực này.
deformed, disfigured

Đặt hạt giống thành ngẫu nhiên (-1).

Tôi đã sử dụng mô hình Protogen v2.2 để làm nổi bật phong cách minh họa chân thực.

Ghi lại giá trị seed (được đánh dấu trong ảnh chụp màn hình ở trên) sau khi bạn nhìn thấy hình ảnh mình thích.

Bước 2: Tạo phân đoạn đầu tiên của video

Nhập lời nhắc trong tab Lời nhắc. Tôi quyết định sử dụng lại lời nhắc thứ 2 trong các lời nhắc mặc định. Lời nhắc là
{ “0”: “portrait of henry cavill as james bond, casino, key art, sprinting, palm trees, highly detailed, digital painting, artstation, concept art, cinematic lighting, sharp focus, illustration, by gaston bussiere alphonse mucha –neg deformed, disfigured”, “50”: “anthropomorphic clean cat, surrounded by fractals, epic angle and pose, symmetrical, 3d, depth of field, ruan jia and fenghua zhong” }
Lời nhắc được chuyển sang mô tả một con mèo trong khung hình thứ 50.

Bây giờ hãy chuyển đến tab Chạy.

• Chọn mô hình Protogen.
• Đặt hạt giống thành 2020548858. Việc sửa hạt giống cho phép bạn bắt đầu với cùng một hình ảnh mỗi lần để bạn có thể tiếp tục xây dựng trên cùng một video.

Vì James Bond của tôi quay mặt sang trái trong ảnh ban đầu, nên thật tuyệt khi máy ảnh di chuyển sang phải. Chúng tôi sẽ sử dụng mô hình hoạt hình 3D.

Trong tab Khung hình chính,

• Chọn chế độ Hoạt hình 3D.
• Đặt khung hình Tối đa thành 100. Điều này là để tạo đủ khung hình để xem hai lời nhắc đầu tiên

Trong tab Chuyển động bên dưới, hãy đặt:

• Dịch X thành 0:(2). Điều này là để di chuyển máy ảnh sang phải.
• Dịch Z thành 0:(1,75). Điều này là để phóng to với tốc độ chậm hơn một chút.

Giữ phần còn lại 0:(0) vì không làm gì cả.

Nhấn Generate để bắt đầu tạo video.

Đây là video cho đến nay.

Máy ảnh đang di chuyển theo cách chúng tôi mong đợi. James Bond đã chuyển đổi thành một con mèo fractal một cách độc đáo.

Càng xa càng tốt.

Bước 3: Thêm lời nhắc tiếp theo

Bây giờ hãy suy nghĩ về lời nhắc tiếp theo trong tab txt2img.

Tôi quyết định sẽ rất tuyệt nếu chuyển sang một cảnh không gian. Đây là dấu nhắc deforum cuối cùng.
{ “0”: “portrait of henry cavill as james bond, casino, key art, sprinting, palm trees, highly detailed, digital painting, artstation, concept art, cinematic lighting, sharp focus, illustration, by gaston bussiere alphonse mucha –neg deformed, disfigured”, “50”: “anthropomorphic clean cat, surrounded by fractals, epic angle and pose, symmetrical, 3d, depth of field, ruan jia and fenghua zhong”, “90”: “giant floating space station, futuristic, star war style, highly detailed, beautiful machine aesthetic, in space, galaxies, dark deep space <lora:epiNoiseoffset_v2:1> –neg bad art, amateur” }
(Tôi đã sử dụng công cụ sửa đổi mô hình LoRA epi_noiseoffset trong dấu nhắc thứ ba. Xem hướng dẫn LoRA để biết chi tiết.)

Đặt các thông số sau

• Max frames to 250.
• Rotation 3D X to 0:(0), 70:(0), 71:(0.5). This adds a change of rotation at frame 71.

Phần còn lại của các cài đặt được giữ nguyên. Dưới đây là các cài đặt chuyển động cuối cùng.

Nhấn Tạo.

Chúng tôi nhận được video cuối cùng.

Thông thường, bạn sẽ dành nhiều thời gian để loay hoay với chuyển động và lời nhắc để đạt được hiệu quả chính xác mà bạn muốn.

Bạn có thể lặp lại bước này và thêm bao nhiêu lời nhắc tùy thích.

Lời khuyên

• Lời nhắc với chủ đề lớn hoạt động tốt hơn cảnh có nhiều đối tượng nhỏ.
• Các chi tiết nhỏ sẽ thường xuyên thay đổi. Đây chỉ là cách hoạt động của hình ảnh với hình ảnh. Vì vậy, lời nhắc có mẫu (như fractal) hoặc chủ đề giàu trí tưởng tượng có xu hướng hoạt động tốt hơn ở lời nhắc thứ hai và sau đó.
• Nếu bạn thấy các thành phần lạ trong quá trình chuyển đổi dấu nhắc, việc dịch chuyển khung của dấu nhắc theo một vài khung có thể loại bỏ thành phần lạ.
• Tạo một gif động bằng cách sử dụng tùy chọn Ouput Make GIF.
• Sử dụng tùy chọn Delete Imgs trong tùy chọn Ouput để tự động xóa các hình ảnh trung gian và chỉ giữ lại video.
• Thêm bản âm thanh bằng cách sử dụng tùy chọn đầu ra Thêm bản âm thanh.

Tài nguyên hữu ích

• FizzleDorf’s Animation Guide – Deforum –Hướng dẫn toàn diện về các thông số và cài đặt.
• Animation Video Examples Gallery – Video ví dụ về một số thông số.
• Official deforum site
• Quick Guide to deforum – Chủ yếu là về deforum Colab Notebook nhưng bạn cũng sẽ tìm thấy giải thích về các thông số.
• Deforum Discord –Một trang tốt để yêu cầu trợ giúp và xem những gì người khác đang làm.
• Create Amazing Videos With AI (Deforum Deep-Dive) – Người tạo ra Deforum