Trong các mô hình sinh ảnh sử dụng mô hình khuếch tán thì còn một số thành phần kèm theo bao gồm: Texual inversion, LoRA, IP-Adapter, ...
Em có thỉnh cầu BTC nêu rõ các loại thành phần nào được sử dụng và không được sử dụng.
Được sử dụng bạn nhé
Posted by: ViettelAIChallenge @ Nov. 5, 2024, 4:28 a.m.Ban tổ chức cho em hỏi là đối với các mô hình ControlNet thì mình dùng pretrained thoải mái đúng không ạ ?
Posted by: DuyAnh @ Nov. 6, 2024, 4:42 a.m.Bạn có thể sử dụng controlnet, nhưng lưu ý là nếu bạn sử dụng controlnet đi kèm với một pretrained diffusion model mà không phải là các mô hình mà btc cung cấp thì sẽ bị tính là không hợp lệ. Còn nếu bạn muốn sử dụng mô hình diffusion khác bạn phải train lại.
Posted by: ViettelAIChallenge @ Nov. 8, 2024, 5:45 a.m.Với control_v11p_sd15_canny.pth được train với pretrained của SD1.5, nó vẫn gắn được vào pretrained SD1.4 do SD1.4 và SD1.5 cùng architecture với nhau.
Việc em dùng control_v11p_sd15_canny.pth để gắn vào pretrained của SD1.4 có phải hợp lệ không ạ? (Ở đây không train lại control_v11p_sd15_canny.pth này)
Em hỏi câu trên vì trong câu trả lời trước đó "Bạn có thể sử dụng controlnet, nhưng lưu ý là nếu bạn sử dụng controlnet **đi kèm** với một pretrained diffusion model mà không phải là các mô hình mà btc cung cấp thì sẽ bị tính là không hợp lệ. Còn nếu bạn muốn sử dụng mô hình diffusion khác bạn phải train lại.", em nghĩ cụm từ **đi kèm** có thể hiểu theo 2 cách là: [train với pretrained SD 1.x] hoặc là [gắn được vào SD1.x]
Posted by: dnthnhv @ Nov. 12, 2024, 4:54 p.m.Được bạn nhé.
Posted by: ViettelAIChallenge @ Nov. 13, 2024, 5:05 a.m.Thưa BTC, gần đây có 1 dạng Adapter mới là BrushNet. Hiểu nôm na thì cái adapter này có kích thước chính bằng mô hình Unet gốc.
Vậy thì pretrained Brushnet này sau khi được huấn luyện với pretrained SD1.5 thì cũng học được nhiều thông tin từ chính SD1.5.
Vậy nếu solution của 1 đội là pretrained SD1.4 + pretrained BrushNet thì có hợp lệ không ạ