ComfyUI для работы с нейросетями: изображение, анимация, звук (Иван Якушев)

​

ComfyUI — это интерфейс для работы с генеративным ИИ, предоставляющий наглядный и глубокий контроль над генеративными моделями, параметрами и результатами, что делает работу с нейросетями творческой, увлекательной и свободной.

На курсе мы будем работать со свободно распространяемыми моделями. В отличие от коммерческих веб-сервисов с ними можно работать без ограничений, подписок и модерации. Разобравшись с основами, вы сможете работать в ComfyUI с новыми ИИ моделями любого типа в дальнейшем.

Курс может быть интересен как тем, кто уже использует в работе ИИ-инструменты и хочет сделать следующий шаг, так и тем, кто только приступает к изучению возможностей ИИ и ищет фундаментальный и структурированный подход.

Спойлер: Программа

Программа курса

1. Знакомство с ComfyUI и друг с другом
   • Локальные модели ИИ, в чём отличие от сервисов, и как с ними работать. Интерфейс ComfyUI: воркфлоу, ноды, соединения.
2. Запуск нейросетей в облаке
   • Откуда берутся технические требования: GPU, NVidia CUDA, видеопамять. Настройка аккаунта и первый запуск. Docker контейнеры. Репозиторий ИИ моделей Hugging Face.
3. Как работает генеративный ИИ
   • Ключевые концепции диффузионных моделей, DiT/UNET, CLIP/Text Encoder, VAE, Latent space, Noise, Steps, CFG, Conditioning, Distilled.
4. Приступаем к генерации изображений
   • Текстовые промпты и основные параметры. Создание изображений с использованием базовых и дистилированных моделей.
5. Edit-модели и denoise
   • Модели для обработки и совмещения референсов. Denoise на примере image 2 image.
6. Работа с размером изображений. Генерация текста.
   • «Слепое» увеличение с помощью upscale моделей и «creative upscale» с помощью диффузии. Автоматическое описание изображений.
7. Исправление частей изображения
   • Inpainting модели, маски, сегментация, автоматическое выделение объектов и удаление фона.
8. LoRA: Адаптация базовых моделей
   • Установка и активация готовых LoRA в ComfyUI. Персонаж, визуальный стиль, концепт. Репозиторий civit.ai. Подготовка датасета к обучению.
9. LoRA: Тренировка модели на своих данных
   • Запуск в облаке обучения модели на ваших данных. Тест результата.
10. Управление объёмом, контурами и позами
    • ControlNet. Генерация и применение карт глубины.
11. Извлечение визуальных признаков из изображений для переработки.
    • IP-Adapter для SDXL, Redux для Flux 1. Изменение ракурса, сохранение персонажа, совмещение изображений.
12. Генерация аудио.
    • Звук, песни. Синтез и распознание речи, звуковые генерации.
13. Видео на основе текста и изображений
    • Локальные модели для генерации видео и их использование в ComfyUI. «Слепая» интерполяция.
14. LoRA для видео
    • Установка и активация готовых LoRA в ComfyUI. Генерация видео с речью.
15. ControlNet в видео
    • Video 2 Video.
16. Редактирование видео с помощью масок и продолжений
    • Inpainting в видео во времени и в пространстве, зацикленные анимации.
17. Дополнительный материал + ComfyUI на своём компьютере
    • Установка и оптимизация для компьютеров с видеокартами NVidia. Материал не вошедший в остальные занятия.
18. Неделя самостоятельной работы и презентация итогового проекта
    • Просмотр и обсуждение финальных проектов, заключительная общая консультация.

Результаты обучения

• Вы научитесь работать с моделями ИИ в ComfyUI и запускать их как в облаке, так и на локальном компьютере. У вас останется аккаунт для работы в облаке и набор разобранных на занятиях файлов выполняющих самые разные генеративные задачи.
• Вы освоите возможности моделей для генерации и редактирования изображений Flux, Z-Image, SDXL и других. Вы ознакомитесь с принципами видеогенерации, научитесь использовать модели LTXV 2.3 и WAN 2.2 для коротких анимаций и ознакомитесь с применением моделей для сложного контроля движения, продлений и совмещений видео.
• Вы узнаете основные принципы работы визуальных ИИ моделей. Вы научитесь дообучать модели и натренируете Flux Klein на собственных данных.