Совсем недавно я писал в Дидакторе, как создать мультфильм из серии коротких видео на 5-8 секунд. Но уже тогда возникла проблема, о которой необходимо было серьёзно задуматься. При генерации анимационного контента нейросетями возникает специфическая проблема единообразия: даже при идентичных промптах (запросах) модель может выдавать визуально различающиеся варианты одного персонажа в разных кадрах. Это связано с вероятностной природой генеративных моделей. Давайте разберёмся, как решить эту проблему. В более поздней статье Дидакторе я показал, как можно решить все вопросы по созданию мультфильма на платформе FlexClip. Однако тогда я подробно не останавливался на создании единого образа главных персонажей. Поэтому разберёмся сейчас.
Дело в том, что каждый запрос обрабатывается как новая задача, без памяти о предыдущих результатах. Та или иная модель нейросети не видит предыдущие генерации при новом запросе. Причём даже даже детальный, хорошо прописанный промпт допускает множественные трактовки.
Выход есть.
Друзья! Рад сообщить, что Академия цифрового учителя на канале YouTube продолжает свою работу. Подписчики канал на Дзене! Не волнуйтесь. И здесь мой канал продолжает работу.
Постоянные и вполне объяснимые обновления нейросетей также могут менять стилистику вывода.
Итак, чтобы сохранить единый внешний вид персонажей анимационного фильма, созданных с помощью нейросетей, можно применить комплекс технических и методических приёмов. Давайте коснёмся основных.
Использование эталонных изображений
Сгенерируйте эталонное изображение персонажа в высоком качестве. Создайте свой персонаж без лишних деталей, без фона, которых тоже может впоследствии повлиять на результат.
Пример
Промпт: Мультяшный весёлый волчонок, одетый в джинсы, клетчатую рубашку и бейсболку в полный рост на белом фоне без лишних деталей.
Результат
Сохраните его и используйте как визуальный ориентир при всех последующих генерациях.
Некоторые нейросети запоминают свои прежние проекты. В таком случае полезно в новых промптах указывать: «используй изображение [ссылка/описание]», или «сохрани черты лица как на эталонном изображении».
Детальное описание персонажа
Создайте и сохраните полный текстовый паспорт героя, включающий:
- анатомические черты (форма лица, носа, глаз, ушей, рост);
- цвет и стиль волос, причёску;
- особенности мимики и выражения лица;
- детали одежды, аксессуаров;
- характерные позы и жесты. В каждом промте цитируйте этот паспорт или ссылайтесь на него.
Использование функций «последовательного персонажа»
Некоторые платформы предлагают встроенные решения:
В ряде генераторов) сохраняются ключевые черты при смене поз/локаций; генерируются новые изображения, опираясь на загруженное эталонное изображение;
К примеру, Runway — сохраняет облик персонажа в видео под разными углами и при разном освещении.
FlexClip имеет такой инструмент, как Reference image (эталонное изображение). Вы загружаете эталонное изображение и размещаете его в другую пространственную среду или поворачиваете его, придаёте эмоции и т.д.
Детальная доработка
Если персонаж «плывёт» всё-таки плывёт, то сравните новое изображение с эталоном, выделите расхождения (например, изменилась форма уха, детали одежды и пр.), то добавьте в промт уточнение: «сохрани форму уха как на эталонном изображени», «верни изначальный цвет волос».
Создание «библиотеки ракурсов»
Создайте целую галерею своего персонажа. Сгенерируйте и сохраните фронтальный портрет, профиль слева/справа, полуобороты (3/4), характерные эмоции (радость, гнев, удивление). Используйте эти изображения как промежуточные эталонные изображения.
ФАС 
ПОЛУПРОФИЛЬ
Стандартизация стиля и параметров
Зафиксируйте в промптах художественный стиль (например, «в стиле 3D-анимации), цветовую палитру («пастельные тона»), уровень детализации («реализм» или «мультяшный стиль»), соотношение сторон.
Пост‑обработка и ретушь
Если нейросеть внесла нежелательные изменения, то используйте инструменты коррекции цвета, контраста изображения, маски для сохранения ключевых элементов.
Ведение документации
Соберите в одну папку или один файл с эталонными изображениями, текстовым описанием персонажа, рабочими промптами, списком использованных параметров. Чтобы во время работы над мультфильмом вы не забыли некоторые данные.
Тестирование персонажа
Перед массовой генерацией вашего видео проверьте, как персонаж выглядит в разных позах и локациях, убедитесь, что его ключевые черты сохраняются. При необходимости скорректируйте промпты.
Посмотрите небольшой мультфильм Пластилиновое сердце, созданный на платформе FlexClip .
Важные нюансы
Сохраняйте все эталонные изображения в высоком разрешении. Это безусловно отразится на вашем видео. Избегайте слишком общих промптов — чем детальнее описание, тем выше единообразие персонажей.
Тестируйте параметры на отдельных кадрах перед масштабной работой. Используйте одинаковые модели для всех генераций (смена модели часто ломает единообразие).
Таким образом, ключ к сохранению внешнего вида персонажей — комбинация эталонных изображений, детальных промтов и специализированных инструментов нейросетей.