Оживление живописи. Как превратить холст в анимацию
Разбор картины на слои и ручная доработка фона позволяют избежать «каши» при генерации видео. Так автор проекта превратил историческую сцену XIX века в живую анимацию.
Простая попытка прогнать старинную картину через видеомодель часто приводит к потере контроля. Нейросеть может изменить лица, одежду или архитектуру. Чтобы сохранить оригинальную композицию и стиль, автор проекта использовал поэлементный подход. Вместо одной общей генерации он разобрал полотно на независимые фрагменты, которые затем анимировались по отдельности.
Процесс начался в Photoshop, где персонажей и объекты отделяли на слои. Важное правило. Каждый фрагмент сохранялся в исходной системе координат без обрезки до границ объекта.
Это позволило позже легко совместить слои в After Effects без ручной подгонки масштаба. Чтобы на месте удалённых фигур не оставалось «дыр», использовался Inpainting, дорисовывание скрытых деталей фона, которые раньше перекрывались персонажами.
Для убедительной анимации мелких фигур требовалось повышение детализации. Вырезанных персонажей прогоняли через генерацию, чтобы лица не выглядели «мыльными» при движении. При этом важно было сохранить пропорции и характер мазков, чтобы новые детали вписались в живописную фактуру. Для упрощения финального монтажа за объектами создавался искусственный однотонный фон, который затем удалялся пипеткой.
Вместо одной большой генерации получается набор независимых элементов, каждым из которых можно управлять по отдельности. Для сложных сцен такой метод, единственный способ сохранить историческую точность и избежать визуального хаоса.
Метод требует трудоёмкого разделения слоёв и восстановления фона. Это значит, что качественная анимация классической живописи всё ещё требует участия человека и глубокой ручной подготовки.
Текст подготовила языковая модель по материалам источников.