Друзья — поддержите этот пост, так как на его написание ушло 18 часов — 95% этого времени ушло на тестирование промтов и подбор параметров.
Сегодня необычный пост — мы будем делать фотографию из мультипликационных изображений. Зачем это нужно ? Многие из вас видели посты — как выглядели бы персонажи какого либо мультфильма или игры в реальном мире ? Для примера возьмём мультипликационный фильм «Тайна третьей планеты», отличный мультфильм, но как могли бы выглядеть персонажи и сцены этого мультфильма в реальности ? Сделать можно не только в фотореалистичном стиле, но в любом другом, хоть в аниме.
Интересно ? Несомненно!
DeFooocus
И опять нам на помощь приходит DeFooocus — да, с этим справится и Forge и A1111, но в DeFooocus это можно сделать в разы быстрее и качественнее. Скачать DeFooocus вы можете по этой ссылке.
Процесс генерации:
После запуска DeFooocus спускаемся чуть ниже и ставим галочки «Input Image» и «Advanced», после этого у нас появятся дополнительные панели.
Теперь идём во вкладку «Advanced» в правой части DeFooocus и там во вкладке «Control» поставим галочку на «Mixing Image Prompt and Inpaint» — это позволит нам смешивать изображение в Image Prompt с написанным нами промтом.
Теперь в «Image Prompt» идём в самый низ и ставим галочку «Advanced, и нам станут доступны модели ContronNet и ползунки выставляющие веса и силу.
Stop At это параметр ControlNet который отвечает за то, что когда нейросеть перестанет смотреть на изображение которое мы в него загрузили, регулируется от 0 до 1, единица составляет 100%, мы чуть убавим этот параметр, чтобы дать ControlNet немного свободу для творчества. Параметр Weight это сила влияния изображения, чем больше — тем больше сохраняется стиль, регулируется от 0 до 2. Вы можете поиграться с этими параметрами и посмотреть на результаты.
Пишем промт
Далее нам нужно написать подсказку, чтобы нейросеть поняла что на изображении, можно конечно обойтись без неё, но в большинстве случаев результат вас не устроит.
Я написал следующую подсказку для Stable Diffusion, чтобы он знал что изображено на картине и в каких цветах.
Девушка со светлыми волосами, слегка волнистыми и коротко подстриженными. Лицо с мягкой улыбкой, большими голубыми глазами. Веснушки на носу и щеках. Одета в красную куртку с синей полоской на шее. По краям куртки видна белая подкладка. Фон заполнен разнообразной зеленой листвой, высокими тонкими деревьями и несколькими розовыми и оранжевыми цветами. Небо представляет собой градиент желтого и зеленого, добавляющий изображению теплую и причудливую атмосферу.
A girl with blond hair, which are slightly wavy and trimmed in a short style. A face with a soft smile, wide blue eyes. Freckles on the nose and cheeks. Dressed in a red jacket with a blue strip on the neck. The jacket has a white lining visible around the edges. The background is filled with various green foliage, tall, thin trees and several pink and orange colors. The sky is a gradient of yellow and green, adding a warm and bizarre atmosphere to the image
Можно обойтись и без промта — если это понятное и простое изображение. PyraCanny сделает основные контуры изображения, по которым нейросеть поймёт что изображено на рисунке, но по контурам она может не понять возраст персонажа, цвета и т.д. и сделает это по своему усмотрению. Вот что получается без промта.
Результаты работы
В итоге с подсказками, мы получаем вот такие шикарные результаты. Я перепробовал все пресеты, и такого чтобы результат был отвратительный нет, за это большое спасибо создателю DeFooocus, подбор моделей и стилей там сделан грамотно, однако самые лучшие результаты мне понравились с пресетами «initial» (это пресет по умолчанию) и dreamshaperXL_v21TurboDPMSDE.
Да, с другими пресетами тоже результат хороший, но на некоторых он меня не устраивал, на каких то он получался чрезвычайно фотореалистичный (к примеру «Громозека» в фотореализме больше был похож на монстра, а хотелось чтобы он был не страшным), на некоторых более мультяшный, а с этими двумя он оставался стабильно одинаковый для всех изображений.
Или к примеру профессор Селезнёв за одним столом с Громозекой — чтобы Громозека был максимально схож с референсом, я пробовал выставить Stop At=1, но в таком случае профессора Селезнёва, нейросеть представляла как инопланетное существо из за его слишком вытянутого лица, несмотря на то что в промте я указал что это человек. В некоторых случаях профессора Селезнева, нейросеть изображает как женщину из за его худобы. Из за этого Stop At пришлось выставить 0.95
Как в реальности могли бы выглядеть сцены и персонажи мультфильма «Тайна тратьей планеты»
Заключение
Мы рассмотрели процесс создания фотографий на основе мультфильмов, используя возможности программы DeFooocus. Этот инструмент позволяет не только воссоздавать сцены из анимационных фильмов, но и адаптировать их в различных стилях.
В результате, вы получаете возможность экспериментировать с визуальным контентом, создавая уникальные изображения, которые могут служить вдохновением для дальнейших творческих проектов. Таким образом, DeFooocus открывает новые горизонты для художников и дизайнеров, позволяя им легко и быстро реализовывать свои идеи.