Обзор Reference, Style, Composition, Face в Krita

Привет! Я всегда ищу новые способы сделать генерацию изображений более точной и интересной. И знаете что? Я нашел кое-что действительно классное — инструменты в Krita AI Diffusion, которые используют референсные изображения!

Представьте, что у вас есть любимая фотография, которая вдохновляет, но вы хотите увидеть ее в совершенно новом свете. С этими инструментами это реально! Мы берем за основу контрольное изображение, и используем его для создания чего-то совершенно нового. Нейросеть берет оттуда объекты, цвета, стиль… все, что цепляет ваш взгляд. В общем, это отличный способ управлять генерацией и получать именно то, что вы хотите. Давайте вместе посмотрим, как это работает!

Загружаем изображение в Krita

Давайте откроем Krita и добавим туда изображение на новый слой. Для этого мы мышкой перетаскиваем изображение в Krita и выбираем «Вставить как новый слой».

Reference

Как видим Reference сохраняет объекты и стиль исходного изображения, даже цветочное поле с казалось бы несовместимой подсказкой как «Красивый городской пейзаж», сгенерировало цветочное поле, органично вписав туда городской пейзаж.

Инструменты использующие референсные изображения

Кроме Reference в Krita AI доступны и другие режиму. Эти режимы используют контрольное изображение аналогично тому, как текст используется для управления генерацией. Объекты, цвета, стиль и т. д. берутся из контрольного изображения и преобразуются во что-то новое. Контрольные изображения могут иметь другой размер и формат, отличные от холста, но рекомендуется использовать квадратные изображения. Детали изображений с высоким разрешением, скорее всего, будут потеряны.

Совет: Прозрачность части слоя допустима. Эти области будут игнорироваться.

Reference — Объекты, композиция, цвета и стиль берутся из контрольного изображения. Они влияют на сгенерированное изображение так же, как и текстовые подсказки, предоставляя модели некоторую свободу отклоняться от ввода
Style / Composition — Похоже на функцию «Reference», но фокусируется на извлечении только стиля (или композиции) из контрольного изображения. Различие не всегда очевидно. Лучше всего работает с SDXL.
Face — Воспроизводит черты лица с контрольного изображения. Входные данные должны быть обрезанным изображением лица. Лучше не обрезать слишком близко, небольшой отступ допустим.

Остальные инструменты мы рассмотрим ниже

Style

Composition

Face

Инструменты использующие стуктурные изображения

Контрольное изображение имеет попиксельное соответствие с генерируемым изображением. Оно должно быть того же размера, что и холст. Элементы контрольного изображения появятся в сгенерированном изображении в том же самом положении (или, по крайней мере, близко к нему).

Scribble / Line Art / Soft Edge — Режимы «Эскиз», «Линейный рисунок» и «Мягкий контур» используют эскизы и линии в качестве входных данных. Они могут быть сгенерированы или нарисованы от руки.
Canny Edge — Входные данные для режима Canny Edge обычно генерируются из существующих изображений с использованием фильтра обнаружения границ Canny.
Depth / Normal — Карты глубины и нормалей могут быть отрисованы из 3D-сцен в таких программах, как Blender.
Pose — Режим «Поза» использует схематичные изображения людей OpenPose. Их можно редактировать с помощью векторных инструментов Krita.
Segment — генерация изображения происходит сегментами, вы обозначаете сегмент и пишете текстовую подсказку для данного сегмента.
Unblur (убрать размытие) — В качестве управляющего изображения используется размытая версия изображения. При высокой интенсивности результат будет очень похож на исходное изображение, но менее размытым (если позволяет разрешение). В сочетании с расширенными настройками это также можно использовать для создания точных копий изображения, допуская при этом определенные ограниченные изменения.
Stencil (трафарет) — В качестве входных данных используется черно-белое изображение. Оно действует как узор, который отпечатывается на сгенерированном изображении. Изначально это использовалось для творческого представления QR-кодов.