Flux Kontext
Друзья, это эмоциональный пост, но я подумал — кому нужны мои эмоции и перенес их в самый конец статьи.
И так Flux Context — новая модель которая отправила весь инструмент Img to Img курить в сторонку, вместе с Inpaint и ControlNet в придачу. То что раньше нужно было делать руками, то есть мышкой, думать как это лучше сделать, то теперь об этом достаточно просто сказать.
Workflow
Результаты
Смена цвета
Смена окружения и сцены
Смена стиля
Я уже делал стилизацию из мультфильмов в фотореализм в Foocus, можете сравнить результаты. Flux Context здесь конечно же выигрывает, он очень хорошо следует референсному изображению, без каких либо дополнительных настроек и с первого раза. Здесь я не выбирал лучший результат, здесь всё сгенерировалось с первого раза.
Смена сцены на обычной фотографи
Правила написания промтов
- Формулируйте запрос чётко и конкретно. Используйте точные описания объектов, действий и стиля.
Пример: Изменить цвет машины на синий, сохранить отражения и тени. - Указывайте стиль и его особенности. Прямо называйте стиль.
Пример: Преобразовать в стиль поп-арт. - Описывайте детали
Пример: Добавить текстуру масляной живописи, видимые мазки. - Сохраняйте важные элементы. Явно указывайте, что должно остаться без изменений
Пример: Сохранить позу и выражение лица.
Для персонажей: Женщина с короткими чёрными волосами, сохранить черты лица и прическу. - Разбивайте сложные задачи на шаги. Сначала меняйте фон, затем детали.
Пример: Сначала изменить фон на городской пейзаж, затем добавить аксессуары. - Редактируйте текст с сохранением формата. Используйте кавычки.
Пример: Заменить «HAPPY» на «HELLO», сохранить стиль шрифта.
Помните
Главное — чётко указывать, что нужно изменить, а что сохранить, и использовать точные описания. Flux Kontext отлично справляется с сохранением деталей и последовательным редактированием. Всегда указывайте, что должно остаться без изменений, и используйте точные формулировки для желаемого результата. Чем подробнее и конкретнее промпт, тем выше качество итогового изображения.Примеры промтов
Восстановление и реставрация фото
- Восстановить и раскрасить изображение, удалив царапины и дефекты, добавив естественные цвета.
- Восстановить фотографию до идеального состояния, удалив все дефекты.
- Состарить фото: сделать очень старую чёрно-белую фотографию с трещинами, глубокими царапинами, пылью, рваными краями, выцветшим сепийным тоном, сатиновой текстурой и лёгкой виньеткой.
Извлечение и замена объектов
Извлечение предметов
- Вырезать джинсовую куртку с фотографии и поместить на белый фон в стиле предметной фотосъёмки.
- Вырезать ворота с фотографии и создать их фронтальный чертёж для AutoCAD, сохранив пропорции и детали.
- Поменять букет оранжевых цветов на букет роз, сохранить форму букета.
- Поместить банку колы куда угодно, на фоне зимних гор с заснеженными вершинами.
- Поместить стильные беспроводные наушники на голову мужской модели в студийном освещении, сохранив дизайн и цвет наушников.
Добавление и изменение элементов
Добавление элементов
- Добавить винтажные элементы на интерьер комнаты, сохранить расстановку мебели.
- Добавить на мужчину старинные очки и шляпу, сохранить выражение лица и прическу.
- Добавить очки на лицо мужчины, сохранить выражение и прическу.
- Добавить светящиеся неоновые элементы на одежду персонажа, сохранить позу и лицо.
Добавление эмоций
- Добавить улыбку на лицо ребёнка, сохранить глаза и цвет кожи.
Добавление цвета и эффектов
- Добавить цвет в иллюстрации из чёрно-белой раскраски, сохранив линии и детали.
- Добавить эффект старой фотографии с желтоватым оттенком и потертостями, сохранить детали лица.
- Раскрасить фотографию естественными и сбалансированными цветами, сохраняя детали.
Замена и изменение текстов
- Заменить «Hello» на «Hi», сохранить шрифт и цвет текста.
- Заменить надпись на футболке с «Hello» на «Flux Kontext», сохранить стиль и цвет шрифта.
- Заменить текст на плакате с «SALE» на «LIMITED EDITION», сохранить шрифт и расположение.
- Поменять надпись «Welcome» на «Hello», сохранить стиль и размер шрифта.
- Удалить текст «Sale» с плаката, оставить фон без изменений.
Замена объектов и фона
Замена объектов
- Заменить серый тканевый диван на тёмно-коричневый кожаный, поменять светлый деревянный пол на полированный бетон, создать уютную вечернюю атмосферу, сохранив планировку комнаты и мебель.
- Поменять городской пейзаж на лесной, оставить персонажа на прежнем месте.
Замена фона
- Заменить фон на абстрактный с геометрическими фигурами, сохранить персонажа без изменений.
- Заменить фон на закат над морем, сохранить персонажа в исходном масштабе и положении.
- Заменить фон на ночное небо с звездами, сохранить освещение и тени.
- Изменить фон на космическую станцию, сохранить персонажа в той же позе и освещении.
- Изменить фон на пляж, сохранить человека в той же позе и масштабе.
Изменение внешнего вида
Одежда, поза, причёска
- Изменить одежду персонажа на рыцарские доспехи, сохранить позу и лицо.
- Изменить позу персонажа — наклонить голову к камере, сохранить выражение лица.
- Изменить прическу женщины на длинные волнистые волосы, сохранить цвет глаз и макияж.
- Изменить причёску на пикси, сохранив цвет волос и лицо.
Цвет и эмоции
- Изменить цвет автомобиля на металлический синий, сохранить отражения и детали кузова.
- Изменить цвет машины на красный, сохранить отражения и тени.
- Изменить эмоцию на лице ребёнка с серьёзной на радостную, сохранить остальные черты.
Художественные стили и эффекты
- Перевести картину в карандашный эскиз с кроссхэтчингом и текстурой бумаги.
- Превратить машину в ретро-автомобиль 50-х, сохранить форму и размер.
- Превратить пейзаж в зимний лес с пушистым снегом, оставить композицию без изменений.
- Преобразовать изображение в стиль импрессионизма с видимыми мазками и текстурой холста.
- Преобразовать городскую улицу в ретро-футуристический стиль с яркими огнями и голограммами.
- Преобразовать портрет в стиль Стэнли Кубрика с кинематографическим освещением и цветокоррекцией.
- Преобразовать текстуру одежды в бархат с видимой мягкой фактурой, сохранить цвет и форму.
- Преобразовать фото в аниме-стиль, сохраняя основные черты и позу персонажа.
- Преобразовать цветы в светящиеся биолюминесцентные растения, сохранить композицию.
- Преобразовать это фото в аниме-стиль, сохраняя узнаваемость персонажа.
- Применить стиль комикса с чёткими контурами и яркими цветами, сохранить композицию.
- Сделать изображение в стиле акварели с мягкими переходами и текстурой бумаги.
- Сделать изображение в стиле комикса с чёткими линиями и контрастными цветами, сохранить композицию.
- Сделать изображение в стиле ретро 80-х с неоновыми цветами и зернистостью.
- Сделать персонажей деревянными куклами, сохранить одежду и цвет кожи.
- Сделать портрет в стиле импрессионизма с яркими мазками и насыщенными цветами.
- Стилизовать это фото в лёгком кинематографическом стиле. Сохранить узнаваемость персонажа.
Крупный план и детализация
- Крупный план птицы с ультра-резкими деталями в стиле профессиональной фотосъёмки дикой природы. Сохранить фон, позу, пропорции и другие особенности без изменений.
Удаление элементов
- Удалить только видимые водяные знаки (текст, логотипы, повторяющиеся узоры) с изображения, сохранив все важные текстовые элементы сцены (вывески, надписи и т.п.).
Совет
ComfyUI позволяет держать модели в папке отличной от той где располагается сам ComfyUI, это очень удобно если вы пользуетесь несколькими программами, чтобы не дублировать модели, для каждой программы, вы держать все модели в одном месте.
Для этого найдите файл extra_model_paths.yaml.example (он находится в подпапке ComfyUI), переименуйте его на extra_model_paths.yaml, раскомментируйте ветку comfyui: и добавьте свои пути.
У меня файлы располагаются на диске E:\AI\Files и файл выглядит вот так.
comfyui:
base_path: E:/
# You can use is_default to mark that these folders should be listed first, and used as the default dirs for eg downloads
#is_default: true
checkpoints: AI/Files/Models/
clip: AI/Files/clip/
clip_vision: AI/Files/clip_vision/
configs: AI/Files/configs/
controlnet: AI/Files/ControlNet/
diffusion_models: |
AI/Files/diffusion_models
AI/Files/unet
embeddings: AI/Files/Embedding/
loras: AI/Files/Loras/
upscale_models: AI/Files/upscale_models/
vae: AI/Files/VAE/
Мои эмоции
Я думал что я уже видел всё и меня сложно чем то удивить. Сначала я удивлялся вообще возможностью генерации, я считал это каким то недостижимым уровнем и это было на моделях SD 1.5 и честно говоря даже побаивался что как то эту лавочку прикроют 🙂 наивный …
Потом к ним стали прикручиваться ControlNet, Lora, которые помогали управлять генерацией в нужное вам русло, потом вышли модели SDXL которые тоже удивили и SD 1.5 ушла на второй план, как что то устаревшее. SDXL была верхом совершенства, вместе с этим как грибы после дождя стали появляться различные инструменты для генерации — такие как Forge, Foocus, ComfyUI и т.д. Появилась просто фантастическая модель Flux и я думал, ну куда же дальше ?
И вот теперь Flux Context, которая просто отправила весь инструмент Img to Img курить в сторонку, вместе с Inpaint и ControlNet в придачу. То что раньше нужно было делать руками, то есть мышкой, думать как это лучше сделать, то теперь об этом достаточно просто сказать.