Как я использовал нейросети для генерации изображений девушек
Всем привет!
В данном небольшом посте представлены ссылки на 2 мои недавних статьи, посвященных использованию нейросетей для генерации изображений на основе текстовых описаний естественным языком (английским).
Я убедился в том, что современные нейросети пока не умеют делать то, что им описываешь. Результат выдается случайный. Причем нейросеть не в состоянии повторить даже тот же самый стиль чтобы нарисовать несколько практически идентичных картинок, но с небольшой варриативностью. Нет, она вероятно могла бы, но мы пока не можем управлять этим процессом.
Всем процессом рулит упрямый рандом.
Привожу ссылки на 2 статьи (под спойлером)
А всем, кто уже применял подобные нейросети для каких-то своих нужд, предлагаю высказаться и подискутировать. На тему: а так ли они полезны в текущем виде исполнения?
Лично мне кажется, что современные нейросети 2023 для генерации картинок пока больше игрушки, нежели серьезный инструмент.
Их применение ограничено следующим: если вам нужно сделать, что угодно и вы сами не знаете, что хотите, то вам по адресу.
Если же вас интересует строго заданный объект, тщательно описанный и вы точно знаете чего хотите, лучше сделайте это сами, без всяких нейросетей ;)
- 23 мая 2023, 17:53
Забыл добавить: то что делал лично я, мне понравилось, но не более чем эксперимент. Для серьезных дел это явно не годится. Хоть и получается иногда очень эффектно. Но не то что нужно, увы.
Почему этот пост в "новостях"? оО
Нейросети уже ни разу не игрушка, а вполне себе серьезный инструмент, который в умелых руках может помогать достигать классного результата сильно экономя время художника. Конечно не одними нейросетями нужно пользоваться, лучше всего они показывают себя в купе с другим софтом. Ну и не стоит забывать, что направление развивается крайне быстро и через пару лет нейронки станут в разы лучше.
Ты же обещал не появляться если тебя не звать?
Да чего за примерами ходить, можно некоторые игры с прошедшего Гаминатора посмотреть, угу.
Помню читал статью, где чуваки из одной инди студии расписывали свой пайплайн куда прям включили генерацию концептов в нейросетях.
или вот недавно статья вышла как мульт делали, очень много упоминаний нейросетей https://www.kinopoisk.ru/media/article/4007773/
Сам еще для заказа одного, где нужно было по артам 3дшки делать генерил сперва 3д модели нейронкой по этим артам, а потом уже доделывал ручками, сэкономил кучу времени)
Опять же твой личный опыт и твое личное умение оценивать результаты. И только. Ты же трешовую игру делал с тем, что тебе нагенерила нейросеть. Потому что позор принимать такое всерьез. Ну и клиенты если не знали кто делал, конечно схавали, а ты ж сэкономил. Только не надо говорить, что это серьезная вещь. Это просто низкая планка оценки качества. Вот и все. Концепт и готовая работа это разные вещи. Для генерации идей нейросеть может и сойдет. Но для серьезных дел типа тщательной проработки - нужна и серьезная настройка которой тебе не дадут пользоваться. По крайней мере в сетях 2023 года точно. Проверено.
А вот если будет возможность создать свою нейросеть, где ты можешь влиять на все что угодно. Тогда конечно полная воля фантазии и её реализации.
Я не пытался принизить достижения нейросетей 2023 и надо читать статьи прежде чем делать суждения на пустом месте. Я высказался только по факту того, чем мне дали попользоваться и что получил в итоге.
Результаты неудовлетворительные. Вот и все выводы.
А то что в перспективе, то что кто-то там что-то там. Так про это можно наговорить что угодно. Нужны конкретные примеры из личного опыта где ты сам что-то делал. То есть написал детально что тебе нужно и прям нейросеть 1 в 1 тебе это сделала и 100% не рандомно, а именно то, что у тебя было в голове. Вот тогда будет совсем другое дело.
Разница есть или нет ?
Не надо сыпать терминами и пытаться казаться умнее чем ты есть. Достаточно конкретных фактов из твоего личного, а не придуманного или взятого откуда-то чужого непроверенного опыта. Ты же не знаешь всех деталей, а делаешь выводы.
Как ты метко про себя подмечаешь)
Если я в чем-то ошибся, можешь поправить.
Просто налицо двойной стандарт: если я лично взял чужую картинку и обвел - это плохо. Меня тут все порицают.
Если же вы взяли картинки которые нагенерила нейронка украв при этом куски чужих работ. Значит это уже не нарушение авторских прав и можно вставлять это все в свои игры.
Какая-то гнилая у вас мораль.
Т.е. ты приравниваешь себя с алгоритмами ИИ? Значит, нам стоит идентифицировать тебя как Бота. Ну, ничего нового.
Ну, тут как обычно: слова и дело – это разное для него. Говорить можно всё что угодно, а вот сделать.… То же, как обычно, чему тут удивляться.
Дело тут не в морали, а в авторском праве и законодательстве. Мы как минимум говорим что и с помощью чего генерили, а во вторых не нарушаем авторское право. Например, я использовал playground.ai для генерации некоторый спрайтов для МАЯКа. Читаем лицензию:
"(ii) you own all Assets you create with the Services and (iii) we hereby assign to you all rights, title and interest in and to such Assets for your personal or commercial use."
Можешь почитать здесь: playgroundai.com/terms
Дело не в правах, а в том, что вы мое творчество считаете запретным, а творчество нейросетей легальным и разрешенным к использованию. Дело ваше личное. Но независимо от того, что там у них написано, объем который ежеминутно ворует нейросеть у людей исчисляется огромными объемами.
Просто личная неприязнь ко мне и все дела. Потому что ставить лопаты нейросети вы не можете. Это да.
нейросети работают так же как и человеческие мозги. Ты увидел чей то арт, твой внутренний "набор референсов" расширился. Все мы друг у друга воруем в том или ином смысле, все сказанное нами уже сказано до нас. К тебе же была претензия в выдавании чужого за свое. Если бы взял тот арт за референс, никто бы тебе ничего не сказал, но ты его тупо обвел и сказал: "смотрите че нарисовал". Это творчество по-твоему?
Как будто на хабр в комменты попал
Насчёт сравнения с человеческими мозгами наверное слишком громко сказано, все же работа человеческого мозга до конца не изучена, он очень сложен, но работа нейронов очень схожа вроде как. В остальном согласен.
упростил разумеется, ради передачи основной мысли
ответил комментом выше.
Вот тебе картинка.
А теперь попробуй найди в сети оригинал с которого я её делал. И тогда я признаю, что неправ, а вы все правы.
Но проблема в том, что ты не найдешь ничего. Потому что оригинала нет. Я рисовал из кусков и они все были низкого разрешения. Так в чем разница между мной и нейросетью? Точнее в чем разница между тем, кто из нас более виновен в краже чужих работ. Я взял куски не зная авторов. И не обязан писать откуда взял и тем более не знаю авторов. А уж нейросеть никогда и не скажет где и что взяла. Вот в этом и вся разница.
Так где же тут граница морали ? Да её просто нет. Ну ок я должен был сказать, что брал куски чьих-то работ незная чьих. Хотя на самом деле такой ситуации даже не было. Потому что Кот тогда просто как раз и поймал меня на том, что я именно обвел чужую работу не зная авторства.
А в данном случае ты не найдешь в сети ни авторов ни кусков оригинала. А если найдешь - будем считать что ты прав и я делаю неправильно. Но все равно странная мораль. И странные претензии.
Вот Арлекин вообще тупо взял чужую графику и ничего. Я такого никогда не делал. А претензий целый вагон. И все ставили лопаты и писали гневные комментарии (ну конечно я сгущаю краски), но в целом как-то так.
Это, конечно, загадка :)
Дело в том, что нейросеть не обводит чужую картинку, а генерирует новое на основе этих картинок. Например, если я вдохновился чужой картинкой и создал что-то похожее, то можно сказать, что я украл картинку и авторство принадлежит не мне?
Или например такой вопрос, можно ли вдохновляться теми картинами, на которых стоит запрет на обучение нейросетью? Но ведь я уже посмотрел на картину и она уже отложилась у меня в подсознание и рано или поздно это всплывёт в моем творчестве, сам не осознавая того, потому что идеи рождаются не на пустом месте. И как я докажу, что это я рисовал, а не нейросеть (если на картине нет явных дефектов)? Ведь нейросеть это якобы плохо.
А насчёт применения нейросетей я писал в посте к игре недавно прошедшего Гаминатора. Кратко скажу, что для некоторых аспектов они могут быть полезны.
Я тоже не обводил. Такое было лишь однажды как раз когда Кот это увидел. В примере комментом выше картинка сделана из кусочков очень низкого разрешения. А авторов я естественно даже не знаю. Да и зачем это знать ? Я не обязан отчитываться.
В остальном вопросов нет.
Не знаю не играл. Но уверен что большая часть картинок были рандомными и выбирались просто наугад. Конечно чем рисовать их с нуля это проще. Но для серьезных дел это не годится.
Если тебе достаточно нагенеренного рандома, это твое личное дело. Я писал про другое совсем. Довольствуйся тем что есть конечно и радуйся этому. В чем тут умение твое ? Выбирать из рандомных картинок те что менее кривые ? Про то что станут лучше это совсем другой вопрос. Я про это сейчас не говорю. Придет время и увидим. Обсуждался только факт того что получилось сейчас и по опыту личного использования. Извини меня, но никакой квалификации для генеринга картинок не нужно. Тем более там один рандом сплошной и большая часть слов запроса тупо игнорируются. В чем тут серьезность и умелые руки. Ну да ну да. Ты пишешь просто чтобы доказать обратное и ничего более. Вот вся твоя аргументация.
Как по твоему тогда подобное делают?
https://www.youtube.com/shorts/Onmyo3vHsBI
причем это уже "прошлый век"
upd.: что-то как видео вставлять не захотело, пусть ссылкой будет.
Я статьи не читал, но если ты использовал там различные midjorney, то не удивительно. А в stable diffusion можно даже seed запоминать и переиспользовать.
Можно что-нибудь подобное посмотреть: https://www.youtube.com/watch?v=Ffl8b_GfJ-M, очевидно, что если бы автор не мог управлять процессом, он бы не сделал анимацию вообще.
Что значит "всякие"? мне кажется, миджурни и стейбл "дуэтом" популярны в народе, а вот "енти ваши далли" это уже непойми чего для непойми кого.
впрочем, сам не юзаю, так что сужу только по обсуждениями и возгласам знакомых
Ну вот у меня в голове как раз midjorney, dalle, bluewillow - это одна группа, они если и подходят, то для каких концептов может. А stable diffusion сильно больше возможностей дает, в зависимости от того, что на нее накатывать сверху и какую модель использовать.
Я бы с удовольствием сейчас в нее погружался, но нормальный комп остался дома, а с собой только ноут, на котором ее поднимать особо смысла не имеет.
Я попробовал несколько разных сетей. Какие-то делают работу еще хуже, какие-то лучше. Но везде видны куски чужих работ и куча слепого рандома. И эти вещи вам полезны ? Я сомневаюсь. Хотя конечно каждый выбирает сам. Но делать 1000 запросов к нейросети, чтобы так и не получить нужное это глупость конечно. Легче самому тогда все сделать. А выбирать и довольствоваться тем, что она рандомно выдает - это выдавать желаемое за действительное.
Популярность не синоним качества. Сегодня популярно, завтра все забыли про это. Остается всегда то, что действительно имеет ценность и приносит пользу.
но вообще, жаль конечно, что даже на анимацию уже вполне находят решения.
там где не нужно творчество и алгоритм строго формализован как в случае анимаций - там все легче автоматизировать. Но не в случае когда нужно из головы выдумать картинку и нарисовать её с нуля не используя чужие арты и стили. Это совсем другое дело. В чем заслуга нейросетей 2023 ? В том что они воруют чужие работы и генерят из них случайный рандом. Восторгам тут не место. Но нет, тут товарищи утверждают обратное. Хотя меня же и ругают что я брал чужие работы и обводил, выдавая за свои ))) Зато нейросетями которые воруют работы в массе и оставляют художников без работы будем восхвалять. Двойные стандарты какие-то.
Я не утверждаю что конкретно в данном тобой примере это невозможно. Вопрос как это было сделано. Слепым рандомом или детальным описанием и генерацией строго по описанию. Речь о том, что от нейросетей идет очень много рандома. На который ты влиять не можешь вообще никак. По поводу анимации скорее всего тут другие алгоритмы, нежели для генерации изображений. С этим я и не спорю.
А в этот момент как раз и появится профессия "инженер по запросам нейросети" или же промтщики со знанием систем.
Писал две статьи на Гамине по этому поводу. Собственно и игры две делал с их использованием. В одной графика практически полностью нейросетевая, а в другой использовалась для создания текстур для 3д моделей и\или как референс.
Так что тут главное как именно встроить в процесс эту вещь и какие технологии использовать. Тут в комментариях уже говорили, что лучше таки Stable Diffusion для более точной настройки запросов\результатов.
А мне нравится какая картинка у тебя в этом посте получилась.
Дело не в нравится/не нравится, а в том, что результат чисто рандомный. Я не могу своими запросами никак повлиять на качество результата. Очень много рандома. Вот об этом и речь в статьях. Если результат тебя устраивает, это только твое личное дело. Но глобально пока нейросети не умеют делать то, что им говоришь.
Так это буквально на что влияет запрос\промпт.
Сетки так же хорошо идут на придумывание чего-то, но чем более конкретная нужна вещь, тем сложнее всё это поддаётся, как мне кажется.
Я давал запросы на которых результат был неадекватный. То есть выдавало то, чего в запросе не было или наоборот то, что было - не рисовалось. Об этом и весь разговор. Все остальные рассуждения о другом. Я описал что было по факту вот и все.
Пару месяцев назад пробовал sd для работы над игрой: вполне нормальный инструмент для решения определенного круга задач. Тут главное не забывать, что авторских прав на этот арт у тебя нету...
Иллюстрация нейронки по моему пикселю:
Картинка нейронки + PixageFX
Пример фонов сделанных нейронкой, мне показалась что качество недостаточно. Но некоторым людям понравилось:
Для определенных задач нейронкам нет равных. Тут я и не спорю. Но в посте речь совсем о другом. Именно о попытке сказать нейронке: сделай персонажа такого-то и такого. А по факту выдает какой-то скупой рандом. И одни нейронки делают это красиво как на картинках выше, но не без греха конечно. (если читали мои статьи, там все есть на картинках), а другие выдают еще и ужасное качество при этом.
В тему
Для таких задач нейросети очень даже хороши. Но я про это как раз ничего не говорил. Я говорил, что в умении создавать новое с нуля не используя чужие арты они очень слабы пока что.
Ну так ты сгенерил несколько картинок, сколлажировал как тебе нужно, что-то сам дорисовал, инструментами как в видосе подправил и готово.
Если в таком ключе, то тут вопросов нет. Я про это и не писал ничего. Но вероятно тогда легче самому сделать вообще все. Т. к. если умеешь работать в фотошоп, то нейронка особо и не нужна. Особенно для создания персонажа. Она нужна если эффект красных глаз убрать или быстро фон поменять. Но это увы не творчество. Я утверждал лишь, что с творчеством у нейросетей которые я лично попробовал в 2023 году полный швах.
Ну вот нафига ты сюда каждый раз притаскиваешься? Здесь тебе не рады.
Классика
про то и разговор. Только один человек заметил из всех кто тут был ;)