О проблемах нейросети в искусстве: фрагмент из лекции Саши Новы на фестивале Signal

Кто автор: нейросеть или художник

Нейросети обучаются на изображениях, которые есть в открытом доступе. То есть, чтобы самостоятельно сгенерировать картинку какого-нибудь объекта, она анализирует десятки тысяч других. Проблема в том, что изображения, на которых обучается нейросеть, уже кто-то создал, поэтому самый острый конфликт между художником и нейросетью — это авторское право.

Яркий пример такого конфликта — конкурс начинающих цифровых художников в штате Колорадо, который проходил в 2022 году. Тогда победу одержал Джейсон Аллен с работой «Theatre D’opéra Spatial». После подведения итогов он написал в социальных сетях, что создал картину с помощью Midjourney, а затем увеличил изображение с помощью нейросети Gigapixel и распечатал на холсте. В художественном сообществе начали активно обсуждать, насколько эту победу можно считать честной.

В регламенте конкурса не было указано, что нельзя использовать искусственный интеллект. Но до этого нейросети могли генерировать только маленькие и очень психоделические картинки. До этого Midjourney генерировала картинки с большим количеством визуальных ошибок:

• не справлялась с генерацией лиц;
• добавляла лишние конечности;
• добавляла обрывки вотермарок с исходных изображений, на которых обучалась нейросеть;
• создавала композиции, которые выглядели небрежно и не имели единого стиля.

Но за последний год технологии усовершенствовались, и сейчас изображения, сгенерированные нейросетью, сложно отличить от профессиональной фотографии.

Многим художникам не понравилось, что нейросети могут свободно использовать их работы, копировать стиль и создавать новые картины за пару минут. Поэтому на ресурсе ArtStation поднялся целый бунт. Художники загружали на платформу изображения со слоганом «Stop AI», чтобы нейросетям закрыли доступ к их работам.

Кого в итоге считать автором сгенерированных работ — это вопрос, на который пока нет ответа. Сейчас художники сами выбирают, как взаимодействовать с технологиями: одни их игнорируют, а другие активно используют, сами пишут код и обучают нейросети.

Художники, которые не побоялись внедрить нейросети в свое искусство

Робби Баррат

Он сделал большой вклад в развитие нейросетей в искусстве. Изначально Робби Баррат стал известен не своими достижениями, а скандалом в 2018 году. На аукционе Christie’s продали картину группы Obvious — «Edmond de Belamy», за рекордные 432 500 $, но этот портрет создали с помощью нейросети.

Проблема была в в том, что авторы взяли с GitHub код Робби Баррата, который находился в открытом доступе. Из-за этого возник вопрос — кому принадлежит авторство, и как считать гонорар. Потому что код нейросети написал один человек, а заработали на нем другие люди, которые дополнительно обучили эту нейросеть. Но в скором времени появилось направление NFT и Робби Баррат смог монетизировать свои экспериментальные картины.

Рафик Анадол

В 2021 году на аукционе Sotheby’s Рафик Анадо представил проект «Машинная галлюцинация», посвященный неизведанному космосу. Художник взял необработанные изображения, снятые телескопами Hubble и MRO, и с помощью нейросети создал свои работы, которые помогут погрузиться в атмосферу загадочного космоса.

OUCHHH

Турецкая творческая студия, которая занимается иммерсионными инсталляциями. Одна из популярных выставок этой студии была посвящена работам Ван Гога. Авторы обучали нейросеть на работах художника и после этого сгенерировали 12000000 частиц, основанных на его мазках кисти. Рассматривая эту инсталляцию, правда чувствуешь, что ты находишься внутри картины Винсента Ван Гога.

Марио Клингеманн

Один из пионеров искусственного интеллекта и машинного обучения, который активно использует код и алгоритмы для создания своих картин. Он получил известность в 2019 году, когда его работа «Воспоминания о прохожих 1» была представлена на аукционе Sotheby’s в Лондоне.

Сейчас картина смотрится немного странно, потому что по нашим меркам это уже старая нейросеть. Но без этих экспериментов никогда бы не было того, что мы имеем сейчас.

Согвен Чанг

Китайско-канадская художница, также пионер в области взаимодействия человека и машины. Её практика охватывает перформанс, инсталляцию и практики рисования. Она старается найти точки соприкосновения человека с искусственным интеллектом и раскрыть его творческий потенциал. Ключевой интерес художницы — роботы, в которые «встроены» нейросети. Они обучаются на движениях рук Чанг, и во время перформансов она часто рисует вместе с ними.

AI_NORN

Это российский проект, который создали два программиста. Робот AI_NORN рисует картины кистью на холсте по заготовленному эскизу живого художника или изображению, сгенерированному с помощью ИИ. В процессе создания каждой работы используется несколько библиотек машинного обучения, методов и нейронных сетей, которые влияют на сюжет картины и ее стиль.

AI-DA

Еще один популярный робот, который пишет портреты, создает 3D-модели на основе нейросетей. Она сама придумывает сюжеты или анализирует то, что уже есть в интернет пространстве, либо то, что в нее загружают программисты.

Как нейросети помогают возрождать искусство

За всю мировую историю было утрачено много объектов культурного наследия. Поэтому цифровая реставрация, которая помогает восстановить и сохранить картины великих художников, вызывает огромный восторг. Таких примеров много, но приведу два самых ярких.

Факультетские полотна Густава Климта

Густаву Климту заказали сделать три картины для Венского университета. Они должны были изображать аллегорические образы факультетов: философии, медицины, юриспруденции. Но Климт сделал эти полотна в очень откровенной форме, и университет не стал их использовать для оформления потолка, поэтому друг художника выкупил картины и хранил их на своей усадьбе в Австрии.

Но в конце Второй мировой войны в этой усадьбе случился пожар. Все картины были утрачены, но остался цветной маленький кусочек от полотна с образом факультета медицины, черно белые фотографии, эскизы и некоторые текстовые описания тех, кто видел эти работы

В 2021 году Венский музей Бельведер в коллаборации с Google Arts & Culture при помощи нейросетей восстановил цветовое содержание полотен. Более того они создали онлайн-портал, где можно в деталях можно посмотреть на картины, посмотреть на историю их реставрации.

Работа Рембрандта «Ночной дозор»

Этим проектом в 2016 году занялась команда реставраторов из Рейксмузеума в Амстердаме при поддержке Microsoft. Изначально нейросеть обучили на работах Рембрандта и создали портрет «Следующий Рембрандт». Для этого использовали специальный 3D-сканер, который проанализировал рельеф мазков художника, а сам портрет напечатали на 3D-принтере с ультрафиолетовыми чернилами, который был специально разработан для этого проекта.

Опыт с картиной «Следующий Рембрандт» помог в другом, более масштабном проекте — восстановлении первозданного облика полотна «Ночной дозор». В 1715 году эту работу обрезали на несколько сантиметров со всех сторон, так как она не помещалась в новый зал, где ее планировали выставлять.

Отрезанные полосы не сохранились, поэтому для обучения нейросети использовали уменьшенную копию картины, которую написал художник Геррит Лундсен еще до обрезки полотна. Так у авторов оказался и недостающий фрагмент изображения, и алгоритм нейросети, который мог воссоздать этот фрагмент в той технике, в которой писал сам Рембрандт.

Сейчас картина полностью восстановлена и доступна зрителям в Галерее почета в Амстердаме:

Итог: стоит опасаться нейросетей или сотрудничать с ними

Технические аспекты работы даже в искусстве давно автоматизируют, потому что есть задачи, которые человек в принципе не может выполнить лучше машины — например, анализ больших данных.

Цифровизация — это наша новая реальность, так что нам стоит не бороться с прогрессом, а учиться симбиозу и прокачивать свои навыки всеми доступными средствами. Иллюстратора, который умеет рисовать только в одном стиле, скорее всего заменят, потому что нейросеть сделает ту же работу быстрее. Но разностороннему специалисту с большим количеством навыков не стоит переживать.