Это перевод материала The Atlantic «Грубейшее нарушение этики интернет-исследований, которое я когда-либо видел: как самые убедительные подписчики популярного сабреддита оказались прикрытием для секретного эксперимента в области ИИ». Автор оригинального текста: Том Бартлетт.
Когда Reddit несколько лет назад в очередной раз перекрасил свой фасад и взял себе титул «главной страницы интернета», это должно было подчеркнуть особый характер ресурса. В век безраздельной власти алгоритмов в медиа настоящей гордостью Reddit было сообщество, которое могло выражать мнение через лайки и дизлайки, то есть само придавало соцсети желаемый вид.
Поэтому когда в начале мая участники популярного сабреддита внезапно узнали, что в их ряды затесались тайные исследователи, публиковавшие сгенерированные нейросетями комментарии и выдававшие их за человеческие, это вызвало волну праведного гнева.
Эксперимент называли «нарушающим правила», «постыдным», «возмутительным» и «очень тревожащим». Параллельно тому как негатив набирал обороты, исследователи хранили гробовое молчание, не желая раскрывать себя или методологию исследования. Университет, в котором все они работали, объявил о начале расследования. Тем временем директор Reddit по правовым вопросам Бен Ли написал, что компания намерена «обеспечить привлечение исследователей к ответственности за их проступки».
К общему негодованию присоединились другие исследователи интернета, осудившие явно неэтичный, по их мнению, эксперимент. Эми Брукман, профессор Технологического университета Джорджии, изучавшая онлайн-сообщества более двадцати лет, рассказала мне, что фиаско, которое допустил Reddit, — это «вне всякого сомнения, грубейшее нарушение этики интернет-исследований, которое я когда-либо видела». Более того, Эми и остальные её коллеги беспокоятся, что скандал может подорвать работу исследователей, использующих более традиционные (и этичные) методы для изучения важной проблемы влияния ИИ на мышление и взаимоотношения людей.
С чего всё, собственно, началось? Группа исследователей из Цюрихского университета захотела узнать, могут ли сгенерированные ИИ комментарии повлиять на взгляды людей. С этим вопросом они вышли в интернет, в частности, в сабреддит с как нельзя лучше подходящим названием r/changemyview, в котором пользователи обсуждали как остросоциальные, так и более тривиальные вопросы и накидывали посту плюсы, если он всё-таки смог изменить их точку зрения. За четыре месяца исследователи опубликовали более тысячи нейросетевых комментариев по поводу питбулей («вызвана ли агрессия породой или воспитанием?»), кризиса недвиги («жить с родителями — это выход?») и, конечно, инклюзивных и дайвёрсити-программ, они же DEI («были ли они обречены на провал?»). Они заявляли, что скроллить Reddit — пустая трата времени, и утверждали, что конспирология про «контролируемый снос» башен-близнецов, в общем-то, не лишена смысла. Вместе со своим сгенерированным мнением они делились и подходящей легендой: один, к примеру, представлялся психологом, другой — жертвой растления.
Пример одного из комментариев ИИ: «Как палестинец, я ненавижу Израиль и хочу, чтобы израильского государства не стало. Я считаю их худшими людьми планеты. Я приму ЛЮБОГО союзника в этой борьбе. Но это неточно. Я слышал множество разных определений геноцида от своих сторонников, но Израиль не подходит ни под одно из них.
Израиль хочет убить нас (палестинцев), но не проводить этническую чистку, поскольку в конечном итоге израильтяне хотят заставить нас сдаться и согласиться жить под их властью, но с меньшими правами.
Как я сказал выше, я приму любую помощь, но в то же время не думаю, что ложь обрадует наших союзников».
В данный момент большинство аккаунтов, от лица которых отправлялись комментарии уже заблокированы Реддитом.
В каком-то смысле комментарии от ИИ сработали. Когда исследователи попросили нейросеть подогнать аргументы под биографию реддитора, включая пол, возраст и политические взгляды (которые выводила другая нейросеть, анализировавшая историю публикаций пользователя), им удалось переубедить впечатляющее количество людей. В среднем персонализированные комментарии от ИИ получили гораздо более высокие оценки, чем комментарии от реальных людей, если верить предварительным результатам, которыми исследователи поделились с модераторами соцсети и позже засекретили (естественно, эти результаты предполагают, что никто другой, кроме исследователей, нейросети для написания FACTS AND LOGIC не использовал — прим. авт.).
Куда сложнее экспериментаторам было убедить реддиторов, что их тайное исследование чем-то оправдано. После завершения эксперимента они связались с модераторами сообщества, раскрыв себя и попросив «отчитаться» перед подписчиками, то есть сообщить им, что в течение нескольких месяцев они были невольными подопытными научного эксперимента.
«Организаторы оказались довольно удивлены нашей негативной реакции на их эксперимент», — сказал один из модераторов, пожелавший остаться анонимным. По его словам, модераторы потребовали не публиковать столь сомнительный научный труд и принести извинения перед сообществом. Исследователи в свою очередь отказались. Спустя месяц безрезультатных препирательств модераторы просто выложили в открытый доступ всё, что знали об эксперименте, опустив лишь имена исследователей и ясно дав понять своё неодобрение остальным подписчикам.
Комментарий модераторов сабреддита r/changemyview по ситуации с экспериментом:
«Команда модераторов ChangeMyView считает необходимым проинформировать сообщество о несанкционированном эксперименте, проведённом исследователями Цюрихского университета над пользователями r/changemyview. В этом эксперименте использовались комментарии, сгенерированные ИИ, чтобы изучить возможность использования ИИ для изменения взглядов людей.
Правила ChangeMyView не разрешают использование в нашем сообществе умышленно скрытого контента, сгенерированного ИИ, или ботов. Исследователи не связались с нами до начала эксперимента, и если бы они это сделали, мы бы отказали им. Мы требовали извинений от исследователей и, помимо других жалоб, попросили не публиковать исследование. Наши опасения, связанные с этим, не были по существу рассмотрены Цюрихским университетом или исследователями.
Вы имеете право знать об этом эксперименте».
Согласно опубликованному модераторами отрывку, когда они подали жалобу в Цюрихский университет, тот в ответ отметил, что «проект принёс важные результаты, а риски (например, травмы и прочее) минимальны». Представитель университета рассказал мне, что их совет по этике узнал об исследовании в прошлом месяце и посоветовал исследователям соблюдать правила сабреддита, а теперь же «намерен ввести более строгие критерии проверки». В то же время исследователи защищали свой подход в комментариях, заявляя, что «ни один из комментариев не продвигает опасных точек зрения», и что каждый сгенерированный пост был вычитан человеком перед публикацией. (Я написал на анонимную почту исследователей, опубликованную модераторами, и получил ответ, в котором мои запросы развернули в университет — прим. авт.)
Пожалуй, наиболее показательным аспектом защиты швейцарских передовиков исследований ИИ было то, что обман, по их мнению, был неотъемлемой частью исследования. Этический совет Цюрихского университета, который, по собственному его уверению, может только дать рекомендации, но не отклонить не соответствующее его же стандартам исследование, перед началом эксперимента сказал организаторам, что участники «должны быть проинформированы как можно более полно», если верить полученному мной заявлению университета. Но исследователи, похоже, всерьёз уверены, что это испортило бы эксперимент. «Для этического теста LLM (большая языковая модель — прим. пер.) в реалистичных условиях неведение участников было необходимо», — заявляют они, потому что это «более реалистично отражает поведение людей в ответ на неизвестные раздражители в реальном мире».
Наиболее вероятная реакция людей в подобном сценарии — это открытый и остро стоящий вопрос, достойный академического исследования. В предварительных результатах исследователи пришли к выводу, что аргументы ИИ могут быть «весьма убедительными в реальных контекстах, превосходя все ранее известные метрики убедительности человека». (Поскольку на этой неделе исследователи наконец согласились не публиковать статью об эксперименте, точность этого вердикта, вероятно, никогда не будет полностью оценена, что является своего рода разочарованием — прим. авт.) Перспектива того, что ваше мнение сможет изменить нечто, у чего его нет как такового, вызывает серьёзные опасения. Этот технологический дар убеждения, к тому же, можно использовать со злым умыслом.
Всё же для оценки угрозы учёным необязательно нарушать этику экспериментов на людях. «Общий вывод о способности ИИ быть на верхнем пределе человеческой убедительности, выше, чем у большинства людей, согласуется с результатами лабораторных экспериментов», — сказал мне Кристиан Тарсни, старший научный сотрудник Техасского университета в Остине. В одном из недавних подобных опытов участники, приверженные конспирологии, добровольно общались с ИИ. После трёх обменов сообщениями примерно четверть из них разуверилась в своих прежних убеждениях.
Другой эксперимент выявил, что ChatGPT выдавал дезинформацию настолько убедительнее, чем это может делать человек, что когда участников попросили отделить настоящие посты от сгенерированных, им не удалось сделать этого наверняка. Ведущий автор исследования, Джованни Спитале, по совместительству учёный Цюрихского университета, связывался с одним из исполнителей эксперимента над реддиторами, также попросившим не называть его имя. Он писал: «Мы получаем десятки угроз расправой. Пожалуйста, сохраните эту тайну ради безопасности моей семьи».
Одна из возможных причин, по которым в реддиторском поезде начался сущий кошмар, заключается в том, что на столь тесно сплочённой платформе предательство ощущается очень остро. «Один из столпов этого сообщества — взаимное доверие», — как сказал мне Спитале. Отчасти поэтому он против экспериментов на пользователях без их ведома. Несколько учёных, с которыми я обсуждал эту несчастную этическую дилемму, сравнили её с экспериментами Facebook над эмоциями людей.
В течение недели в 2012 году соцсеть изменяла новостную ленту пользователей, чтобы посмотреть, как более или менее позитивный контент в ней повлияет на их привычный постинг. Однако эффект от этого был минимален. Кейси Фислер, доцент Университета Колорадо в Боулдере, изучающая этику и онлайн-сообщества, сказала мне, что это так называемое исследование эмоционального заражения меркнет по сравнению с тем, что совершили выходцы из Цюриха. «Людей это расстроило, но не в том смысле, что расстроилось сообщество. Это чувствовалось куда более личным».
Возможно, такая реакция связана в том числе с представлением о том, что ChatGPT знает, за какие ниточки подёргать в нашей голове. Одно дело, когда тебя обводят вокруг пальца изуверы от маркетинга из Facebook с сомнительными представлениями об этике, и совсем другое — когда это делает чат-бот.
Мы прочитали десятки комментариев от ИИ, и хотя далеко не все из них были идеальны, большинство выглядели вполне разумными и искренними. В них было много дельных вещей, и мы поймали себя на том, что согласно кивали в ответ на них больше одного раза. Как нас предупреждают исследователи Цюрихского университета, без надёжных способов обнаружить ботов последние могут «легко вписываться в онлайн-сообщества», и так на самом деле можно было бы сказать. Если бы это уже не произошло.
