Фейк-ньюс - всего лишь инфогрипп. А Вычислительная пропаганда - это инфочума.

[vchernik]

Сергей Карелов пишет Nov 18 2019 в своей статье:

• Человечество, как часто бывает, боится не того. Вот и теперь мир помешался на опасности фейковых новостей. Но они существовали всегда, и теперь лишь появились технологии их индустриального тиражирования и распространения. Это опасно? Да. Но не более, чем новые формы гриппа.
• Писец же подкрался незаметно и совсем с другой стороны. Это “Computational Propaganda” (Вычислительная Пропаганда - ВП) - технология масштабирования пропаганды в медиа-среде через заражение симпатией в целях вовлечения и радикализации сторонников. Будучи освоенная террористами и авторитарными государствами, ВП грозит миру настоящей инфочумой, защиты от которой пока нет и не факт, что вообще появится.

Об этом новый отчет по результатам исследования, проведенного The Center on Terrorism, Extremism, and Counterterrorism (CTEC) совместно с Институтом международных исследований Мидлбери, и озаглавленного «The Industrialization of Terrorist Propaganda. Neural Language Models and the Threat of Fake Content Generation».

Речь о «Киберписателях», типа GPT-2 от OpenAI. Это генераторы текстов, которые весьма успешно обучаются с помощью машинного обучения создавать осмысленные тексты почти неотличимые от написанных людьми (детали см. здесь: покороче и поподробней).

Исследование показывает, что в отличие от генераторов фейковых новостей, эффект от ВП куда долгосрочней и, главное, продуктивней.

• Про фейковые новости (как про любые новости) в нашем быстром и перегруженном информацией мире быстро забывают. Так что максимум, что от них остается через месяц, - мусор путаных воспоминаний в головах и без того не слишком продвинутого массового потребителя инфы.
• ВП работает принципиально иначе. Она генерит не фейковые новости, а комментарии, цель которых:

1. (1) утопить коменты против содержательных основ пропагандируемых идей;
2. (2) усилить воздействие коментов в поддержку пропагандируемых идей.

Фейковые новости способны лишь на временное искажение представлений людей о реальном ходе событий, их движущих силах и возможных последствиях. Они как бы искажают картину восприятия человека об окружающем его ландшафте, по которому он движется.

Действие ВП принципиально иное и, по своей сути, куда фундаментальней по последствиям. ВП как бы изменят мотивацию людей, делая для них привлекательным навязываемое им направление движения.

1й результат действия ВП - вовлечение (рост числа сторонников пропагандируемых идей). Используя вышеприведенную метафору, - все больше людей присоединяется к движению в заданном направлении.

2й результат - радикализации сторонников (достигается подстройкой ВП). Растет эмоциональный накал против тех, кто хочет идти иным путем.

• Главное для тех, кто использует ВП, - массовая генерация обученным алгоритмом Киберписателя коментов в реальном времени.

Для обучения Киберписателя, ему на вход дается набор заготовок, напичканных «смысловой заразой». Потом, путем машинного обучения, добиваются генерации им разнообразных убедительных текстов, несущих в себе частицы «смысловой заразы», воспринятой алгоритмом Киберписателя на входе.

Как это работает, - лучше смотреть в отчете на примерах. Киберписателя учили на четырех идеологических отравах:

1. Анархизм
2. Марксизм-Ленинизм
3. Джихадистский исламизм
4. Правый экстремизм (превосходство белых)

Ключевые слова «смысловой заразой» по каждой из 4х тем
Получилось прикольно и почти не отличишь (неспециалистами) от написанного людьми. Так что, вполне можно брать в работу всем желающим: от запрещенного в России ИГИЛ до сами знаете кого.

Как брать?
Да прямо от OpenAI, сделавшего 6 ноября алгоритм общедоступным.

Как же так? Зачем OpenAI выпустил в мир эту инфочуму?
Да как обычно. «Умыли руки», обещав «активно продолжать разговор с сообществом AI об ответственных публикациях».

Может в OpenAI не знают об исследовании CTEC?
Нет, хорошо знают. И даже пишут о его результатах в своем пресс-релизе, посвященном выставлению в открытый доступ новейшей версии GPT-2:

• этому посвящен п. 2 пресс-релиза - «GPT-2 может быть настроен для неправильного использования» (т.е. добро пожаловать в ад);
• а в п.3 пресс-релиза пишется о том, что «обнаружение является сложной задачей» (т.е. вас, скорее всего, не поймают на вашей ВП).

В качестве подтверждения последнего, содержащая 1,5 миллиарда параметров новейшая версия “киберписателя” GPT-2 проанализовала классические романы Джорджа Оруэлла и написала свою научно-фантастическую книгу о Китае. И этот сгенерированный “киберписателем” фейковый опус, как пишут в OpenAI, люди находят убедительным. Эксперты из Корнеллского университета дали “киберписателю” оценку достоверности 6,91 из 10.

Ответ на вопрос - почему они все же решили опубликовать своего Киберписателя, - дан в п. 4 пресс-релиза

• «До сих пор мы не видели убедительных доказательств злоупотребления».

Представляете подобную отмазку в устах разработчиков атомной бомбы за полгода до Хиросимы и Нагасаки - мол до сих пор мы не видели убедительных доказательств применения ядерного оружия против мирного населения.

Я все понимаю:

• прогресс не остановить;
• если бы это не сделал OpenAI, сделали бы другие;
• было бы только хуже, если первенство в разработке «киберписателей» перехватил Китай и т.д. и т.п.

И все равно… Талантливейших разработчиков из OpenAI лет через 50 будут помнить, как тех, кто первым позволил инфочуме вычислительной пропаганды распространиться по миру.