(no subject)
нейросети как новая "красная плёнка"
Три дня назад прекрасные @okolofoto выложили запись (https://youtu.be/mfqg9YBRAQY) лекции социального антрополога и фольклориста Анны Кирзюк, посвященную городской легенде о красной пленке. Плёнке, которая магическим образом позволяет увидеть сфотографированных людей без одежды. Если вы её ещё не видели, то посмотрите - это интересно. А буквально через день по западным СМИ прокатилась новая волна статей о нейросети DeepNude 1 (https://www.forbes.com/sites/siladityaray/2020/10/20/bot-generated-fake-nudes-of-over-100000-women-without-their-knowledge-says-report/?utm_source=TWITTER&utm_medium=social&utm_content=3954962666&utm_campaign=sprinklrForbesTechTwitter#35113b9f7f6b), 2 (https://www.bbc.com/news/technology-54584127), 3 (https://www.theverge.com/2020/10/20/21519322/deepfake-fake-nudes-telegram-bot-deepnude-sensity-report) и т.д., Нейросети, которая позволяет делать фотореалистичные изображения женщин без одежды, на основе их фотографий в одежде, взятых из их соцсетей. Мне кажется, в этих двух историях есть очевидные и небезынтересные параллели.
Если вам лень смотреть, то в двух словах поясню, что же рассказала Анна. Городская легенда - это "короткая и на первый взгляд правдоподобная, хотя обычно не соответствующая действительности история, опирающаяся на современную техническую и общественную реальность". Легенда о "красной плёнке" ходила в среде советских школьников 70-ых-80-ых годов. При этом в западных корпусах городских легенд прямого аналога пленки обнаружено не было. Суть "страшилки" состояла в следующем: обладая фотоаппаратом, любой мог заявить о том, что в нём установлена "красная плёнка" и начать пугать окружающих (одноклассников или знакомых со двора) тем, что снял их на неё и теперь может распространить получившиеся "голые" фото. Этому верили. Жертвами таких угроз становились и девочки и мальчики, поэтому нельзя сказать, что "голые фото" были игрой, связанной со становлением подростковой сексуальности. Как отмечает в финале рассказа Анна, скорее, надо говорить об установление особого типа власти одних людей (фотографа) над другими (объектами фотосъемки) через контроль видимости последних.
И вот тут интересно взглянуть на случай нейросети DeepNude, скандал вокруг которой разгорается уже не в первый раз (прошлый был в 2019 году и привёл к её закрытию).
Случай DeepNude, безусловно, тоже опирается на "современную техническую и общественную реальность", но уже изменившуяся. В ней есть элемент правдоподобия, мы знаем о значительных успехах нейросетей. Но есть в ней и пугающая сторона. Возможно, из-за непонимания возможностей технологии - ведь согласно третьему закону Кларка (https://ru.wikipedia.org/wiki/%D0%A2%D1%80%D0%B8_%D0%B7%D0%B0%D0%BA%D0%BE%D0%BD%D0%B0_%D0%9A%D0%BB%D0%B0%D1%80%D0%BA%D0%B0)"любая достаточно развитая технология неотличима от магии". Возможно, из-за того, что мы слишком ясно представляем с какой скоростью могут распространятся изображения в сети и понимаем, что изъять их оттуда фактически невозможно.
Волну новых публикаций запустила фирма Sensity, занимающаяся кибербезопасностью, выпустив многостраничный отчет. Мне показались любопытными акценты ясно сделанные в этом докладе.
Во-первых, это акцент на жертвах - любой случайный аккаунт из социальных сетей, в том числе несовершеннолетние (63% опрощенных пользователей бота нейросети заявили, что используют сервис для создания порнографических изображений своих знакомых). Во-вторых, источник и локализация угрозы ведь "около 70% изображений были загружены пользователями из России и соседних стран", а сама нейросеть живёт в русском приложении Телеграм и активно рекламируется на площадке Вконтакта. Не отрицая реалистичность этих цифр (мне кажется, в пост-ссср довольно силён интерес к нейросетям), следует признать, что наложение этих цифр на фон из новостей о "русских хакерах", "вмешательстве в выборы" и прочем - безусловно усиливает чувство угрозы. В-третьих, практически полное отсутствие иллюстрирующего материала, по понятным этическим причинам, тем не менее не даёт оценить фактическую степень угрозы.
Но есть и хорошие новости. Западные СМИ не стали бить в набат хоть заголовки "попугивают" . В самих текстах звучат признания о неубедительности получаемых картинок как и аргумент о том, что и раньше, потратив время, можно было получить порнокартинку в Фотошопе. Примеров использования изображений при шантаже тоже не выявлено. Скорее, общую тревогу вызывает "опасения из-за доступности".
Русскоязычные пользователи tjournal, в свою очередь, проверили возможности нейросети (https://tjournal.ru/internet/225592-delo-deepnude-zhivet-zapadnye-issledovateli-nashli-set-telegram-kanalov-i-botov-pozvolyayushchih-razdet-devushku-na-foto) и результат никого не впечатлил. А в комментариях была высказана и вовсе парадоксальная, но не лишенная зерна мысль о том, что "наоборот, шантаж умер. Теперь каждый может просто сказать - чуваки, это фотошоп, фотки сделаны нейросетью, я не при чём. Спасибо новым технологиям за избавление нас от целого вида преступлений!" Что, конечно, не отменяет опасностей для жертв в тот переходный период, когда общество должно будет свыкнуться с мыслью о том, что "голые фото" могут быть результатом генерации нейросети. Поживём - увидим. Пока интересно.
Три дня назад прекрасные @okolofoto выложили запись (https://youtu.be/mfqg9YBRAQY) лекции социального антрополога и фольклориста Анны Кирзюк, посвященную городской легенде о красной пленке. Плёнке, которая магическим образом позволяет увидеть сфотографированных людей без одежды. Если вы её ещё не видели, то посмотрите - это интересно. А буквально через день по западным СМИ прокатилась новая волна статей о нейросети DeepNude 1 (https://www.forbes.com/sites/siladityaray/2020/10/20/bot-generated-fake-nudes-of-over-100000-women-without-their-knowledge-says-report/?utm_source=TWITTER&utm_medium=social&utm_content=3954962666&utm_campaign=sprinklrForbesTechTwitter#35113b9f7f6b), 2 (https://www.bbc.com/news/technology-54584127), 3 (https://www.theverge.com/2020/10/20/21519322/deepfake-fake-nudes-telegram-bot-deepnude-sensity-report) и т.д., Нейросети, которая позволяет делать фотореалистичные изображения женщин без одежды, на основе их фотографий в одежде, взятых из их соцсетей. Мне кажется, в этих двух историях есть очевидные и небезынтересные параллели.
Если вам лень смотреть, то в двух словах поясню, что же рассказала Анна. Городская легенда - это "короткая и на первый взгляд правдоподобная, хотя обычно не соответствующая действительности история, опирающаяся на современную техническую и общественную реальность". Легенда о "красной плёнке" ходила в среде советских школьников 70-ых-80-ых годов. При этом в западных корпусах городских легенд прямого аналога пленки обнаружено не было. Суть "страшилки" состояла в следующем: обладая фотоаппаратом, любой мог заявить о том, что в нём установлена "красная плёнка" и начать пугать окружающих (одноклассников или знакомых со двора) тем, что снял их на неё и теперь может распространить получившиеся "голые" фото. Этому верили. Жертвами таких угроз становились и девочки и мальчики, поэтому нельзя сказать, что "голые фото" были игрой, связанной со становлением подростковой сексуальности. Как отмечает в финале рассказа Анна, скорее, надо говорить об установление особого типа власти одних людей (фотографа) над другими (объектами фотосъемки) через контроль видимости последних.
И вот тут интересно взглянуть на случай нейросети DeepNude, скандал вокруг которой разгорается уже не в первый раз (прошлый был в 2019 году и привёл к её закрытию).
Случай DeepNude, безусловно, тоже опирается на "современную техническую и общественную реальность", но уже изменившуяся. В ней есть элемент правдоподобия, мы знаем о значительных успехах нейросетей. Но есть в ней и пугающая сторона. Возможно, из-за непонимания возможностей технологии - ведь согласно третьему закону Кларка (https://ru.wikipedia.org/wiki/%D0%A2%D1%80%D0%B8_%D0%B7%D0%B0%D0%BA%D0%BE%D0%BD%D0%B0_%D0%9A%D0%BB%D0%B0%D1%80%D0%BA%D0%B0)"любая достаточно развитая технология неотличима от магии". Возможно, из-за того, что мы слишком ясно представляем с какой скоростью могут распространятся изображения в сети и понимаем, что изъять их оттуда фактически невозможно.
Волну новых публикаций запустила фирма Sensity, занимающаяся кибербезопасностью, выпустив многостраничный отчет. Мне показались любопытными акценты ясно сделанные в этом докладе.
Во-первых, это акцент на жертвах - любой случайный аккаунт из социальных сетей, в том числе несовершеннолетние (63% опрощенных пользователей бота нейросети заявили, что используют сервис для создания порнографических изображений своих знакомых). Во-вторых, источник и локализация угрозы ведь "около 70% изображений были загружены пользователями из России и соседних стран", а сама нейросеть живёт в русском приложении Телеграм и активно рекламируется на площадке Вконтакта. Не отрицая реалистичность этих цифр (мне кажется, в пост-ссср довольно силён интерес к нейросетям), следует признать, что наложение этих цифр на фон из новостей о "русских хакерах", "вмешательстве в выборы" и прочем - безусловно усиливает чувство угрозы. В-третьих, практически полное отсутствие иллюстрирующего материала, по понятным этическим причинам, тем не менее не даёт оценить фактическую степень угрозы.
Но есть и хорошие новости. Западные СМИ не стали бить в набат хоть заголовки "попугивают" . В самих текстах звучат признания о неубедительности получаемых картинок как и аргумент о том, что и раньше, потратив время, можно было получить порнокартинку в Фотошопе. Примеров использования изображений при шантаже тоже не выявлено. Скорее, общую тревогу вызывает "опасения из-за доступности".
Русскоязычные пользователи tjournal, в свою очередь, проверили возможности нейросети (https://tjournal.ru/internet/225592-delo-deepnude-zhivet-zapadnye-issledovateli-nashli-set-telegram-kanalov-i-botov-pozvolyayushchih-razdet-devushku-na-foto) и результат никого не впечатлил. А в комментариях была высказана и вовсе парадоксальная, но не лишенная зерна мысль о том, что "наоборот, шантаж умер. Теперь каждый может просто сказать - чуваки, это фотошоп, фотки сделаны нейросетью, я не при чём. Спасибо новым технологиям за избавление нас от целого вида преступлений!" Что, конечно, не отменяет опасностей для жертв в тот переходный период, когда общество должно будет свыкнуться с мыслью о том, что "голые фото" могут быть результатом генерации нейросети. Поживём - увидим. Пока интересно.