Безопасность машинного интеллекта должна быть инженерной рутиной!
Победы системы машинного обучения AlphaGo над чемпионом мира по Го привели к ожидаемому результату: у начальника DeepMind спрашивают не столько "как вам это удалось" (к чудесам-то привыкли!), сколько "существует ли опасность для человечества" и "как быть со сверхразумом" (вот тут по-русски пересказ статьи из Гардиан).
Не нужно бояться, что программа игры в Go завоюет мир. Игра Go очень простая по сравнению с реальной жизнью -- в ней каждый ход даже от истории не зависит, только от текущего положения на доске. Следующая игра для программ DeepMind (указывают на StarCraft II -- https://geektimes.ru/post/272478/) будет поинтересней, но и от неё до действий мощного интеллекта программы в более-менее полном реальном мире как до Луны. Хотя да, на Луне человечество уже побывало -- и даже не при помощи современных технологий, а технологий 47-летней давности (1969 год). Может, и с более-менее умным AGI тоже дело пойдёт быстрей. Игроки в Го ведь честно надеялись, что им без компьютера-чемпиона ещё лет десять дадут побыть. А поток открытий и изобретений в области deep learning продолжается, например тут сделали эффективную (логарифм от n, а не просто n, где n -- размер памяти) выучиваемую иерархическую память и механизм внимания -- http://arxiv.org/pdf/1602.03218.pdf. Всё новые и новые трюки позволяют делать всё более быстрые и компактные нейронные сети, а приложения этих сетей становятся всё изощрённей и изощрённей. В какой-то момент окажется, что нейронные сети управляют жизненно важными системами. И проблема безопасности станет во весь рост: не выдуманная проблема "захвата роботами Земли" (да, я знаком с книжкой Bostrom, она ж легко доступна -- есть в http://bookzz.org/. И что?), а реальная проблема безопасности техники, управляемой системами машинного обучения.
Если очень хочется озаботиться безопасностью, то сначала нужно понять хоть что-то про жизненный цикл машинного интеллекта -- даже не общего (потенциально решающего любые задачи), а узкого (решающего только один класс задач). Сейчас этим методологическим аспектом мало кто занимается (моя презентация об инженерии машинного обучения тут: http://www.slideshare.net/ailev/alevenchuk-machine-learning-engineering), поэтому практики безопасности а) нельзя сформулировать как явные практики, соразмерные другим практикам и б) непонятно, в каком виде жизненного цикла системы машинного обучения их сочетать с другими практиками, методологий-то создания систем машинного обучения пока нет! Всё как в software engineering году эдак в шестидесятом: программирование уже вовсю было, а software engineering ещё нет. И поэтому разговор о безопасности был где-то сбоку, и так сбоку и остался.
Donald Firesmith любит подчеркнуть, что инженеры по безопасности только по недоразумению не являются системными инженерами -- поскольку занимаются всей системой в целом (ключевой признак системных инженеров!), но у них свои учебники, свои конференции, свои издания. Но всё равно безопасность отличненько учитывается в системной инженерии, системы разрабатываются безопасные, об этом заботятся.
Это я к тому, что если инженерию машинного интеллекта сформулировать нормально как инженерную дисциплину, то вопросы безопасности (safety и security) будет абсолютно понятно как обсуждать, и понятно как вплетать в инженерную практику. Этим будут заниматься инженеры, а не журналисты-блоггеры и "обеспокоенная общественность", как сегодня. Хотя "формулирование инженерии систем машинного обучения как инженерной дисциплины" проблематично по совокупности самых разных причин, например, трудностей применения системного подхода к коннекционистским системам (http://ailev.livejournal.com/1252230.html). Но это единственный проход к получению безопасных систем!
А сейчас да, учОные и журналюги только неконструктивно стенают по этому поводу. Я считаю, что стенать ещё рановато. Если есть беспокойство, то полно времени подгототовиться -- и первый шаг тут сделать из инженерии машинного интеллекта нормальную инженерную дисциплину, в которой есть место и проверке, и приёмке, и управлению конфигурацией, и безопасности.
Не нужно бояться, что программа игры в Go завоюет мир. Игра Go очень простая по сравнению с реальной жизнью -- в ней каждый ход даже от истории не зависит, только от текущего положения на доске. Следующая игра для программ DeepMind (указывают на StarCraft II -- https://geektimes.ru/post/272478/) будет поинтересней, но и от неё до действий мощного интеллекта программы в более-менее полном реальном мире как до Луны. Хотя да, на Луне человечество уже побывало -- и даже не при помощи современных технологий, а технологий 47-летней давности (1969 год). Может, и с более-менее умным AGI тоже дело пойдёт быстрей. Игроки в Го ведь честно надеялись, что им без компьютера-чемпиона ещё лет десять дадут побыть. А поток открытий и изобретений в области deep learning продолжается, например тут сделали эффективную (логарифм от n, а не просто n, где n -- размер памяти) выучиваемую иерархическую память и механизм внимания -- http://arxiv.org/pdf/1602.03218.pdf. Всё новые и новые трюки позволяют делать всё более быстрые и компактные нейронные сети, а приложения этих сетей становятся всё изощрённей и изощрённей. В какой-то момент окажется, что нейронные сети управляют жизненно важными системами. И проблема безопасности станет во весь рост: не выдуманная проблема "захвата роботами Земли" (да, я знаком с книжкой Bostrom, она ж легко доступна -- есть в http://bookzz.org/. И что?), а реальная проблема безопасности техники, управляемой системами машинного обучения.
Если очень хочется озаботиться безопасностью, то сначала нужно понять хоть что-то про жизненный цикл машинного интеллекта -- даже не общего (потенциально решающего любые задачи), а узкого (решающего только один класс задач). Сейчас этим методологическим аспектом мало кто занимается (моя презентация об инженерии машинного обучения тут: http://www.slideshare.net/ailev/alevenchuk-machine-learning-engineering), поэтому практики безопасности а) нельзя сформулировать как явные практики, соразмерные другим практикам и б) непонятно, в каком виде жизненного цикла системы машинного обучения их сочетать с другими практиками, методологий-то создания систем машинного обучения пока нет! Всё как в software engineering году эдак в шестидесятом: программирование уже вовсю было, а software engineering ещё нет. И поэтому разговор о безопасности был где-то сбоку, и так сбоку и остался.
Donald Firesmith любит подчеркнуть, что инженеры по безопасности только по недоразумению не являются системными инженерами -- поскольку занимаются всей системой в целом (ключевой признак системных инженеров!), но у них свои учебники, свои конференции, свои издания. Но всё равно безопасность отличненько учитывается в системной инженерии, системы разрабатываются безопасные, об этом заботятся.
Это я к тому, что если инженерию машинного интеллекта сформулировать нормально как инженерную дисциплину, то вопросы безопасности (safety и security) будет абсолютно понятно как обсуждать, и понятно как вплетать в инженерную практику. Этим будут заниматься инженеры, а не журналисты-блоггеры и "обеспокоенная общественность", как сегодня. Хотя "формулирование инженерии систем машинного обучения как инженерной дисциплины" проблематично по совокупности самых разных причин, например, трудностей применения системного подхода к коннекционистским системам (http://ailev.livejournal.com/1252230.html). Но это единственный проход к получению безопасных систем!
А сейчас да, учОные и журналюги только неконструктивно стенают по этому поводу. Я считаю, что стенать ещё рановато. Если есть беспокойство, то полно времени подгототовиться -- и первый шаг тут сделать из инженерии машинного интеллекта нормальную инженерную дисциплину, в которой есть место и проверке, и приёмке, и управлению конфигурацией, и безопасности.