горький урок
Ричард Саттон, известный исследователь в области искусственного интеллекта, опубликовал очень краткое эссе "Горький урок" - The Bitter Lesson, заслуживающее внимательного прочтения.
Саттон пишет о том, что на протяжении всей истории ИИ люди снова и снова пытались строить системы, стремящиеся моделировать, хотя бы частично, как думает человек - и снова и снова эти системы проигрывали тем, которые просто брутально стремились делать "тупой перебор" - естественно, не совсем тупой, но и не сложно-человеческий. Самый яркий пример этого - шахматные программы, где до победы Deep Blue над Каспаровым в 1996-м году большинство специалистов были уверены, что надо учить компьютер принципам тактики и стратегии, или хотя бы накопленному шахматистами опыту оценки позиции - а в итоге победил подход - бросить на перебор как можно больше ресурсов, и ограничиться эвристиками того, когда останавливать перебор, не пытаясь научить программу думать над шахматами "по-человечески". Но, пишет Саттон, и в последние годы, в эпоху успешного рывка вперед нейронных сетей, попытки совместить эти сети с "человекоподобными" моделями неизменно проигрывают системам, которые стремятся более эффективно перемолоть как можно больше данных на мельнице как можно более интенсивной тренировки сети.
Надо отметить, что эссе Саттона полемизирует с другим мнением, которое иногда высказывается - что не следует ожидать от современных нейронных сетей "человекоподобного" эффективного обучения из-за фундаментальных ограничений этого подхода, и именно что следует совмещать их с моделями более "человеческого" мышления, хоть и не так наивно, как в прошлом. Об этом, например, статья Building Machines That Learn and Think Like People, которая меня очень впечатлила пару лет назад и о которой я несколько раз писал.
У меня нет достаточно опыта и экспертизы, чтобы иметь твердое мнение на эту тему, но мне кажется, что краткое и энергичное послание Саттона, пусть я и вижу способы его критиковать, несет в себе убедительный аргумент, требующий серьезного размышления. Мне не нравится думать, что Саттон может быть прав, но не могу отрицать, что история ИИ скорее на его стороне (об отдельных примерах можно спорить).
Саттон пишет о том, что на протяжении всей истории ИИ люди снова и снова пытались строить системы, стремящиеся моделировать, хотя бы частично, как думает человек - и снова и снова эти системы проигрывали тем, которые просто брутально стремились делать "тупой перебор" - естественно, не совсем тупой, но и не сложно-человеческий. Самый яркий пример этого - шахматные программы, где до победы Deep Blue над Каспаровым в 1996-м году большинство специалистов были уверены, что надо учить компьютер принципам тактики и стратегии, или хотя бы накопленному шахматистами опыту оценки позиции - а в итоге победил подход - бросить на перебор как можно больше ресурсов, и ограничиться эвристиками того, когда останавливать перебор, не пытаясь научить программу думать над шахматами "по-человечески". Но, пишет Саттон, и в последние годы, в эпоху успешного рывка вперед нейронных сетей, попытки совместить эти сети с "человекоподобными" моделями неизменно проигрывают системам, которые стремятся более эффективно перемолоть как можно больше данных на мельнице как можно более интенсивной тренировки сети.
Надо отметить, что эссе Саттона полемизирует с другим мнением, которое иногда высказывается - что не следует ожидать от современных нейронных сетей "человекоподобного" эффективного обучения из-за фундаментальных ограничений этого подхода, и именно что следует совмещать их с моделями более "человеческого" мышления, хоть и не так наивно, как в прошлом. Об этом, например, статья Building Machines That Learn and Think Like People, которая меня очень впечатлила пару лет назад и о которой я несколько раз писал.
У меня нет достаточно опыта и экспертизы, чтобы иметь твердое мнение на эту тему, но мне кажется, что краткое и энергичное послание Саттона, пусть я и вижу способы его критиковать, несет в себе убедительный аргумент, требующий серьезного размышления. Мне не нравится думать, что Саттон может быть прав, но не могу отрицать, что история ИИ скорее на его стороне (об отдельных примерах можно спорить).