Впечатления от лекции "Тёмная сторона Гарри Поттера"
Предупреждение: Этот текст содержит существенные спойлеры по книге Элиезера Юдковского "Гарри Поттер и методы рационального мышления".
Поскольку я очень сильно увлечён книгой "Гарри Поттер и методы рационального мышления", сообщение о лекции Марии Штейнман (профессора Школы филологии НИУ ВШЭ) по этой книге меня очень сильно заинтересовало, и я решил, что туда надо сходить обязательно. В анонсе лекция называлась "Тёмная сторона Гарри Поттера".
До лекции я шутил, что судя по анонсу на лекции можно будет узнать много нового, например, о том, как можно неординарно прочитать текст. Сразу скажу, что эти ожидания не оправдались, и вообще анонс я оцениваю как гораздо более провокационный, чем сама лекция.
Сразу замечу, что по моим впечатлениям, Мария Штейнман действительно очень увлечена книгой Юдковского. Да и книгой Роулинг и выросшей вокруг неё вселенной фанфиков тоже. В общем-то, даже беглый поиск по интернету показывает, что ей очень нравится рассуждать на темы фэнтези. С другой стороны, Юдковский, судя по всему, написал очень многогранное произведение, и я не раз видел, как люди рассуждают на тему каких-то одних пластов книги, полностью игнорируя другие (хотя с моей точки зрения эти пласты могут быть очень сильно связаны).
В начале было несколько заявлений о мотивациях авторов (на всякий случай, сразу отмечу, что лектор предупредила, что это лишь предположения). Например, было сказано, что, возможно, импульсом к созданию "ГПиМРМ" послужила экранизация "Гарри Поттера и даров смерти" (которую Мария Штейнман оценивает как неудачную). Также было сказано, что, возможно, появление "Гарри Поттера и проклятого дитя" - это попытка Роулинг конкурировать с "ГПиМРМ", причём попытка провалившаяся.
Лектор упомянула, что Юдковский занимается вопросами искусственного интеллекта и разработкой теории принятия решений. Упомянула несколько его статей. При этом "Цепочки" не были в процессе упомянуты ни разу, как и другие его произведения (хотя тот же "Тройной контакт", с моей точки зрения, довольно близок к тому, что обсуждалось).
Лектор перечисляла, что её больше всего зацепило в "ГПиМРМ". В перечисленное вошло: идея разрушения любых шаблонов, важная роль образования и науки, что Юдковский уничтожил шаблон об унижаемом сироте, заявил, мол, у героя может быть чувство собственного достоинства. Сказала, что чувствует общность с ГП Юдковского, потому что её тоже в детстве во всём поддерживали, покупали все книги, которые она хотела и так далее.
Больше всего времени, по моим ощущениям, на лекции было уделено вопросам этики.
Много было сказано про противопоставление Гарри (и Тома Риддла) и Гермионы. Мол, с одной стороны существует Гарри (который включает в себя Тома Риддла), который консеквенциалист, который считает, что не стоит следовать нормам, которые мешают улучшать мир, который готов убивать Пожирателей Смерти, потому что они в своё время уже сделали свой выбор и тем самым лишились "деонтологической защиты". И вообще основная гипотеза текста: может ли существовать мир, где этика проверяется полезностью здесь и сейчас?
А с другой стороны существует Гермиона, которая не готова выстрелить учебным заклинанием в своего одноклассника. Про этот эпизод Мария Штейнман вообще высказалась: "Понял ли сам Юдковский, что он написал?" Это было в контексте рассуждений про то, что Юдковский много спорит с Толкином, с идеей, что мир спасти может лишь слабый человек. "Лишь слабый человек может служить проводником для провидения, потому что сильный не может отрешиться от своего эго. Чем сильнее человек, тем сильнее в нём Том Риддл." И, с точки зрения лектора, идея о слабом герое раздражает героев Юдковского, и, скорее всего, самого Юдковского. Но при этом, Гермиона, опускающая палочку, - это "победа Фродо".
По мнению лектора, Квиррелл убивает Гермиону, потому что та не предала свои принципы.
При этом, лектор сказала, что по её мнению, Гермиона очень плохо написанный персонаж. Очень плоский. (Хорошо написаны с её точки зрения Гарри, Квиррелл, Снейп, МакГонагалл). Но при этом Гермиона - самый свободный персонаж книги, "актор свободного выбора". (Примерно в этот момент лектор отметила, что, кажется, у неё получается противоречие, но не стала с этим ничего делать). И победа Гермионы доказывает, что все утилитарные морали - это ничто по сравнению с выбором свободного человека. А главный герой постоянно пытается подчинить Гермиону себе.
(С моей точки зрения всё это звучало несколько странно. Во-первых, Гарри постоянно восхищается Гермионой и в некоторых вопросах считает её образцом для подражания. Во-вторых, консеквенциализм вполне допускает, что в каких-то случаях введение жёстких деонтологических правил может приводить к лучшим последствиям. Грубый пример: в каких-то случаях кража может казаться допустимой с точки зрения последствий, но лучше заявить, что красть запрещено всегда, чем заявить, ну, пусть каждый сам решает, когда это можно, а когда нельзя. Впрочем, совсем в явном виде я это начал понимать после "ЧаВо о консеквенциализме" Скотта Александера, и теперь мне сложно понять, насколько это легко выводится из "ГПиМРМ" напрямую.)
Была упомянута и теорема Байеса. Тут Мария Штейнман сказала, что ей жаль, что она не занималась точными науками, и будет хорошо, если её упоминание теоремы Байеса сподвигнет кого-то заняться ими больше. Но теорему Байеса она тоже привязала к этике. Кажется, в основном через личность самого Томаса Байеса, который был математиком и священником. Впрочем, кажется, здесь цепочку рассуждений я до конца не уловил. Я сейчас обнаружил, что Ричард Прайс (друг Байеса, который опубликовал его работу про теорему после его смерти) в предисловии написал, что эта работа доказывает существование Бога, но у меня нет свидетельств, что сам Байес затрагивал в ней какие-то этические вопросы.
Дальше лекция вырулила в вопросы вида: может ли человек создать более этичный или менее этичный ИИ? Можно ли создать светлое научное будущее, которым будет управлять Светлый Лорд из лучших побуждений? Может ли наука стать эффективным ограничителем для такого Светлого Лорда, ведь, не будь Квиррелла, который поставил Гарри ограничитель в виде Обета, Гарри уничтожил бы мир, то есть, наука не является панацеей?
(Здесь у меня сложилось впечатление, что позицию Юдковского редуцировали к позиции просветителей XVIII века, не обращая внимания, что Юдковский про их неудачи тоже в курсе.)
Прозвучали забавные фразы, что в нашей реальности есть вопросы этики, которые сложно решить без таких фанфиков, и как мы вообще дошли до того, что наш нравственный выбор может быть осмыслен лишь в терминах Гарри Поттера.
Немного оказалась затронута тяга Гарри и самого Юдковского к бессмертию. У меня сложилось впечатление, что скорее в отрицательном ключе, мол, ведь есть же что-то более важное, чем наша жизнь? Стремление Гарри и Тома Риддла к бессмертию даже оценили как инфантильную черту. При этом, у меня сложилось впечатление, оказался полностью незамеченным тот факт, что Гарри стремится к бессмертию для всех, а не только для себя.
Примерно на этом месте лекция уже превратилась в разговор с залом.
Вопросы ИИ при обсуждении с залом свелись, по моему впечатлению, к перечислению проблем, упомянутых в достаточно старой фантастике. И более древних источниках, впрочем, в частности, всплыл вопрос, может ли человек создать бога и всё такое. Я в какой-то момент не выдержал и вылез с попыткой "понизить уровень пафоса", мол, проблема с недружественным ИИ, которого опасается Юдковский, не связана с вопросами о создании демиургов. Но когда я смог изложить проблему так, что в ней исчезли вопросы самосознания, враждебных намерений со стороны ИИ и божественные вопросы, мне возразили, что это же луддизм, мол, люди во все времена боялись, что новые технологии приведут к чему-то опасному, но так или иначе всё оказывалось не так страшно. (Я, кстати, уже не первый раз сталкиваюсь с такой реакцией, возможно, людям, которые иногда объясняют другим смысл существования MIRI следует учесть такое возможное возражение.)
Отмечу, что на лекции не было ничего про вопросы улучшения своего мышления, про когнитивные искажения и про "Цуёку наритаи" («Хочу стать сильней!»). Наука упоминалась, но идея Юдковского, что в науке самое важное - это научный метод, а не разнообразные её достижения, не затрагивалась тоже.
Закончилось всё рассуждением на тему, что и в книге, и здесь в рассуждениях, происходит столкновение разных моделей мира. И что хорошо, что у нас разные модели мира, и что никто никого не заставляет принимать свою модель реальности. (Лично мне здесь вспоминаются различные возражения на эту тему самого Юдковского, а также некоторые вопросы из арсенала уличной эпистемологии).
А ещё сказали, что реальность может быть лучше ожиданий :)
Поскольку я очень сильно увлечён книгой "Гарри Поттер и методы рационального мышления", сообщение о лекции Марии Штейнман (профессора Школы филологии НИУ ВШЭ) по этой книге меня очень сильно заинтересовало, и я решил, что туда надо сходить обязательно. В анонсе лекция называлась "Тёмная сторона Гарри Поттера".
До лекции я шутил, что судя по анонсу на лекции можно будет узнать много нового, например, о том, как можно неординарно прочитать текст. Сразу скажу, что эти ожидания не оправдались, и вообще анонс я оцениваю как гораздо более провокационный, чем сама лекция.
Сразу замечу, что по моим впечатлениям, Мария Штейнман действительно очень увлечена книгой Юдковского. Да и книгой Роулинг и выросшей вокруг неё вселенной фанфиков тоже. В общем-то, даже беглый поиск по интернету показывает, что ей очень нравится рассуждать на темы фэнтези. С другой стороны, Юдковский, судя по всему, написал очень многогранное произведение, и я не раз видел, как люди рассуждают на тему каких-то одних пластов книги, полностью игнорируя другие (хотя с моей точки зрения эти пласты могут быть очень сильно связаны).
В начале было несколько заявлений о мотивациях авторов (на всякий случай, сразу отмечу, что лектор предупредила, что это лишь предположения). Например, было сказано, что, возможно, импульсом к созданию "ГПиМРМ" послужила экранизация "Гарри Поттера и даров смерти" (которую Мария Штейнман оценивает как неудачную). Также было сказано, что, возможно, появление "Гарри Поттера и проклятого дитя" - это попытка Роулинг конкурировать с "ГПиМРМ", причём попытка провалившаяся.
Лектор упомянула, что Юдковский занимается вопросами искусственного интеллекта и разработкой теории принятия решений. Упомянула несколько его статей. При этом "Цепочки" не были в процессе упомянуты ни разу, как и другие его произведения (хотя тот же "Тройной контакт", с моей точки зрения, довольно близок к тому, что обсуждалось).
Лектор перечисляла, что её больше всего зацепило в "ГПиМРМ". В перечисленное вошло: идея разрушения любых шаблонов, важная роль образования и науки, что Юдковский уничтожил шаблон об унижаемом сироте, заявил, мол, у героя может быть чувство собственного достоинства. Сказала, что чувствует общность с ГП Юдковского, потому что её тоже в детстве во всём поддерживали, покупали все книги, которые она хотела и так далее.
Больше всего времени, по моим ощущениям, на лекции было уделено вопросам этики.
Много было сказано про противопоставление Гарри (и Тома Риддла) и Гермионы. Мол, с одной стороны существует Гарри (который включает в себя Тома Риддла), который консеквенциалист, который считает, что не стоит следовать нормам, которые мешают улучшать мир, который готов убивать Пожирателей Смерти, потому что они в своё время уже сделали свой выбор и тем самым лишились "деонтологической защиты". И вообще основная гипотеза текста: может ли существовать мир, где этика проверяется полезностью здесь и сейчас?
А с другой стороны существует Гермиона, которая не готова выстрелить учебным заклинанием в своего одноклассника. Про этот эпизод Мария Штейнман вообще высказалась: "Понял ли сам Юдковский, что он написал?" Это было в контексте рассуждений про то, что Юдковский много спорит с Толкином, с идеей, что мир спасти может лишь слабый человек. "Лишь слабый человек может служить проводником для провидения, потому что сильный не может отрешиться от своего эго. Чем сильнее человек, тем сильнее в нём Том Риддл." И, с точки зрения лектора, идея о слабом герое раздражает героев Юдковского, и, скорее всего, самого Юдковского. Но при этом, Гермиона, опускающая палочку, - это "победа Фродо".
По мнению лектора, Квиррелл убивает Гермиону, потому что та не предала свои принципы.
При этом, лектор сказала, что по её мнению, Гермиона очень плохо написанный персонаж. Очень плоский. (Хорошо написаны с её точки зрения Гарри, Квиррелл, Снейп, МакГонагалл). Но при этом Гермиона - самый свободный персонаж книги, "актор свободного выбора". (Примерно в этот момент лектор отметила, что, кажется, у неё получается противоречие, но не стала с этим ничего делать). И победа Гермионы доказывает, что все утилитарные морали - это ничто по сравнению с выбором свободного человека. А главный герой постоянно пытается подчинить Гермиону себе.
(С моей точки зрения всё это звучало несколько странно. Во-первых, Гарри постоянно восхищается Гермионой и в некоторых вопросах считает её образцом для подражания. Во-вторых, консеквенциализм вполне допускает, что в каких-то случаях введение жёстких деонтологических правил может приводить к лучшим последствиям. Грубый пример: в каких-то случаях кража может казаться допустимой с точки зрения последствий, но лучше заявить, что красть запрещено всегда, чем заявить, ну, пусть каждый сам решает, когда это можно, а когда нельзя. Впрочем, совсем в явном виде я это начал понимать после "ЧаВо о консеквенциализме" Скотта Александера, и теперь мне сложно понять, насколько это легко выводится из "ГПиМРМ" напрямую.)
Была упомянута и теорема Байеса. Тут Мария Штейнман сказала, что ей жаль, что она не занималась точными науками, и будет хорошо, если её упоминание теоремы Байеса сподвигнет кого-то заняться ими больше. Но теорему Байеса она тоже привязала к этике. Кажется, в основном через личность самого Томаса Байеса, который был математиком и священником. Впрочем, кажется, здесь цепочку рассуждений я до конца не уловил. Я сейчас обнаружил, что Ричард Прайс (друг Байеса, который опубликовал его работу про теорему после его смерти) в предисловии написал, что эта работа доказывает существование Бога, но у меня нет свидетельств, что сам Байес затрагивал в ней какие-то этические вопросы.
Дальше лекция вырулила в вопросы вида: может ли человек создать более этичный или менее этичный ИИ? Можно ли создать светлое научное будущее, которым будет управлять Светлый Лорд из лучших побуждений? Может ли наука стать эффективным ограничителем для такого Светлого Лорда, ведь, не будь Квиррелла, который поставил Гарри ограничитель в виде Обета, Гарри уничтожил бы мир, то есть, наука не является панацеей?
(Здесь у меня сложилось впечатление, что позицию Юдковского редуцировали к позиции просветителей XVIII века, не обращая внимания, что Юдковский про их неудачи тоже в курсе.)
Прозвучали забавные фразы, что в нашей реальности есть вопросы этики, которые сложно решить без таких фанфиков, и как мы вообще дошли до того, что наш нравственный выбор может быть осмыслен лишь в терминах Гарри Поттера.
Немного оказалась затронута тяга Гарри и самого Юдковского к бессмертию. У меня сложилось впечатление, что скорее в отрицательном ключе, мол, ведь есть же что-то более важное, чем наша жизнь? Стремление Гарри и Тома Риддла к бессмертию даже оценили как инфантильную черту. При этом, у меня сложилось впечатление, оказался полностью незамеченным тот факт, что Гарри стремится к бессмертию для всех, а не только для себя.
Примерно на этом месте лекция уже превратилась в разговор с залом.
Вопросы ИИ при обсуждении с залом свелись, по моему впечатлению, к перечислению проблем, упомянутых в достаточно старой фантастике. И более древних источниках, впрочем, в частности, всплыл вопрос, может ли человек создать бога и всё такое. Я в какой-то момент не выдержал и вылез с попыткой "понизить уровень пафоса", мол, проблема с недружественным ИИ, которого опасается Юдковский, не связана с вопросами о создании демиургов. Но когда я смог изложить проблему так, что в ней исчезли вопросы самосознания, враждебных намерений со стороны ИИ и божественные вопросы, мне возразили, что это же луддизм, мол, люди во все времена боялись, что новые технологии приведут к чему-то опасному, но так или иначе всё оказывалось не так страшно. (Я, кстати, уже не первый раз сталкиваюсь с такой реакцией, возможно, людям, которые иногда объясняют другим смысл существования MIRI следует учесть такое возможное возражение.)
Отмечу, что на лекции не было ничего про вопросы улучшения своего мышления, про когнитивные искажения и про "Цуёку наритаи" («Хочу стать сильней!»). Наука упоминалась, но идея Юдковского, что в науке самое важное - это научный метод, а не разнообразные её достижения, не затрагивалась тоже.
Закончилось всё рассуждением на тему, что и в книге, и здесь в рассуждениях, происходит столкновение разных моделей мира. И что хорошо, что у нас разные модели мира, и что никто никого не заставляет принимать свою модель реальности. (Лично мне здесь вспоминаются различные возражения на эту тему самого Юдковского, а также некоторые вопросы из арсенала уличной эпистемологии).
А ещё сказали, что реальность может быть лучше ожиданий :)