Oct 04, 2024 23:05
"Эта запись будет интересна тем, кто умеет умножать матрицы."
В последние время в очередной раз участились сообщения о том, что роботы уже почти научились думать, вот, даже логические задачки из журнала "Наука и жизнь" щёлкают как орехи. Ну a мне, наверное, всё некачественные роботы попадаются. Я их тестирую простыми задачками по линейной алгебре, и у меня возникает однозначное ощущение: они себя ведут в точности как плохой студент на экзамене. Речь скорее не о том, что они не могут решить задачу, а о том, как они выкручиваются. Обычно применяют одну из трёх стратегий:
1. "Признаём ошибку": когда экзаменатор говорит, что ответ неверный, студент мгновенно соглашается, истово благодарит, говорит, что "was confused", или что не понял условие, "но теперь-то я его понимаю", и предлагает другое решение - обычно тоже неверное. Если происходит несколько итераций этого процесса, то студент старается "выжать" из замечаний экзаменатора информацию, которая позволит дойти до правильного решения - иногда получается.
2. "Отвлекаем внимание экзаменатора": студент обильно цитирует теоретические результаты и производит вычисления, имеющие касательное отношение к данной задаче. Его цель - отвлечь внимание экзаменатора от задачи и показать, как много он знает по предмету "воообще".
3. "Уходим в несознанку": студент настаивает на своей правоте, приводя нагромождение бессмысленных аргументов, в которых трудно точно указать, где именно ошибка.
Недавно я попросил робота дать пример матрицы А размера 4×4, которая выполняла бы три условия: А2=0; rank(A)=2; все элементы А - целые числа, не равные 0. Иначе говоря, я хочу найти "неочевидную" матрицу с жордановой формой [[0100][0000][0001][0000]]. Робот подумал и дал ответ: [[0110][0011][0001][0000]]. Сразу видно, что эта матрица не выполняет последнее условие, но на самом деле всё ещё смешнее: она не выполняет ни одно из трёх. При этом робот аргументирует ответ:
1. Rank: The rank of А is the dimension of the column space of А. (Знает определение!) The columns of А are linearly dependent, and you can see that there are 2 linearly independent columns. Thus, the rank of А is 2.
О сколько раз я это слышал от живых людей: есть две линейно независимые строчки, поэтому ранг равен 2!
2. Nilpotency (Знает умное слово!): А2 = [[0110][0011][0001][0000]] * [[0110][0011][0001][0000]] = [[0011][0001][0000][0000]]. Again (честное слово, так и написал), А2 = [[0001][0000][0000][0000]]. As you can see, А2 is indeed the zero matrix.
"Тут смешно всё", но уже первое вычисление неверно. Мне так и не удалось заставить его найти А2. Будучи ткнутым в неверный элемент, робот соглашается, отдельно вычисляет его правильно, говорит "You’re right, there was an inconsistency in my previous responses. Let’s recompute the matrix А2 carefully with the corrected values for all entries", и выдаёт тот же неверный ответ.
3. Non-zero Integers: All elements of A are non-zero integers.
Тут никаких аргументов не приводится. Действительно, это же видно сразу!
Мне говорят: ты пользуешься устаревшей моделью, а вот последняя огого! Однако на моей написано 4o mini, и, если я правильно понимаю, она как раз довольно новая. Но даже если нет: зачем вообще выпускать в свет робота, который ошибается в умножении матриц?? Пытаясь найти ответ на этот вопрос, я натыкаюсь на фразу "It excels in reasoning tasks, math, and coding proficiency", и уж совсем не знаю, что и думать.
Наверное, многие из присутствующих тут уже приобрели самую последнюю дорогую модель: можете попробовать скормить ей мою задачку?
Какой вывод из всего этого? Наверное, такой: Робот моделирует не умение думать и решать задачи, робот моделирует умение устроиться в жизни и прослыть умным. Скорее всего, его создали те самые бывшие читеры, которые приходят на экзамен по алгебре, не умея умножать матрицы, однако так-сяк-наперекосяк в конце концов получают диплом (или нет), основывают компании в области с модным названием "искусственный интеллект", и создают там роботов по своему образцу и подобию.
science,
mathematics