О бесполезных и полезных бенчмарках LLM, и творческих способностях ИИ
Даже в такой малопопулярной (хотя казалось бы, должно быть наоборот) теме, как "творческий ИИ", постоянно появляются новые интересные исследования. Конечно, поток статей тут намного жиже, чем в мейнстиме про новые LLM'ки, где ни дня без новой модели-убийцы chatgpt. Но зато какие брильянты попадаются - закачаешься! Сейчас расскажу про один пейпер.
( Read more... )
Comments 2
Ну, тут но не совсем про творчество. В такой постановке (критерий оценки интерпретации и шкала) они просто оценивали словарный запас и знание семантики языка. Так что вывод "GPT4 знает больше семантических связей в языке, чем средний человек", ну а что ожидали то? Было бы странно.
А вот дальше дополнение, оно содержательное как раз (по мне). Они часть метафор переворачивали и такие перевёрнутые заставляли объяснять. Человеки ожидаемо ощущали некую "неправильность" такого фокуса: даже у творчества есть законы. И часто (в половине случаев) начинали объяснять, как если бы это была оригинальная метафора, переворачивая её в голове обратно. Причём не все, там были явные предпочтения ("более неправильные" перевороты). И вот гэпэтеха у них себя ведёт в точности как средний человек: такой же процент переворотов, и именно на тех же метафорах.
Вот это интересно: не то, что модель семантику заучила лучше кожаных, а что она уже "ошибки" выдаёт как носитель, те же и там же.
Reply
Reply
Leave a comment