чат, напиши мне статью!
Искусственный интеллект, конечно, всё больше и больше проникает во все сферы жизни, и я сама его использую с большим энтузиазмом, но есть все-таки какие-то разумные грани добра и зла. Когда якобы приличное издательство публикует статью, которая прошла и независимых рецензентов, и редакторов, а там прямо в самом начале НЕ удаленное предложение, явно
( Read more... )
В 2005 году появилась программа SciGen (доступна онлайн и сейчас), и сразу несколько групп шутников или пранкеров начали с ее помощью генерить статьи и отправлять в самые разные журналы, а после публикации - объявлять о пранке.
И знаете, им удавалось просунуть больше сотни таких статей в, например, один конкретный немецкий научный журнал. То есть редколлегия и рецензенты знали что есть такие розыгрыши, больше сотни раз сталкивались с ними _сами_, потеряли на этом прорву репутации - но все равно снова и снова публиковали, потому что либо не могли понять что это бред, либо им было все равно. А таких журналов сейчас сотни, если не тысячи (опять же, спасибо индексу Хирша, возродившему рынок мусорных научных журналов, печатающих что угодно за небольшие деньги - но это в полной степени касается и больших, уважаемых журналов). Если интересен российский вариант пранка, гуглите по словам "алгоритм корчеватель", там накрыли ваковский журнал - скандал был такой, что его пришлось закрыть.
Загадочное нумерологическое совпадение - печально известный индекс хирша, превративший научную деятельность в соревнование за аналог рейтинга в соцсетях, придумали тоже в 2005. Поневоле задумаешься что полезный инструмент появляется когда в нем возникает нужда.
Например, один из пранкеров, представляющийся выдуманным несуществующим ученым, довел свой индекс хирша до того, что стал 21м по цитируемости _в мире_. в 2008м, кажется. То есть если летит астероид и мы собираем команду из 22 самых известных и востребованных ученых планеты, один из них - выдуманный персонаж с полностью сгенерированным портфолио. По некоторым оценкам, около 20% находящихся в архивах научных работ сгенерирована. Пессимисты считают, что если прибавить к ним написанное "из-под палки ради накрутки индекса хирша" (если индекс хирша падает ниже порогового, с вами просто не продлят трудовой договор - фактически уволят без выплат, причем это касается не только ученых, но даже преподов в вузах. Потому они пишут просто какие-то статьи с кучей соавторов, в которых ссылаются друг на друга - ну вот как накрутка соцкапа в жж) - так вот, если приплюсовать мусорные статьи, написанные живыми людьми из-под палки, то доля вырастет до 80%.
Другими словами, слепо доверять научной статье сейчас так же разумно, как слепо верить новостному каналу.
Ваши китайцы просто чуть циничнее прочих.
Reply
Спасибо за интересный комментарий! Кажется, что и вы тоже не совсем верно поняли мой пост. Я работаю в науке очень давно и прекрасно знаю и про накрутку хирша, и про фейковые статьи. И меня не удивляет то, что статьи бывают сгенерированными, и не удивляют эти самые горемычные китайцы. Меня удивляет недобросовестность редакторов и рецензентов, которые настолько НЕ читали опус, что пропустили первое же предложение-прелюдию к введению. Вот это уже на мой взгляд совсем дно.
Reply
В молодости я работал в издательстве, верстал и был корректором. И не такое пропускали. Скажем, после того как сверстали страницу, ее (уже в макете) должен вычитать корректор, автор, главный редактор, потом еще раз смотрит другой верстальщик при выводе пленок. Потом приходит тираж, я распечатываю пачку, открываю на случайной странице - и бах, там четыре графика, все абсолютно одинаковые, только разные подписи. Я тихонько закрыл и судя по тому что никто не пришел разбираться - я единственный кто вообще заметил.
Кстати, я уже тогда понял про качество, скажем статья по курсу доллара (в 90е была мега-популярная тема). Автор, студент с гуманитарным образованием, берет график и пишет "в первой половине месяца курс рос, пока не зафиксировался на такой-то отметке, а в двадцатых числах, после небольшого плато, начал падать и достиг такой-то отметки". Потом также пишет про марки и фунты. Все, весь "анализ", высокооплачиваемый автор престижного журнала просто словами описал график, который стоит рядом с текстом. Собственно, я уже тогда понял что надо делать вместо них программу, пишущую такие статьи. Меня тогда остановила только невозможность получить их зарплату за это.
С другой стороны, я сам рецензировал. Когда реально вчитываешься в текст, даже коллеги смотрят с недоумением, а у автора четкое ощущение что ты его "валишь" из чистой злобы, лезешь в грязных лаптях в его исследование и так далее (я утрирую, но почти цитата). Формат роли рецензента не подразумевает даже правки текста, в самом жестком случае просто какие-то общие рекомендации по стилю.
В данном случае рецензент мог не знать про такую особенность - я например не увлекаюсь чатгпт и не узнал бы его стандартных подводок без вашего замечания.
Reply
Именно поэтому я давно проповедую публиковать исключительно подробную методологию и обязательно включать сырые данные, чтобы исследование можно было воспроизвести. При этом введение и выводы можно опускать. Потому что авторы совершают ошибки, а то и что похуже, рецензенты даже если хорошие, то не всегда специалисты в теме работы, а на дворе политика и нужно соотвествовать, особенно в злободневных темах. Вот и получается, что сырые данные это единственное чему можно относительно доверять.
Reply
Так что править надо совсем не в этой консерватории. Пока единственным(!) критерием научной деятельности будет хирш, научная деятельность будет вот такая. Альтернатива как в 18м веке - обеспеченные одиночки, тратящие в собственных лабораториях собственное наследство в собственное удовольствие.
Ну, хотя я утрирую - есть еще некая надежда на корпоративные R&D, может там хоть какая-то научная традиция сохранится. Хотя бы в прикладных исследованиях. Все задом наперед стало - раньше их наоборот, презирали.
Reply
Да, всё так. Я бы даже обобщил, если какая-либо деятельность оценивается только по KPI, то KPI будет единственной целью деятельности.
А насчёт корп - смотря какой корп, большие корпорации нынче те ещё богадельни. Только если средне-мелкие конторы с небольшим бюрократическим оверхедом.
Reply
Reply
Leave a comment