остановите все ИИаи
Некоторые места в интренете бурлят на тему этого загадочного письма . В основном, конечно же, потому что его подписал тов. Маск.
Письмо, если коротко, говорит о том, что нужно остановить все тренировке мощных NLP( на самом деле там сказано "более мощных чем GPT-4" , а она мультимодальная, но все же, в первую очередь, ориентированна на NLP) систем, пока другие товарищи не разберутся.
То что там написано - это бред сивой кобылы. И люди которые его написали это отлично понимают. Для того что бы натренировать GPT-2,3,4 нужно 20-60 дней (например гугл говорит что натренировал PaLM за ~64 дня реального времени (т.е. даже с техническими паузами)). Поэтому "остановите тренинг на 6 месяцев", это бессмыслица. Даже если все вдруг будут супер честными, то можно и не тренировать ничего 6 месяцев, а собирать данные, разрабатывать и тестировать новые методы тренировке, пре-тренировать будущую большую или тренировать маленькие вспомогательный модели. В общем, тренировка "некс-биг-ЛЛМ", это не пару месяцев гудения датацентров, а месяцев 6 подготовки, а потом 2 месяца тренировке.
А вот зачем выпускать такое письмо и его пиарить, это вопрос. В зависимости от уровня конспирологии, можно предположить что это просто дополнительный пиар OpenAI и этих GPT (а то там уже конкурентов набежало). Ну или, например, завтра иранские хакеры украдут ваши-наши денежки "с помощью ИИ" (что бы без глупых вопросов) и решение данной проблемы будет:
- введение программируемых денег
- ограничение на использование интернета (а то сейчас даже бабушка может натренировать свой чатГПТ если у нее есть 10-20млн $, а разве это много для иранских хакеров?)
Письмо, если коротко, говорит о том, что нужно остановить все тренировке мощных NLP( на самом деле там сказано "более мощных чем GPT-4" , а она мультимодальная, но все же, в первую очередь, ориентированна на NLP) систем, пока другие товарищи не разберутся.
То что там написано - это бред сивой кобылы. И люди которые его написали это отлично понимают. Для того что бы натренировать GPT-2,3,4 нужно 20-60 дней (например гугл говорит что натренировал PaLM за ~64 дня реального времени (т.е. даже с техническими паузами)). Поэтому "остановите тренинг на 6 месяцев", это бессмыслица. Даже если все вдруг будут супер честными, то можно и не тренировать ничего 6 месяцев, а собирать данные, разрабатывать и тестировать новые методы тренировке, пре-тренировать будущую большую или тренировать маленькие вспомогательный модели. В общем, тренировка "некс-биг-ЛЛМ", это не пару месяцев гудения датацентров, а месяцев 6 подготовки, а потом 2 месяца тренировке.
А вот зачем выпускать такое письмо и его пиарить, это вопрос. В зависимости от уровня конспирологии, можно предположить что это просто дополнительный пиар OpenAI и этих GPT (а то там уже конкурентов набежало). Ну или, например, завтра иранские хакеры украдут ваши-наши денежки "с помощью ИИ" (что бы без глупых вопросов) и решение данной проблемы будет:
- введение программируемых денег
- ограничение на использование интернета (а то сейчас даже бабушка может натренировать свой чатГПТ если у нее есть 10-20млн $, а разве это много для иранских хакеров?)