ИИ - новая эпоха чат-ботов
Советую всем кому ценно его творчество, чтобы какой-то очередной бот бесплатно не поимел ваши тексты, без вашего согласия и конечно же без копирайтов, просто запереть свой аккаунт только для зарегистрированых пользователей, чтобы никакие боты не могли их проиндексировать и украсть. С одной стороны это уничтожит СЕО-оптимизацию, конечно же, и поисковые машины перестанут вам приводить пользователей, а с другой, под такие задачи можно текст нахерячить с помощью того же чат-бота, и приписку сделать, что это СЕО-текст для привлечения трафика, а человеческий контент вы держите вдали от этих ботов крадунов, только для людей зарегистрированных.
В будущем я верю так и будет. Все человеческие тексты будут под замком. Это неизбежно, т.к. надо обязательно разделить человеческий контент от текстов ИИ, иначе в принципе ИИ через лет 5 придет конец. Вот цитата:
![]()
Люди завалили планету мусором, а генеративный ИИ завалит мусором Интернет.
Росс Андерсон предупреждает об интеллектуальном вырождении новых поколений моделей.
• Всего 6 месяцев прошло с начала эпохи генеративного ИИ, когда ChatGPT за считанные дни покорил весь мир.
• Всего 6 месяцев потребовалось, чтобы до половины сотрудников некоторых ведущих мировых компаний стали использовать этот тип технологий в своих рабочих процессах, а сотни компании стали предлагать все новые продукты со встроенным генеративным ИИ.
• И всего 6 месяцев потребовалось, чтобы понять, в какую пропасть деградации интеллекта может привести расцвет генеративного ИИ на Земле.
Об этом предупреждает Росс Андерсон - как гласит его номинация в члены Королевского общества, - «пионер и мировой лидер в области инженерии безопасности». Андерсен - один из лучших специалистов в мире по обнаружению слабостей в системах безопасности и алгоритмах. Он член Королевской инженерной академии и профессор персональной кафедры безопасности и компьютерной лаборатории Кембриджского университета, а также один из самых известных отраслевых консультантов в области инфобезопасности. Его работы заложили основы построения моделей угроз для широкого круга приложений, от банковского дела до здравоохранения.
И вот теперь Росс Андерсон предупреждает о новой, теперь глобальной угрозе для всего человечества - коллапсе больших языковых моделей (LLM).
До 2023 большая часть текстов в Интернете была написана людьми. И эти тексты использовались для обучения LLM, превращающихся в основной инструмент редактирования и порождения новых текстов.
Теперь все больше и больше текста будет писаться большими языковыми моделями.
Куда все это ведет?
Что произойдет с GPT-N, когда LLM внесут значительную часть текстов в Интернет?
И речь не только про тексты. Если вы обучаете музыкальную модель Моцарту, вы можете ожидать, что результат будет немного похож на Моцарта, но без блеска - назовем его «Сальери». И если потом Сальери обучит следующее поколение и т.д., то как будет звучать пятое или шестое поколение?
Помните комедию «Множественность» с Майклом Китоном в главной роли, в которой скромный человек клонирует себя, а затем клонирует клонов, каждое поколение которых ведет к экспоненциальному снижению уровня интеллекта и увеличению глупости клона.
Так вот с LLM будет происходить то же самое. Использование для обучения модели контента, сгенерированного моделью, вызывает необратимые дефекты. Хвосты исходного распределения контента исчезают. В течение нескольких поколений текст становится мусором, поскольку распределения Гаусса сходятся и могут даже стать дельта-функциями. Более поздние поколения начинают производить образцы, которые никогда не были бы произведены оригинальной моделью, т.е. они начинают неправильно воспринимать реальность, основываясь на ошибках, внесенных их предками.
И это называется «коллапс модели», в результате которого:
✔️ Интернет все более будет забиваться чушью;
✔️ а люди, которые, наряду с LLM, будут этой чушью информационно напитываться, будут неумолимо глупеть.
Но есть и хорошая новость. Коллапса моделей можно попытаться избежать.
Об этом читайте сами:
- популярно: https://venturebeat.com/ai/the-ai-feedback-loop-researchers-warn-of-model-collapse-as-ai-trains-on-ai-generated-content/
- подробно и сложно https://arxiv.org/abs/2305.17493v2
В будущем я верю так и будет. Все человеческие тексты будут под замком. Это неизбежно, т.к. надо обязательно разделить человеческий контент от текстов ИИ, иначе в принципе ИИ через лет 5 придет конец. Вот цитата:
Люди завалили планету мусором, а генеративный ИИ завалит мусором Интернет.
Росс Андерсон предупреждает об интеллектуальном вырождении новых поколений моделей.
• Всего 6 месяцев прошло с начала эпохи генеративного ИИ, когда ChatGPT за считанные дни покорил весь мир.
• Всего 6 месяцев потребовалось, чтобы до половины сотрудников некоторых ведущих мировых компаний стали использовать этот тип технологий в своих рабочих процессах, а сотни компании стали предлагать все новые продукты со встроенным генеративным ИИ.
• И всего 6 месяцев потребовалось, чтобы понять, в какую пропасть деградации интеллекта может привести расцвет генеративного ИИ на Земле.
Об этом предупреждает Росс Андерсон - как гласит его номинация в члены Королевского общества, - «пионер и мировой лидер в области инженерии безопасности». Андерсен - один из лучших специалистов в мире по обнаружению слабостей в системах безопасности и алгоритмах. Он член Королевской инженерной академии и профессор персональной кафедры безопасности и компьютерной лаборатории Кембриджского университета, а также один из самых известных отраслевых консультантов в области инфобезопасности. Его работы заложили основы построения моделей угроз для широкого круга приложений, от банковского дела до здравоохранения.
И вот теперь Росс Андерсон предупреждает о новой, теперь глобальной угрозе для всего человечества - коллапсе больших языковых моделей (LLM).
До 2023 большая часть текстов в Интернете была написана людьми. И эти тексты использовались для обучения LLM, превращающихся в основной инструмент редактирования и порождения новых текстов.
Теперь все больше и больше текста будет писаться большими языковыми моделями.
Куда все это ведет?
Что произойдет с GPT-N, когда LLM внесут значительную часть текстов в Интернет?
И речь не только про тексты. Если вы обучаете музыкальную модель Моцарту, вы можете ожидать, что результат будет немного похож на Моцарта, но без блеска - назовем его «Сальери». И если потом Сальери обучит следующее поколение и т.д., то как будет звучать пятое или шестое поколение?
Помните комедию «Множественность» с Майклом Китоном в главной роли, в которой скромный человек клонирует себя, а затем клонирует клонов, каждое поколение которых ведет к экспоненциальному снижению уровня интеллекта и увеличению глупости клона.
Так вот с LLM будет происходить то же самое. Использование для обучения модели контента, сгенерированного моделью, вызывает необратимые дефекты. Хвосты исходного распределения контента исчезают. В течение нескольких поколений текст становится мусором, поскольку распределения Гаусса сходятся и могут даже стать дельта-функциями. Более поздние поколения начинают производить образцы, которые никогда не были бы произведены оригинальной моделью, т.е. они начинают неправильно воспринимать реальность, основываясь на ошибках, внесенных их предками.
И это называется «коллапс модели», в результате которого:
✔️ Интернет все более будет забиваться чушью;
✔️ а люди, которые, наряду с LLM, будут этой чушью информационно напитываться, будут неумолимо глупеть.
Но есть и хорошая новость. Коллапса моделей можно попытаться избежать.
Об этом читайте сами:
- популярно: https://venturebeat.com/ai/the-ai-feedback-loop-researchers-warn-of-model-collapse-as-ai-trains-on-ai-generated-content/
- подробно и сложно https://arxiv.org/abs/2305.17493v2