Низкоэнтропийный искусственный интеллект

[krre31]

Зашёл утром в интернет, а там везде пишут про OpenAI o1. На Хабре вся новостная лента в o1. YouTube вот-вот треснет от роликов про o1. В Телегу заходить вообще боюсь. Оказывается, ночью случилось событие года - Open AI выпустили свою новую языковую модель, которая, конечно, в 100 раз лучше, чем предыдущая GPT-4o, а та была в 100 раз лучше, чем GPT-

Comments

[ext_6454735]

"Мистические черты" ??? А-ХА-ХА !!!

Я давно изучаю "ИИ" еще с тех пор как начал изучать алгоритмы шахматных программ в 90-х. Если обобщить, то в ИИ последних лет используется один и тот же простейший принцип. Достаточно его понять, и "ИИ" превратиться из "чёрного ящика" в довольно простой и понятный механизм. Возьмем, к примеру, шахматы. Классические шахматные программы перебирают варианты ходов, оценивая позиции. Современные нейросети в шахматах, такие как в AlphaZero, обучаются, постепенно корректируя веса для лучшей оценки позиций и выбора ходов. Но даже они ограничены последовательным перебором.

Вот вы и упускаете ключевой момент: суть обучения нейросетей - это тот же "перебор", поиск оптимальной комбинации весов путём постепенного перебора огромного количества вариантов приближаясь к решению очень мелкими шажками.

Квантовые компьютеры идеально подходят для такой задачи благодаря суперпозиции и квантовому параллелизму. Они могут одновременно исследовать множество состояний весов, что потенциально ускорит процесс обучения на порядки. Представьте: вместо постепенного приближения к оптимальным весам, КК мгновенно исследует все возможные комбинации и находит глобальный оптимум. Это не просто ускорение - это качественный скачок. Кроме того, если обучение нейросетей будет занимать не годы и месяцы, а секунды, то станет возможным ИИ, который непрерывно самообучается, у которого память временного контекста добавляется к обучающим данным и мгновенно интегрируется в его общую модель мира. Это позволит создать по-настоящему адаптивный ИИ, способный учиться в реальном времени. В отличии от современных систем ИИ, которые обучаются на фиксированных наборах данных и затем применяют полученные знания без существенных изменений, квантовый ИИ сможет постоянно обновлять свою модель мира. Это приблизит нас к AGI.

Кстати, согласно исследованиям, наш мозг имеет квантовые свойства благодаря микротрубочкам в нейронах. Эти структуры могут поддерживать квантовую когерентность, что потенциально объясняет некоторые аспекты сознания и мышления.

[krre31]

Про микротрубочки и квантовые эффекты в нейронах - это Пенроуз выдумал. Я даже писал об этом в одной из своих статей. Пока это только гипотеза, а точно никто не знает, задействованы ли квантовые эффекты в работе сознания.

Ну, если квантовые компьютеры настолько удобны для обучения нейросетей, то пусть используются. Правда, что-то я пока не наблюдаю особого ажиотажа в их применении для ИИ.

[ext_6454735]

А всё потому что если сравнивать масштабы развития, то КК сейчас находятся на ранней стадии развития, аналогичной первым ламповым компьютерам середины 20-го века. Они громоздки, требуют специальных условий для работы и пока ограничены в своих возможностях. Современные LLM оперируют миллиардами параметров, в то время как текущие квантовые системы способны работать лишь с десятками или сотнями кубитов. Этот разрыв в масштабах делает прямое применение КК для LLM на сегодняшний день непрактичным.

Для понимания размеров пропасти отставания КК:

1) На сегодняшний день самым мощным квантовым компьютером является IBM Quantum Condor, который был представлен в 2023 году и обладает 433 кубитами.

2) Модель Llama 3 от компании Meta включает в себя несколько вариантов, среди которых самая мощная версия имеет 400 миллиардов параметров.

Поэтому и прогозирую что КК свое покажут через N лет, когда пройдут свой путь развития как это сделали обычные компьютеры.

Ну а пока что, компенсировать отсутствие гроккинга в LLM будут через наращивание количества параметров, одновременно повышая мощность оборудования для обучения. Таким образом действительно можно некоторое время улучшать LLM-ки и выпускать всё более и более умные ИИ-шки. Потому что если у тебя каждые N месяцев оборудование становится в N раз мощнее, то ты можешь тратить меньше денег и либо увеличивать параметры либо увеличивать время обучения (либо всё вместе), получая более способную LLM... Ну а потом, когда упрутся в очередной барьер, неизбежно будут использованы КК, это просто неизбежность как по мне.

ps. Кстати я ошибся, на КК уже запускали квантовую нейросеть. Самую примитивную, которую позволил КК:
В 2018 году команда Google AI Quantum и NASA Ames Research Center опубликовала статью, в которой описывалась работа простой квантовой нейронной сети на 19-кубитном квантовом процессоре.

https://www.linkedin.com/pulse/quantum-neural-networks-history-qnns-googles-ai-utkarsh-priyam

[krre31]

Что ж, пожелаем квантовым компьютерам успеха! :))