Google разрабатывает новую архитектуру нейросетей, способных выполнять сразу множество задач
2 ноября 2021 года стало известно о том, что в компании Google ведутся разработки проекта Pathways, архитектуры нейронных сетей, которые смогут выполнять сразу множество разных задач.
Google разрабатывает новую архитектуру нейросетей, способных выполнять сразу множество задач.
Как сообщалось, на октябрь 2021 года нейросети тренируют, как правило, на выполнение какой-то одной задачи. Например, если нейросеть используется для исправления ошибок в написании слов, то, если ее перетренировать на поиск грамматических ошибок, она забудет, как исправлять орфографические.
«Примерно так тренируются большая часть моделей машинного обучения. Вместо того, чтобы расширять существующие модели для обучения различным задачам, мы тренируем модели с нуля - для выполнения одной-единственной задачи. Как следствие, мы вырабатываем тысячи моделей для тысяч индивидуальных задач. В результате обучение задаче не только занимает больше времени, но и требует больше данных.
написал в блоге компании ее вице-президент Джефф Дин (Jeff Dean)»
В Google указывают, что архитектура Pathways призвана изменить это: нейросети вполне можно натаскивать на выполнение множества разных задач, считают в компании. Идея состоит в том, чтобы обучать будущие системы ИИ сразу множеству навыков, которые та могла бы использовать и комбинировать для того, чтобы самостоятельно обучаться выполнению различных задач.
«Мы хотели бы иметь возможность тренировать модель так, чтобы она могла не только выполнять сразу несколько различных задач, но также использовать и комбинировать уже выработанные навыки для обучения задачам - быстрее и эффективнее. В частности, то, что модель узнает, обучаясь одной задаче, например, то, как по авиационным фотоснимкам выявлять возвышенности ландшафта, может помочь выполнению другой задачи - прогнозированию того, как по данной местности будут протекать потоки воды. Мы хотим, чтобы модель имела различные возможности, которые можно было бы использовать по мере надобности, и которые можно было бы комбинировать для выполнения других, более сложных задач. Это небольшой шаг к тому, как мозг млекопитающих обобщает разные задачи.
написал Дин»
В Google также указывают, что Pathways позволит реализовать мультимодальные модели, которые будут способны обрабатывать и понимать входящие визуальные, акустические и языковые данные - все одновременно. Так, чтобы когда машина имела дело со словом «леопард» или слышала, как кто-то произносит это слово, или анализировала видеозапись с изображением бегущего леопарда, реакция была бы одинаковой во всех трех случаях: машина распознавала бы идею леопарда.
Еще одной проблемой, с которой Pathway должен будет помочь справиться, заключается в том, что на ноябрь 2021 года модели машинного обучения предполагают задействование всех нейроузлов сети, вне зависимости от того, насколько простой или сложной является задача. В Google полагают, что можно добиться «разреженной» активации, то есть, направлять задачи лишь на отдельные массивы нейроузлов. Такой подход еще и куда менее энергозатратен.
Концепция разреженной нейросети уже применена в проектах Google Switch Transformer, модели для понимания естественного языка, и Gshard. Они потребляют всего лишь одну десятую энергии, которую пришлось бы расходовать на более традиционную нейросеть, где активируются все нейроузлы разом.
В будущем Google ожидает, что Pathways приведет к созданию нейросетей, способных выполнять миллионы различных задач, проводить обобщения между ними, комбинировать их по мере надобности, понимать различные типы данных и работать с ними более эффективно. Целью проекта является переход «от эры однозадачных моделей, которые просто распознают паттерны, к многозадачным интеллектуальным системам, которые отражают более глубинное понимание нашего мира и могут адаптироваться к потребностям».
Google разрабатывает новую архитектуру нейросетей, способных выполнять сразу множество задач.
Как сообщалось, на октябрь 2021 года нейросети тренируют, как правило, на выполнение какой-то одной задачи. Например, если нейросеть используется для исправления ошибок в написании слов, то, если ее перетренировать на поиск грамматических ошибок, она забудет, как исправлять орфографические.
«Примерно так тренируются большая часть моделей машинного обучения. Вместо того, чтобы расширять существующие модели для обучения различным задачам, мы тренируем модели с нуля - для выполнения одной-единственной задачи. Как следствие, мы вырабатываем тысячи моделей для тысяч индивидуальных задач. В результате обучение задаче не только занимает больше времени, но и требует больше данных.
написал в блоге компании ее вице-президент Джефф Дин (Jeff Dean)»
В Google указывают, что архитектура Pathways призвана изменить это: нейросети вполне можно натаскивать на выполнение множества разных задач, считают в компании. Идея состоит в том, чтобы обучать будущие системы ИИ сразу множеству навыков, которые та могла бы использовать и комбинировать для того, чтобы самостоятельно обучаться выполнению различных задач.
«Мы хотели бы иметь возможность тренировать модель так, чтобы она могла не только выполнять сразу несколько различных задач, но также использовать и комбинировать уже выработанные навыки для обучения задачам - быстрее и эффективнее. В частности, то, что модель узнает, обучаясь одной задаче, например, то, как по авиационным фотоснимкам выявлять возвышенности ландшафта, может помочь выполнению другой задачи - прогнозированию того, как по данной местности будут протекать потоки воды. Мы хотим, чтобы модель имела различные возможности, которые можно было бы использовать по мере надобности, и которые можно было бы комбинировать для выполнения других, более сложных задач. Это небольшой шаг к тому, как мозг млекопитающих обобщает разные задачи.
написал Дин»
В Google также указывают, что Pathways позволит реализовать мультимодальные модели, которые будут способны обрабатывать и понимать входящие визуальные, акустические и языковые данные - все одновременно. Так, чтобы когда машина имела дело со словом «леопард» или слышала, как кто-то произносит это слово, или анализировала видеозапись с изображением бегущего леопарда, реакция была бы одинаковой во всех трех случаях: машина распознавала бы идею леопарда.
Еще одной проблемой, с которой Pathway должен будет помочь справиться, заключается в том, что на ноябрь 2021 года модели машинного обучения предполагают задействование всех нейроузлов сети, вне зависимости от того, насколько простой или сложной является задача. В Google полагают, что можно добиться «разреженной» активации, то есть, направлять задачи лишь на отдельные массивы нейроузлов. Такой подход еще и куда менее энергозатратен.
Концепция разреженной нейросети уже применена в проектах Google Switch Transformer, модели для понимания естественного языка, и Gshard. Они потребляют всего лишь одну десятую энергии, которую пришлось бы расходовать на более традиционную нейросеть, где активируются все нейроузлы разом.
В будущем Google ожидает, что Pathways приведет к созданию нейросетей, способных выполнять миллионы различных задач, проводить обобщения между ними, комбинировать их по мере надобности, понимать различные типы данных и работать с ними более эффективно. Целью проекта является переход «от эры однозадачных моделей, которые просто распознают паттерны, к многозадачным интеллектуальным системам, которые отражают более глубинное понимание нашего мира и могут адаптироваться к потребностям».