Самый большой микропроцессор в мире
На работе я периодически рассказываю коллегам о разных диковинах из мира IT. Почему бы не рассказать и здесь - наверняка многие из вас о таком не слышали. Да, порой «самый большой микропроцессор в мире» - это не концовка анекдота про техническую отсталость, а наоборот, свидетельство технических достижений.
Компания Cerebras Systems в прошлом году представила новую версию гигантской микросхемы Wafer Scale Engine (WSE). Её габариты - 215 × 215 мм. Это самый большой квадрат, который можно вписать в типовую 300-мм кремниевую пластину. Отсюда и название микросхемы: пластину, расчерченную на прямоугольные заготовки чипов, вполне официально именуют «вафлей». Только вот в данном случае разрезать «вафлю» на отдельные чипы не предполагается: деление на 84 блока вызвано лишь ограничениями фотолитографической технологии производства, которая не позволяет создавать цельные структуры размером больше 26 × 33 мм.
Микросхема WSE Generation 2 изготовлена по современному 7-нм техпроцессу и содержит умопомрачительные 2,6 триллиона транзисторов, объединённых в 850 000 вычислительных ядер. Гигантский размер - не рекорд ради рекорда. Размещение огромного количества ядер на одном кристалле имеет существенные практические преимущества при моделировании нейронных сетей - а именно для этой цели предназначен новый супер-чип.
В настоящее время большая часть нейровычислений выполняется при помощи графических процессоров (GPU). Они подходят для этого лучше, чем CPU, поскольку содержат множество блоков, способных работать параллельно, и могут быстро выполнять операции над матрицами, к которым по большей части и сводится работа искусственных нейросетей. Но всё-таки изначально GPU разрабатывались с другими целями, и почти 90% их площади занимают компоненты, которые не могут быть использованы для задач искусственного интеллекта. Да и объём памяти на кристалле, которым располагают GPU, для этих целей слишком мал.
Вычислительная система CS-1 на базе Wafer Scale Engine
Архитектура WSE была специально разработана для нейровычислений и потому избавлена от вышеописанных недостатков. Здесь прямо на кристалле размещено 38 гигабайт памяти с максимально коротким временем доступа: все обращения обрабатываются за один такт, т. е. быстрее чем за наносекунду. Память обладает беспрецедентно высокой пропускной способностью - порядка 10 петабайт в секунду (это в тысячи раз быстрее, чем в классических системах, где память реализована отдельно). Для связи между ядрами внутри одного блока и между разными блоками используются одинаковые интерфейсы, которые ещё на порядок быстрее.
И всё-таки в первую очередь создание WSE — это не архитектурный, а технологический триумф. Разработчикам пришлось решить массу проблем, которые просто не возникают в случае с чипами привычного размера. Так, супер-микросхема выделяет 15 кВт тепла, поэтому для неё не подходила ни одна из существующих систем охлаждения.
Блок с микросхемой WSE и системой питания. Справа - коннекторы для водяных помп
Высокопроизводительная помпа системы охлаждения
Более того, из-за огромных габаритов микросхемы возник эффект неравномерного теплового расширения кристалла и платы, и пришлось ввести дополнительный компенсирующий слой. Трёхмерная система подвода электропитания, рассчитанная на ток 20 000 ампер, тоже была разработана специально для данного проекта. Корпусировку изделия и вовсе пришлось выполнять вручную.
Компания TSMC, на мощностях которой выпускаются гигантские «вафли», смогла обеспечить сверхнизкий процент производственного брака, что позволило заложить в схему всего 1% дополнительных ядер, которые должны подменять неработоспособные.
Важное преимущество разработки Cerebras Systems - полная совместимость с существующими программными комплексами для разработки систем глубокого обучения, в частности, PyTorch и TensorFlow. При переходе на WSE не требуется переписывать ПО. Разработчики подсчитали, что вычислительная система на базе Wafer Scale Engine - CS-1 - в 150 раз производительнее, чем суперкомпьютер на базе GPU-серверов DGX-1, при этом занимает в 40 раз меньше места и потребляет в 20 раз меньше энергии.
Вычислительная система CS-1 без корпуса
Наверное, последней в ряду впечатляющих цифр должна стать стоимость микросхемы. Компания её не раскрывает, но по косвенным признакам можно судить, что она превышает 2 млн долларов. Это не отпугивает потенциальных заказчиков. Системы CS-1 уже работают в Аргоннской национальной лаборатории под Чикаго и Ливерморской национальной лаборатории им. Лоуренса; также они должны лечь в основу нового суперкомпьютера Neocortex в Питтсбурге. Благодаря разработкам Cerebras Systems на обучение сложных нейросетей будут уходить часы, а не недели, а значит, можно будет опробовать намного больше разных вариантов.
Возможно, в перспективе подобные системы помогут в реализации таких амбициозных планов, как моделирование работы мозга высших животных в реальном времени.
Компания Cerebras Systems в прошлом году представила новую версию гигантской микросхемы Wafer Scale Engine (WSE). Её габариты - 215 × 215 мм. Это самый большой квадрат, который можно вписать в типовую 300-мм кремниевую пластину. Отсюда и название микросхемы: пластину, расчерченную на прямоугольные заготовки чипов, вполне официально именуют «вафлей». Только вот в данном случае разрезать «вафлю» на отдельные чипы не предполагается: деление на 84 блока вызвано лишь ограничениями фотолитографической технологии производства, которая не позволяет создавать цельные структуры размером больше 26 × 33 мм.
Микросхема WSE Generation 2 изготовлена по современному 7-нм техпроцессу и содержит умопомрачительные 2,6 триллиона транзисторов, объединённых в 850 000 вычислительных ядер. Гигантский размер - не рекорд ради рекорда. Размещение огромного количества ядер на одном кристалле имеет существенные практические преимущества при моделировании нейронных сетей - а именно для этой цели предназначен новый супер-чип.
В настоящее время большая часть нейровычислений выполняется при помощи графических процессоров (GPU). Они подходят для этого лучше, чем CPU, поскольку содержат множество блоков, способных работать параллельно, и могут быстро выполнять операции над матрицами, к которым по большей части и сводится работа искусственных нейросетей. Но всё-таки изначально GPU разрабатывались с другими целями, и почти 90% их площади занимают компоненты, которые не могут быть использованы для задач искусственного интеллекта. Да и объём памяти на кристалле, которым располагают GPU, для этих целей слишком мал.
Вычислительная система CS-1 на базе Wafer Scale Engine
Архитектура WSE была специально разработана для нейровычислений и потому избавлена от вышеописанных недостатков. Здесь прямо на кристалле размещено 38 гигабайт памяти с максимально коротким временем доступа: все обращения обрабатываются за один такт, т. е. быстрее чем за наносекунду. Память обладает беспрецедентно высокой пропускной способностью - порядка 10 петабайт в секунду (это в тысячи раз быстрее, чем в классических системах, где память реализована отдельно). Для связи между ядрами внутри одного блока и между разными блоками используются одинаковые интерфейсы, которые ещё на порядок быстрее.
И всё-таки в первую очередь создание WSE — это не архитектурный, а технологический триумф. Разработчикам пришлось решить массу проблем, которые просто не возникают в случае с чипами привычного размера. Так, супер-микросхема выделяет 15 кВт тепла, поэтому для неё не подходила ни одна из существующих систем охлаждения.
Блок с микросхемой WSE и системой питания. Справа - коннекторы для водяных помп
Высокопроизводительная помпа системы охлаждения
Более того, из-за огромных габаритов микросхемы возник эффект неравномерного теплового расширения кристалла и платы, и пришлось ввести дополнительный компенсирующий слой. Трёхмерная система подвода электропитания, рассчитанная на ток 20 000 ампер, тоже была разработана специально для данного проекта. Корпусировку изделия и вовсе пришлось выполнять вручную.
Компания TSMC, на мощностях которой выпускаются гигантские «вафли», смогла обеспечить сверхнизкий процент производственного брака, что позволило заложить в схему всего 1% дополнительных ядер, которые должны подменять неработоспособные.
Важное преимущество разработки Cerebras Systems - полная совместимость с существующими программными комплексами для разработки систем глубокого обучения, в частности, PyTorch и TensorFlow. При переходе на WSE не требуется переписывать ПО. Разработчики подсчитали, что вычислительная система на базе Wafer Scale Engine - CS-1 - в 150 раз производительнее, чем суперкомпьютер на базе GPU-серверов DGX-1, при этом занимает в 40 раз меньше места и потребляет в 20 раз меньше энергии.
Вычислительная система CS-1 без корпуса
Наверное, последней в ряду впечатляющих цифр должна стать стоимость микросхемы. Компания её не раскрывает, но по косвенным признакам можно судить, что она превышает 2 млн долларов. Это не отпугивает потенциальных заказчиков. Системы CS-1 уже работают в Аргоннской национальной лаборатории под Чикаго и Ливерморской национальной лаборатории им. Лоуренса; также они должны лечь в основу нового суперкомпьютера Neocortex в Питтсбурге. Благодаря разработкам Cerebras Systems на обучение сложных нейросетей будут уходить часы, а не недели, а значит, можно будет опробовать намного больше разных вариантов.
Возможно, в перспективе подобные системы помогут в реализации таких амбициозных планов, как моделирование работы мозга высших животных в реальном времени.