×

Cerebras WSE-3: третье поколение суперчипа с 4 трлн транзисторов

Сегодня американская компания Cerebras представила 3-е поколение своего суперчипа, WSE-3. Напомним, что это самый большой в мире монолитный процессор — его площадь составляет невообразимые 462 см2 — в 57 раз больше, чем у и без того немаленького Nvidia H100 (826 мм2).

Вот как изменились характеристики WSE-3 по сравнению с его двумя предшественниками:

Cerebras WSECerebras WSE-2Cerebras WSE-3Дата анонсаавгуст 2019апрель 2021март 2024Цена~ $2.5 млн~ $2.5 млн + 20-25%Энергопотребление пиковое23 кВт23 кВт23 кВтТехпроцессTSMC 16 нмTSMC 7 нмTSMC 5 нмПлощадь кристалла462 см2462 см2462 см2Кол-во транзисторов1.2 трлн2.6 трлн4 трлнПлотность транзисторов (на 1 мм2)25.96 млн56.246 млн115.563 млнКол-во ИИ-ядер400 тыс850 тыс900 тысОбъем и пропускная способнсть SRAM18 Гб
9.6 Пб/с40 Гб
20 Пб/с44 Гб
21 Пб/сПропускная способность между процессорами100 Пб/с220 Пб/с214 Пб/с

Суперкомпьютер, в который устанавливается процессор WSE-3, называется Cerebras CS-3. Его пиковая производительность в ИИ-задачах составляет 125 петафлопс. Согласно производителю, этого достаточно для обучения модели с 24 трлн параметров. В партнерстве с компанией G42 начато создание кластера Condor Galaxy 3, который будет состоять из 64 систем CS-3. Соответственно, производительность такой системы составит 8 экзафлопсов, что сделает Condor Galaxy 3 одним из самых быстрых в мире суперкомпьютеров. Вообще же CS-3 способен масштабироваться в кластер до 2048 систем, на котором обучение Llama 70B (70 млрд параметров) заняло бы всего один день.

Сегодняшний анонс Cerebras как никогда актуален в свете стремительно растущих потребностей ИИ-индустрии в компьютерной производительности. Например, вчера стали известны подробности про два вычислительных кластера Meta, предназначенных для обучения Llama 3 — каждый оснащен 24,576 графических ускорителей Nvidia H100. Ранее глава компании Марк Цукерберг сообщал о намерении довести её вычислительную инфраструктуру к концу года до эквивалента 600 тыс Nvidia H100.


Источник

Понравилась статья? Поделиться с друзьями:
News-hitech.ru - Новости высоких технологий
Добавить комментарий