Alphabet, материнская компания Google, разрабатывает собственный серверный чип под кодовым названием Frozen v2, который должен радикально повысить энергоэффективность её ИИ-моделей Gemini.
Как сообщает издание The Information, новый ускоритель может сделать работу Gemini в 6–10 раз эффективнее нынешних ИИ-чипов Google — если измерять её числом сгенерированных токенов на единицу затраченной энергии. Ориентировочный срок выхода — 2028 год.
Речь именно об инференсе — обработке запросов пользователя, за которую отвечает уже обученная модель. На неё приходится основная доля вычислений и, соответственно, счетов за электричество. Десятикратный рост эффективности мог бы изменить экономику генеративного ИИ: обслуживать сложные запросы получилось бы за долю сегодняшних затрат.
Достичь такого скачка Google рассчитывает не за счёт простого ускорения обычных чипов, а благодаря глубокой интеграции софта и железа. По данным издания, компания «вшивает» часть нейросетевой архитектуры Gemini прямо в физический чип.
Такое аппаратное кодирование ИИ-алгоритмов убирает лишние вычисления и сводит к минимуму постоянное перемещение данных между серверами — именно эти операции и потребляют огромные объёмы энергии при больших нагрузках. Официально Google характеристики и сроки не подтверждает: представитель компании лишь сказал TechCrunch, что совместное проектирование железа и софта с нуля — ключ к максимальной производительности системы.
Комментарии