Компания OpenAI разрабатывает план создания цивилизации, основанной на работе машин, которая будет питаться от собственных чипов, собственной инфраструктуры и иметь достаточно электроэнергии, чтобы осветить два Нью-Йорка.
Масштабная концепция компании по созданию города с использованием искусственного интеллекта основана на практически невыполнимой задаче: разработке и производстве миллиардов специализированных чипов в партнерстве с Broadcom для поддержки того, что генеральный директор Сэм Альтман называет «вычислительной основой» будущего.
Сэм заявил газете Wall Street Journal, что для предоставления людям востребованных услуг в области искусственного интеллекта потребуется как минимум один специализированный чип для ИИ на каждого пользователя, что является умопомрачительным прогнозом, исчисляющимся миллиардами.
Али Фархади, глава Института искусственного интеллекта имени Аллена, поддержал эту идею масштабирования, заявив, что если ИИ заменит человеческий труд с обещанной скоростью, «миру потребуется столько же чипов ИИ, сколько и обычных». Для OpenAIэто вопрос контроля: над затратами, над энергопотреблением и над долгосрочным функционированием своих моделей по мере резкого роста спроса.
OpenAI объединяет Broadcom, Nvidia и гигантов в области памяти для создания вычислительных решений нового поколения
Разумеется, Nvidia по-прежнему доминирует в сфере обучения ИИ, занимая примерно 70% рынка, поэтому OpenAI вынуждена продолжать использовать свои графические процессоры для обучения моделей.
Однако OpenAI теперь разделяет конвейер обработки данных: обучение происходит на Nvidia, а вывод результатов (процесс предоставления ответов пользователям) переходит на специализированные микросхемы Broadcom. Такаяtracархитектура может сократить расходы и энергопотребление в масштабах, где важен каждый процентный пункт.
Джордан Нанос, исследователь полупроводников из SemiAnalysis, заявил, что Broadcom помогает OpenAI «переосмыслить типичную концепцию чипов для ИИ». Эти чипы не будут универсальными. Они разрабатываются специально для моделей OpenAI, которые используют высокоскоростную память, поставляемую Samsung и SK Hynix, двумя компаниями, с которыми OpenAI недавно заключила партнерское соглашение.
Такой тип памяти обеспечивает более быструю передачу данных между процессорами, что крайне важно для таких систем, как Pulse от OpenAI — агент искусственного интеллекта, который ежедневно сканирует интернет, чтобы предоставлять пользователям краткую информацию. Pulse потребляет так много вычислительной мощности, что, по словам Сэма, доступ к нему ограничен для тех, кто платит 200 долларов в месяц за тарифный план Pro.
Эта зависимость от высокоскоростной памяти напрямую связана с принципами работы моделей OpenAI. Ранние нейронные сети были «плотными», активируя большие участки своей системы для каждого запроса. Более новые используют «разреженность», которая активирует только определенные экспертные участки.
Вместо того чтобы использовать 25% модели для ответа на вопрос, современные системы запускают обработку лишь доли процента. Эта разница значительно снижает энергопотребление и ускоряет время отклика. Когда чип построен на основе такой разреженной логики, эффективность резко возрастает, и именно компания Broadcom делает это возможным для такого оборудования.
Суперкомпьютеры OpenAI гигаваттного масштаба для искусственного интеллектаdefiинфраструктуру
Сэм заявил, что в настоящее время вычислительные мощности OpenAI составляют около 2 гигаватт и распределены по глобальным центрам обработки данных. Партнерство с Broadcom направлено на создание до 10 гигаватт к 2030 году, что станет физической базой для того, что инсайдеры называют «городами ИИ» — плотных кампусов серверов, хранилищ и специализированных межсоединений, объединенных сетевыми чипами Broadcom Tomahawk Ultra.
Это лишь часть волны. За последние три недели OpenAI заключила новые соглашения с AMD и Nvidia о приобретении дополнительных мощностей на 16 гигаватт, в результате чего общий объем инвестиций может составить почти 1 триллион долларов.
Энергетическая мощность комплекса Memphis Colossus компании xAI уже достигла 1,21 гигаватта этой осенью. Завод Hyperion компании Meta в Луизиане получил разрешение на мощность в 2,3 гигаватта, а Марк Цукерберг планирует достичь 5 гигаватт. Гонка за энергетическими ресурсами в сфере искусственного интеллекта официально стала глобальной.
Сэм назвал эту трансформацию «крупнейшим совместным промышленным проектом в истории», заявив, что даже эти сделки — «капля в море по сравнению с тем, чего мы должны достичь». Часть его целей — диверсификация поставщиков.
Строящийся компанией Oracle кампус Stargate в Абилине, штат Техас, будет специализироваться на обучении ИИ, в основном на чипах Nvidia. Для обработки задач вывода будут использоваться аппаратные средства AMD, а специализированные чипы Broadcom заполнят пробел в эффективности.
Как отметили в Nanos, «OpenAI смотрит довольно далеко в будущее и пытается обеспечить себе доступ к достаточному количеству чипов»
