OpenAI недовольна аппаратным обеспечением для инференса от Nvidia, теперь рассматривает AMD, Cerebras, Groq

OpenAI больше не довольна чипами Nvidia для ИИ, особенно когда речь идет о том, насколько быстро они могут отвечать пользователям. Компания начала искать другие варианты в прошлом году, и теперь она ведет переговоры с AMD, Cerebras, а ранее даже разговаривала с Groq, прежде чем те были закрыты.

Это напряжение стало реальным, когда OpenAI поняла, что чипы Nvidia недостаточно быстры для конкретных задач, таких как написание кода и обработка задач «программа-программа».

Один из инсайдеров якобы заявил, что OpenAI хочет новые чипы, способные обрабатывать как минимум 10% своих потребностей в инференсе в будущем. Это та часть, где ИИ отвечает пользователям, а не та часть, где он обучается.

OpenAI хочет более быстрые чипы для кодирования и ответов пользователям

Большая часть текущей работы OpenAI все еще выполняется на Nvidia, но за кулисами она тестирует чипы, которые могут ускорить все процессы.

Среди них чипы, оснащенные SRAM, что помогает ускорить процессы, помещая память прямо рядом с процессором. Nvidia и AMD все еще используют память, которая находится вне чипа, что замедляет работу.

Люди внутри OpenAI указали на Codex, инструмент для написания кода, как на место, где проблема медлительности была наиболее острой. Некоторые сотрудники даже винили в слабой производительности оборудование Nvidia. На пресс-конференции 30 января генеральный директор OpenAI Сэм Альтман сказал: «Клиенты, использующие наши модели для кодирования, будут высоко ценить скорость выполнения задач по написанию кода».

Сэм добавил, что обычные пользователи ChatGPT не так сильно заботятся о скорости, но для разработчиков и компаний каждая секунда на счету. Он сказал, что OpenAI только что подписала соглашение с Cerebras, чтобы ускорить процессы.

В то же время компании, такие как Anthropic и Google, получают лучшие результаты, используя свои собственные чипы. TPUs Google созданы специально для видов работ, требующих инференса. Это сделало их быстрее в ответах, особенно для моделей, таких как Claude и Gemini.

Переговоры OpenAI и Groq прекращены после сделки Nvidia по лицензированию

OpenAI также вела переговоры с Groq, еще одним стартапом, создающим быстрые чипы, но эти разговоры не зашли далеко. Nvidia пришла и подписала лицензионное соглашение с Groq на сумму 20 миллиардов долларов. Это дало Nvidia доступ к дизайнам Groq и уничтожило планы OpenAI по работе с ними.

Источник, близкий к ситуации, сказал, что чипы Groq были созданы именно для того, что нужно OpenAI. Но как только Nvidia заключила сделку, эта дверь закрылась. Даже несмотря на то, что лицензия была неисключительной, Groq теперь сосредотачивается на облачном программном обеспечении, а Nvidia забрала себе некоторых разработчиков чипов Groq.

Cerebras, с другой стороны, сказала «нет», когда Nvidia попыталась купить их. Вместо этого они продолжили и заключили собственную сделку с OpenAI. Groq также получила инвестиционные предложения, оценивающие ее стоимость примерно в 14 миллиардов долларов, но теперь это изменилось, поскольку она связана с Nvidia.

OpenAI не отказалась от Nvidia полностью. В публичном заявлении представитель сказал: «Мы полагаемся на Nvidia для обеспечения работы подавляющего большинства нашего парка инференса», и назвал их производительность на доллар лучшей на рынке. Nvidia также заявила: «Клиенты продолжают выбирать Nvidia для инференса, потому что мы обеспечиваем лучшую производительность и совокупную стоимость владения в масштабах».

Сделка по инвестициям Nvidia на $100 миллиардов все еще находится в подвешенном состоянии

В прошлом году Nvidia заявила о планах инвестировать до 100 миллиардов долларов в OpenAI. Эти деньги должны были помочь OpenAI купить более продвинутые чипы, а взамен Nvidia получила бы долю в компании. Reuters сообщал, что сделка должна была закрыться через несколько недель. Она все еще не закрыта.

Пока эта сделка застопорилась, OpenAI продолжила подписывать соглашения с AMD и другими компаниями для тестирования чипов, которые могут напрямую конкурировать с Nvidia. Но по мере того как OpenAI меняла свои планы по продуктам, также менялся и тип необходимого оборудования. Это еще больше замедлило переговоры, сказал человек, знакомый с ситуацией.

В субботу генерального директора Nvidia Йенс Хуанг спросили о трении. Он сказал: «Это бред», и настаивал на том, что Nvidia все еще планирует инвестировать большие средства в OpenAI. Но за кулисами ясно, что обе стороны исследуют свои варианты.

В то же время Nvidia искала новые идеи для чипов. Она обратилась как к Cerebras, так и к Groq, чтобы узнать, не открыты ли они для покупки. Cerebras отклонила это и удвоила ставку на свою сделку с OpenAI.

В настоящее время OpenAI использует GPT4o для обеспечения работы большинства своих сервисов. Но по ходу развития, по крайней мере, часть этой работы в ближайшем будущем будет выполняться на чипах от AMD или Cerebras. Компания не пытается полностью отказаться от Nvidia, но ясно, что она хочет большего контроля над тем, насколько быстро работают ее системы.