Nvidia H20 и H200 обеспечивают работу модели искусственного интеллекта, полностью обученной на китайских синтетических наборах данных

Университет Цинхуа и исследовательский центр Microsoft Research Asia обучили полноценную модель ИИ, используя только фиктивные данные. Никаких реальных примеров не использовалось.

Весь набор данных был сгенерирован искусственно с помощью нового конвейера обработки данных под названием SynthSmith, и система работала на чипах Nvidia от начала до конца. Команда не просто провела тест на новизну. Они создали рабочую модель с 7 миллиардами параметров, которая превзошла гораздо более крупные модели, обученные на данных, полученных от людей.

В своей статье, опубликованной 11 января на arXiv, они утверждают, что обученный ими X-Coder превзошел модели кодирования с 14 миллиардами параметров, даже несмотря на то, что никогда не видел реального текста.

«Углубленный анализ показывает, что законы масштабирования справедливы и для нашего синтетического набора данных», — написали исследователи. В состав этой группы вошли специалисты из Университета Цинхуа, Microsoft Research Asia и Уханьского университета.

Исследователи используют чипы Nvidia, чтобы полностью обойтись без данных из реального мира

В процессе обучения активно использовалось оборудование Nvidia. Для контролируемой тонкой настройки использовались 128 чипов Nvidia H20 в течение 220 часов подряд. После этого они переключились на 32 чипа H200 еще на семь полных дней для обработки этапа обучения с подкреплением. Это был не случайный выбор. H20 настроен для инференции, а H200 создан для высокопроизводительного обучения. Это самые мощные чипы, доступные китайским компаниям на данный момент, благодаря исключениям из экспортного контроля, одобренным администрацией Трампа после того, как Nvidia активно лоббировала их доступность в Китае.

Исследователи заявили, что проблема масштабируемости заключалась не в самом конвейере обработки данных, а в вычислительной мощности.

У Цзе, ведущий автор исследования иdent из Университета Цинхуа, заявил, что настоящая причина, по которой они не довели конвейер обработки данных до моделей со 100 миллиардами или триллионами параметров, заключалась просто в «вычислительных ограничениях, а не в ограничениях самого конвейера»

Выложив код в открытый доступ, они надеются, что другие смогут развивать проект, не неся огромных затрат на обучение. В статье также указывается на тенденцию в области ИИ.

Теперь от моделей ожидается, что они будут «думать» в течение более длительных периодов времени и обрабатывать сложные рассуждения, что привело к необходимости значительно больших вычислительных мощностей не только в процессе обучения, но и на этапе вывода.

Китайская команда создала более быстрый чип, используя устаревшие технологии производства

Отдельно стоит отметить, что китайские ученые разработали новый чип под названием ACCEL, использующий световые частицы, а не электричество. Этот чип (сокращение от All-Analogue Chip Combining Electronics and Light — полностью аналоговый чип, сочетающий электроникуtronсвет) был протестирован в лаборатории и показал производительность 4,6 PFLOPS.

Это в 3000 раз быстрее, чем Nvidia A100, и китайский чип потребляет в 4 миллиона раз меньше энергии. Это делает его одним из самых эффективных чипов , когда-либо созданных для решения конкретных задач, таких как распознавание изображений или автономное вождение.

Пока что это не заменит центральные процессоры или чипы для смартфонов, но команда считает, что это может пригодиться в носимых устройствах, электромобилях или «умных» заводах.

Этот чип был создан с использованием 20-летней технологической схемы компанией Semiconductor Manufacturing International Corporation. Это позволило избежать необходимости в современных литографических машинах, которые Китай до сих пор не имеет доступа.

«Внедрение фотонных вычислительных систем ранее представляло собой сложную задачу из-за запутанной конструкции и уязвимости к шуму и системным ошибкам», — говорится в статье, опубликованной в университете Цинхуа.

Этот чип решает эту проблему, объединяя фотонную и аналоговуюtronв новой архитектуре. Он не справляется с общими вычислительными задачами, такими как сжатие файлов, но отлично подходит для компьютерного зрения и обнаружения объектов в условиях низкой освещенности.

Одна поразительная деталь: энергии, необходимой для работы современных чипов в течение часа, хватило бы для 500 лет работы ACCEL. Низкое энергопотребление также упрощает решение проблем с перегревом, которые ограничивают размеры чипов.

Функции чипа включаютdentтранспортных средств, съемку в условиях низкой освещенности и визуализацию в реальном времени с использованием окружающего света непосредственно в процессе считывания. Команда заявила, что это не чип общего назначения, но он удовлетворяет очень специфической потребности.

Финансирование поступило из Национальной ключевой программы исследований и разработок и Национального фонда естественных наук Китая. В проекте также участвовала пекинская компания MakeSens, одним из соучредителей которой является один из исследователей, и недавно она выпустила также маломощный аналоговый чип.

Дай Цюнхай из университета Цинхуа, один из руководителей проекта, заявил, что создание новой вычислительной архитектуры — это лишь первый шаг.

«Наиболее важная задача — внедрить эту новую архитектуру в практическое применение, решая важнейшие национальные и общественные проблемы, и это наша ответственность»

Команда пока ничего не сообщила о том, когда этот чип может появиться на рынке.