Nvidia H20 и H200 помогают питать ИИ-модель, обученную исключительно на китайских синтетических наборах данных

Университет Цинхуа и Microsoft Research Asia обучили полноценную ИИ-модель, используя только синтетические данные. Никаких реальных образцов вообще.

Весь набор данных был искусственно сгенерирован через новый конвейер под названием SynthSmith, и система работала на чипах Nvidia от начала до конца. Команда не просто провела новостной тест. Они построили рабочую модель с 7 миллиардами параметров, которая превзошла гораздо более крупные модели, обученные на данных людей.

Их статья, опубликованная 11 января на arXiv, утверждает, что X-Coder, который они обучили, превзошел модели для кодинга с 14 миллиардами параметров, хотя он никогда не видел реального текста.

«Глубокий анализ показывает, что законы масштабирования действуют на нашем синтетическом наборе данных», — написали исследователи. В эту команду входили имена из Университета Цинхуа, Microsoft Research Asia и Университета Уханя.

Исследователи используют чипы Nvidia, чтобы полностью обойти реальные данные

Настройка обучения сильно опиралась на оборудование Nvidia. Для контролируемого тонкого обучения они использовали 128 чипов Nvidia H20 в течение 220 часов подряд. После этого они переключились на 32 чипа H200 еще на семь полных дней для обработки этапа обучения с подкреплением. Это не были случайные выборы. H20 настроен на инференс, а H200 создан для высококлассного обучения. Это самые мощные чипы, доступные китайским компаниям прямо сейчас, благодаря исключениям из экспортного контроля, которые администрация Трампа одобрила после того, как Nvidia активно лоббировала их доступность в Китае.

Исследователи сказали, что сам конвейер не был проблемой при масштабировании. Все дело было в вычислительной мощности.

У Цзе, ведущий автор и магистрант Цинхуа, сказал, что реальная причина, по которой они не вывели конвейер на модели с 100 миллиардами или триллионом параметров, была просто: «вычислительные ограничения, а не ограничения самого конвейера».

Выпуская код публично, они надеются, что другие смогут развивать проект, не платя огромные затраты на обучение. В статье также отмечается тенденция в ИИ.

От моделей теперь ожидается «мышление» в течение более длительных периодов времени и обработка сложных рассуждений, что увеличило потребность в вычислительной мощности во время инференса, а не только во время обучения.

Китайская команда создает более быстрый чип, используя старую технологию производства

Отдельно, новый чип под названием ACCEL был создан китайскими учеными с использованием световых частиц, а не электричества. Чип (сокращение от All-Analogue Chip Combining Electronics and Light) был протестирован в лаборатории и достиг 4,6 PFLOPS.

Это в 3000 раз быстрее, чем A100 от Nvidia, и китайский чип использовал в 4 миллиона раз меньше энергии. Это делает его одним из самых энергоэффективных ИИ чипов, когда-либо созданных для таких конкретных задач, как распознавание изображений или автономное вождение.

Он пока не заменит процессоры или чипы смартфонов, но команда считает, что он может работать в носимых устройствах, электромобилях или умных фабриках.

Чип был создан с использованием 20-летнего процесса компанией Semiconductor Manufacturing International Corporation. Он избежал необходимости в продвинутых машинах литографии, к которым у Китая все еще нет доступа.

«Развертывание фотонных вычислительных систем ранее было проблемой из-за сложной структурной конструкции и уязвимости к шуму и системным ошибкам», — говорится в статье Tsinghua.

Чип избегает этого, объединяя фотонику и аналоговую электронику в новой архитектуре. Он не обрабатывает общие вычислительные задачи, такие как сжатие файлов, но отлично подходит для ИИ-зрения и сенсоров слабого освещения.

Одна безумная деталь: энергия, необходимая для работы современных чипов в течение часа, могла бы обеспечить работу ACCEL в течение 500 лет. Это низкое энергопотребление также упрощает решение проблем с теплом, которые ограничивают, насколько маленькими могут становиться чипы.

Функции чипа включают идентификацию трафика, съемку при слабом освещении и зрение в реальном времени, используя окружающий свет непосредственно в процессе сенсинга. Команда сказала, что это не чип общего назначения, но он заполняет очень специфическую потребность.

Финансирование поступило от Национальной программы ключевых исследований и разработок и Национального фонда естественных наук Китая. Пекинская чипная компания MakeSens, сооснователем которой является один из исследователей, была вовлечена в проект и недавно также запустила энергоэффективный аналоговый чип.

Дай Цюньхай из Цинхуа, один из руководителей проекта, сказал, что создание новой вычислительной архитектуры было лишь первым шагом.

«Более важной задачей является внедрение этой новой архитектуры в практические приложения, решение крупных национальных и общественных потребностей, что является нашей ответственностью».

Команда ничего не сказала о том, когда этот чип может появиться на рынке.