OpenAI продолжает тестировать проприетарные модели для решения математических задач, несмотря на просьбы своих советников

6 октября OpenAI выложила на GitHub 719 математических статей, полученных с помощью ещё не выпущенной внутренней модели.

Неделю ранее собственная консультативная группа компании призвала лаборатории прекратить тестирование продвинутых математических задач на проприетарных моделях.

Более 600 ответов на опросы повлияли на рекомендации панели IAS, опубликованные 29 сентября

Группа по математике и искусственному интеллекту базируется в Институте перспективных исследований в Принстоне, штат Нью-Джерси. 29 сентября она опубликовала рекомендации, основанные на более чем 600 ответах на опрос.

«Мы хотим чётко заявить с самого начала: мы не поддерживаем эту практику и просим прекратить тестирование сложных математических задач на проприетарных моделях», — написала группа.

В том же документе предупреждается, что использование частных внутренних моделей создаёт риск формирования двухуровневой системы, в которой отдельные лаборатории уходят далеко вперёд относительно остальной научной области.

Как отмечается в репозитории, в рамках разработки моделей OpenAI тестирует их на открытых исследовательских задачах. Эти тесты были расширены после того, как существующие математические бенчмарки достигли предела насыщения.

OpenAI заявила, что согласовала выпуск с группой и учела её рекомендации. В заявлении, опубликованном 6 октября, группа отметила, что её консультативная роль не означает «одобрения процесса, с помощью которого OpenAI получила эти материалы».

Группа поручила сообществу математиков самостоятельно оценить соответствие действий лаборатории установленным нормам.

Код Lean для уравнений Навье–Стокса доказывает более слабые утверждения, чем заявлено в статье

OpenAI разделила 719 статей на 372 математических семейства, каждое из которых строится вокруг основного результата и связанных с ним доказательств. Она предоставила проприетарной модели около 4000 задач, и каждый результат требовал в среднем около трёх часов вычислений режима «мышления» ChatGPT Pro.

Организация попросила лаборатории ИИ опубликовать название модели, промпты, краткое изложение цепочки рассуждений, затраченное время и стоимость вычислений для каждого результата.

OpenAI опубликовала 10 резюме рассуждений, и около 42% основных результатов содержат формализации на Lean.

Lean — это язык программирования, который можно использовать для проверки доказательства компьютером. Если код компилируется, это не означает, что код и письменное обоснование идентичны. Это лишь означает, что формальное утверждение истинно.

Александр Бастионис, Фабиан Чирчелли и Андерс К. Хансен исследовали этот пробел в статье, размещенной 6 октября. Они выяснили, что написанная людьми статья о уравнениях Навье-Стокса от OpenAI содержит утверждения, выходящие за рамки того, что доказано ее кодом на Lean, а одна из оценок меняет порядок производных входных данных.

Авторы обнаружили аналогичные ошибки перевода в доказательстве Эйлера от OpenAI. Письменное доказательство OpenAI и другие автоматически формализованные доказательства на Lean «не следует доверять без той же процедуры рецензирования и тщательной проверки, к которым предъявляются требования к другим доказательствам», — написали они.

Результат по уравнениям Навье-Стокса был анонсирован OpenAI 8 сентября. Согласно Cryptopolitan, математик из NYU Тристан Баккмастер тогда оспорил описание минимального участия человека в этой работе.

Компания обязалась выделить денежные средства на проведение мастер-классов, конференций и специальных программ, посвящённых ключевым результатам в области ИИ.

6 октября Теренс Тао написал, что авторы промптов для ИИ часто решают задачи, а затем теряют интерес к этой области. Многие не могут ответить на вопросы или выступить с докладом о полученных результатах, отметил он. В его публикации не упоминалась компания OpenAI.

Компания заявила, что ее консультанты не влияют на темпы исследований, сообщалось в сентябре в Cryptopolitan.