OpenAI OpenAIСэм Альтман начал глобальную кампанию по повышению осведомленности о потенциальных опасностях сверхинтеллекта в сфере искусственного интеллекта, когда машины превосходят человеческий интеллект и могут стать неуправляемыми.
В ответ на эти опасения компания OpenAI недавно объявила о формировании специальной группы, которой будет поручена разработка методов устранения рисков, связанных с появлением сверхинтеллекта, который может возникнуть в течение этого десятилетия.
Компания подчеркивает , что эффективное управление сверхинтеллектом требует создания новых институтов управления и решения важнейшей задачи согласования сверхинтеллекта с человеческими ценностями и намерениями.
OpenAI признает, что внедрение ИИОН (искусственного интеллекта общего назначения) несет значительные риски для человечества и может потребовать коллективных усилий всего человечества, как указано в сообщении в блоге, опубликованном в прошлом году.
Новая команда, получившая название «Superalignment», объединяет ведущих исследователей и инженеров в области машинного обучения. Руководят проектом Илья Суцкевер, соучредитель и главный научный сотрудник OpenAI, и Ян Лейке, руководитель отдела выравнивания.
Для решения ключевых технических задач выравнивания суперинтеллекта компания OpenAI взяла на себя обязательство выделить 20% своих вычислительных ресурсов, накопленных на данный момент, на решение этой задачи. Компания рассчитывает решить эти задачи в течение четырёх лет.
Основная цель команды Superalignment — разработка автоматизированного исследователя выравнивания, сравнимого с человеком. Это подразумевает создание систем ИИ, способных эффективно выравнивать сверхинтеллектуальные системы ИИ, превосходя людей по скорости и точности.
Для достижения этой цели команда сосредоточится на разработке масштабируемого метода обучения, использующего системы искусственного интеллекта для оценки других систем искусственного интеллекта. Они будут проверять полученную модель, автоматизируя поиск потенциальноmatic поведения. Процесс выравнивания также будет проходить тщательное стресс-тестирование с помощью преднамеренного обучения невыровненных моделей для оценки их обнаружимости.
Усилия OpenAI по снижению рисков, связанных с появлением сверхразума, знаменуют собой значительный шаг вперёд на пути к ответственной и согласованной разработке ИИ. Собрав команду ведущих исследователей и выделив значительные вычислительные ресурсы, компания демонстрирует свою приверженность проактивному снижению потенциальных рисков, связанных с появлением сверхразума. Вступая на этот амбициозный путь, OpenAI создаётdent сотрудничества и единства в деле защиты будущего человечества в эпоху ИИ.
