Технологические гиганты Кремниевой долины отодвигают на второй план безопасность ИИ ради повышения качества своей продукции

Кремниевая долина была местом, куда приезжали ведущие мировые эксперты по искусственному интеллекту для проведения инновационных исследований, но специалисты предупреждают, что ситуация изменилась, и теперь ИИ ориентирован на продукт. Исследователи и эксперты в области ИИ также считают, что с момента выпуска OpenAI платформы ChatGPT в конце 2022 года технологическая индустрия отдала приоритет коммерциализации, а не исследованиям, создавая готовые к использованию потребительские продукты на основе ИИ.

Аналитики Morgan Stanley прогнозируют , что к 2028 году годовой доход индустрии искусственного интеллекта может достичь 1 триллиона долларов. Эксперты отрасли выразили обеспокоенность по поводу безопасности, поскольку ведущие игроки стремятся к развитию общего искусственного интеллекта (AGI).

Исследования в области искусственного интеллекта снова начинают приносить прибыль, поскольку Кремниевая долина ставит во главу угла продукты, а не безопасность

Джеффри Хинтон утверждает, что компании, занимающиеся разработкой ИИ, должны быть вынуждены использовать треть своих вычислительных ресурсов на исследования в области безопасности, потому что в ближайшие 20 лет ИИ станет умнее нас, и нам нужно начать беспокоиться о том, что произойдет тогда. pic.twitter.com/ocT3Scmyxg

– Царатустра (@tsarnick) 25 октября 2024 г.

компания OpenAI, основанная в 2015 году как некоммерческая исследовательская лаборатория, сейчас находится в процессе преобразования в коммерческую организацию. Ян Лейке, бывший руководитель отдела согласования OpenAI, чья команда занималась вопросами безопасности ИИ, ушел в отставку в прошлом году и заявил, что за последние годы «культура и процессы обеспечения безопасности отошли на второй план, уступив место новым перспективным продуктам».

Джеймс Уайт, технический директор стартапа в сфере кибербезопасности Calypso, утверждал, что технологические компании все чаще прибегают к упрощениям, когда дело доходит до тщательного тестирования своих моделей ИИ перед выпуском в публичный доступ. Он отметил, что новые модели ИИ жертвуют безопасностью ради качества, то есть ради более качественных ответов от чат-ботов. 

«Модели становятся лучше, но они также чаще оказываются способными на плохие поступки. Их легче обмануть, чтобы они совершили что-то плохое»

– Джеймс Уайт, технический директор компании Calypso.

В марте Google, похоже, поставила во главу угла свой продукт, а не безопасность, выпустив свою последнюю модель ИИ, Gemini 2.5, заявив, что это самая интеллектуальная модель ИИ в компании. Компания несколько недель не публиковала описание модели Gemini 2.5, то есть не делилась информацией о том, как работает модель ИИ, а также о ее ограничениях и потенциальных опасностях после выпуска.

компания признала , что перед выпуском оценивает свои самые передовые модели на предмет потенциально опасных возможностей. Позже Google обновила сообщение в блоге, убрав слова «перед выпуском».

Компания опубликовала неполную модель 16 апреля и обновила ее 28 апреля, более чем через месяц после выпуска модели ИИ, включив в нее информацию об оценках опасных возможностей Gemini2.5.

Технологические компании, занимающиеся искусственным интеллектом, переходят от исследований к созданию продуктов, приносящих доход

Бывшие сотрудники Meta заявили, что не были удивлены, когда Жоэль Пино, вице-президент Metadent руководитель подразделения FAIR компании, объявила в прошлом месяце о своем уходе с поста 30 мая. Они отметили, что рассматривают это как подтверждение перехода компании от исследований в области ИИ к приоритетной разработке практических продуктов.

Пино возглавляет FAIR с 2023 года, и, по словам сотрудников Meta, небольшие исследовательские группы могут работать над различными передовыми технологиями, которые могут оказаться успешными, а могут и нет. Изменения начались после того, как в конце 2022 года технологическая компания уволила 21 000 сотрудников, или почти четверть своего штата. Бывшие сотрудники, знакомые с ситуацией, заявили, что исследователям FAIR было поручено более тесно сотрудничать с продуктовыми командами в рамках мер по сокращению расходов.

Два источника, знакомые с ситуацией, сообщили, что ранее в этом году один из директоров FAIR, Ким Хейзелвуд, покинул компанию в рамках плана Meta по сокращению 5% штата. Источники отметили, что запуск ChatGPT компанией OpenAI создал в Meta ощущение необходимости срочно направить больше ресурсов на разработку больших языковых моделей (LLM).

Также стало известно, что главный директор по продуктам Meta Крис Кокс курирует FAIR, чтобы сократить разрыв между исследованиями и ориентированной на продукт группой GenAI. Они добавили, что GenAI под руководством Кокса переманивает больше вычислительных ресурсов и членов команды из FAIR из-за повышенного статуса этой группы в компании. 

В прошлом месяце компания Meta выпустила инструменты безопасности для разработчиков, позволяющие создавать приложения с использованием моделей искусственного интеллекта Llama 4. Meta заявила, что эти инструменты помогают снизить вероятность непреднамеренной утечки конфиденциальной информации или создания вредоносного контента с помощью Llama 4.