Anthropic запускает программу вознаграждений за ошибки на $15 000 для усиления безопасности ИИ

Anthropic, стартап в области ИИ, поддерживаемый Amazon, запустил программу вознаграждений за ошибки и будет выплачивать до $15 000 за каждый отчет, выявляющий критические уязвимости в его системах искусственного интеллекта. Эта инициатива является одной из самых масштабных усилий любой компании, работающей с продвинутыми языковыми моделями, по краудсорсингу тестирования безопасности.

По словам компании, вознаграждение направлено на атаки «универсального взлома» (jailbreak), методы, которые позволяют обходить меры безопасности ИИ в таких областях, как биологическое оружие и киберугрозы. Перед тем как сделать свою систему смягчения последствий нового поколения доступной для публики, Anthropic планирует позволить этичным хакерам протестировать ее, чтобы предотвратить потенциальное misuse.

Мы расширяем нашу программу вознаграждений за обнаружение уязвимостей. Эта новая инициатива направлена на выявление универсальных методов обхода защиты в нашей системе безопасности нового поколения.

Мы предлагаем вознаграждения за выявление новых уязвимостей в широком спектре областей, включая кибербезопасность. https://t.co/OHNhrjUnwm

— Anthropic (@AnthropicAI) Август 8, 2024

Начав как инициатива только по приглашениям в сотрудничестве с HackerOne, программа Anthropic по вознаграждениям за ошибки стремится использовать навыки исследователей кибербезопасности в выявлении и устранении уязвимостей в своих системах ИИ. Компания планирует в будущем расширить доступ к ней, потенциально предлагая модель отраслевого сотрудничества в области безопасности ИИ.

Это происходит на фоне расследования Управления по конкуренции и рынкам Великобритании (CMA) инвестиций Amazon в Anthropic на сумму $4 млрд из-за потенциальных проблем конкуренции. На этом фоне повышенного регуляторного внимания фокус на безопасности может улучшить репутацию Anthropic и выделить ее среди конкурентов.

Anthropic устанавливает новые стандарты безопасности ИИ

Хотя у OpenAI и Google также есть программы вознаграждений за ошибки, они в основном сосредоточены на традиционных уязвимостях программного обеспечения, а не на тех, которые специфичны для искусственного интеллекта. Meta подверглась критике за то, что, по мнению некоторых, заняла относительно закрытый подход к исследованиям в области обеспечения безопасного развития все более интеллектуальных машин. Явно нацеливаясь на такие проблемы и приглашая внешнее их изучение, Anthropic задает прецедент открытости в секторе.

Однако есть сомнения в том, что одни только вознаграждения за ошибки могут эффективно решить весь спектр проблем, связанных с обеспечением безопасности продвинутых систем машинного обучения. Хотя они ценны для выявления и устранения конкретных недостатков, они могут не справиться с более широкими проблемами выравнивания ИИ и долгосрочной безопасности. Может потребоваться более целостный подход, включающий обширное тестирование, улучшенную интерпретируемость и, возможно, новые структуры управления, чтобы гарантировать, что системы ИИ остаются согласованными с человеческими ценностями по мере их усиления.