Компания Anthropic запускает программу вознаграждения за обнаружение уязвимостей с призовым фондом в 15 000 долларов для повышения безопасности ИИ

Компания Anthropic, стартап в области искусственного интеллекта, поддерживаемый Amazon, запустила программу вознаграждения за обнаружение уязвимостей и будет выплачивать до 15 000 долларов за каждый отчет,dentкритические недостатки в ее системах искусственного интеллекта. Эта инициатива является одной из самых масштабных попыток компаний, работающих с передовыми языковыми моделями, использовать краудсорсинг для тестирования безопасности.

По данным компании, вознаграждение предназначено для борьбы с атаками типа «универсальный взлом джейлбрейка» — методами, позволяющими обойти меры безопасности ИИ в таких областях, как биологическое оружие и киберугрозы. Прежде чем сделать свою систему защиты нового поколения доступной для общественности, Anthropic планирует предоставить возможность этичным хакерам протестировать её, чтобы предотвратить потенциальное неправомерное использование.

Мы расширяем нашу программу вознаграждения за обнаружение уязвимостей. Эта новая инициатива направлена ​​на поиск универсальных способов взлома нашей системы безопасности нового поколения.

Мы предлагаем вознаграждение за обнаружение новых уязвимостей в самых разных областях, включая кибербезопасность. https://t.co/OHNhrjUnwm

— Anthropic (@AnthropicAI) 8 августа 2024 г

Программа вознаграждения за обнаружение уязвимостей Anthropic, изначально запущенная в сотрудничестве с HackerOne и доступная только по приглашению, ищет специалистов по кибербезопасности, обладающих навыкамиdentи устранения уязвимостей в системах искусственного интеллекта. В будущем компания планирует расширить программу, потенциально создав модель общеотраслевого сотрудничества в области безопасности ИИ.

Это происходит на фоне расследования Управлением по конкуренции и рынкам Великобритании (CMA) инвестиций Amazon в размере 4 млрд долларов в компанию Anthropic по поводу потенциальных проблем с конкуренцией. На фоне усиленного регуляторного контроля сосредоточение внимания на безопасности может улучшить репутацию Anthropic и выделить ее среди конкурентов.

Компания Anthropic устанавливает новые стандарты безопасности ИИ

Хотя у OpenAI и Google также есть программы вознаграждения за обнаружение ошибок, они в основном сосредоточены на традиционных уязвимостях программного обеспечения, а не на тех, которые специфичны для искусственного интеллекта. Meta подвергалась критике за то, что, по мнению некоторых, придерживается относительно закрытого подхода к исследованиям, направленным на обеспечение безопасной разработки все более интеллектуальных машин. Явно фокусируясь на таких проблемах и приглашая к их внешней экспертизе, Anthropic создаетdent открытости в этом секторе.

Однако существуют сомнения в том, смогут ли одни только программы вознаграждения за обнаружение ошибок эффективно решить весь спектр проблем, связанных с обеспечением безопасности передовых систем машинного обучения. Хотя они ценны дляdentи устранения конкретных недостатков, они могут не справиться с более широкими проблемами, касающимися соответствия ИИ и долгосрочной безопасности. Для обеспечения соответствия систем ИИ человеческим ценностям по мере их роста может потребоваться более целостная стратегия, включающая обширное тестирование, улучшенную интерпретируемость и, возможно, новые структуры управления.