Укрощение галлюцинаций ИИ: новые метрики от Galileo Labs для более безопасного и надежного ИИ

По мере стремительного развития ИИ, всё большее значение приобретают опасения по поводу его ограничений и этических последствий. Одной из новых проблем является феномен «галлюцинаций ИИ», когда системы ИИ генерируют информацию, которая является фактически неверной, нерелевантной или не соответствует предоставленным входным данным. В ответ на эту растущую обеспокоенность Galileo Labs разработала инновационные метрики, направленные на количественную оценку и смягчение последствий «галлюцинаций ИИ». Эти метрики открывают перспективный путь для повышения надежности и безопасности больших языковых моделей (LLM) и других систем ИИ.

Рост числа галлюцинаций, связанных с искусственным интеллектом

Технологии искусственного интеллекта, в частности большие языковые модели (LLM), добились значительных успехов в обработке и генерации естественного языка. Однако этот прогресс не обошелся без недостатков. Системы ИИ, включая ChatGPT, иногда выдавали ответы, которые звучали авторитетно, но были в корне неверны — явление, обычно называемое «галлюцинациями». Распознавание галлюцинаций ИИ становится все более важным в эпоху, когда ИИ играет центральную роль в различных приложениях.

В 2023 году Кембриджский словарь даже объявил слово «галлюцинировать» словом года, подчеркнув важность решения этой проблемы. Исследователи и представители отрасли сейчас активно разрабатывают алгоритмы и инструменты для эффективного обнаружения и смягчения этих галлюцинаций.

Представляем индекс галлюцинаций от Galileo Labs

Одним из заметных участников в борьбе с галлюцинациями, вызываемыми искусственным интеллектом, является компания Galileo Labs, которая представила новаторский показатель, называемый Индексом галлюцинаций. Этот индекс служит инструментом для оценки популярных психоактивных веществ на основе вероятности возникновения галлюцинаций.

Анализ, проведенный Galileo Labs, выявляет интригующие закономерности. Даже такие продвинутые модели, как OpenAI GPT-4, считающиеся одними из лучших, склонны к галлюцинациям примерно в 23% случаев при решении простых задач типа «вопрос-ответ». Некоторые другие модели показывают еще худшие результаты, с поразительной вероятностью галлюцинаций в 60%. Однако для понимания этой статистики необходимо более внимательно изучить нюансы и новые используемые метрики.

Тонкий подход к метрикам галлюцинаций

Лаборатория Galileo Labs defiгаллюцинацию как генерацию информации или данных, которые являются фактически неверными, нерелевантными или не основаны на предоставленных входных данных. Важно отметить, что характер галлюцинации может варьироваться в зависимости от типа задачи, что обуславливает необходимость применения специфического подхода к оценке систем искусственного интеллекта.

Например, в сценарии вопросов и ответов, где контекст имеет решающее значение, LLM должен извлечь соответствующий контекст и дать ответ, прочно основанный на этом контексте. Для повышения производительности используются такие методы, как генерация с расширенным извлечением информации (RAG), которые предоставляют LLM контекстно релевантную информацию. Удивительно, но производительность GPT-4 немного ухудшается при использовании RAG, что подчеркивает сложность эффективного решения проблемы галлюцинаций.

В отличие от этого, для таких задач, как генерация длинных текстов, крайне важно оценить достоверность ответа участника программы. Здесь используется новый показатель, называемый «правильностью», которыйdentфактические ошибки в ответах, не относящиеся к какому-либо конкретному документу или контексту.

Ключевые факторы, влияющие на склонность к галлюцинациям

Компания Galileo Labsdentнесколько ключевых факторов, влияющих на склонность людей с ограниченными интеллектуальными возможностями к галлюцинациям. К этим факторам относятся:

1. Тип задачи: Характер задачи — узкоспециализированная или общего назначения — влияет на проявление галлюцинаций. В случае узкоспециализированных задач, таких как поиск информации в документах компании для ответа на запрос, способность магистра права извлекать и использовать необходимый контекст играет решающую роль.

2. Размер LLM: Количество параметров, на которых обучалась LLM, может влиять на ее производительность. Вопреки распространенному мнению о том, что чем больше, тем лучше, этот параметр подчеркивает необходимость оптимальных размеров модели.

3. Контекстное окно: В сценариях, где RAG используется для расширения контекста, контекстное окно и ограничения LLM становятся актуальными. Способность LLM извлекать информацию из середины предоставленного текста, как показали недавние исследования, может влиять на его склонность к галлюцинациям.

ChainPoll: Экономически эффективная методика обнаружения галлюцинаций

Для упрощения процесса обнаружения галлюцинаций компания Galileo Labs разработала ChainPoll — новую методологию обнаружения галлюцинаций. ChainPoll использует подход, основанный на анализе стоимости мыслительных подсказок, что позволяет моделям ИИ давать точные иmatic объяснения. Этот подход помогает понять причины возникновения галлюцинаций, способствуя созданию более объяснимых моделей ИИ.

Компания Galileo Labs утверждает, что ChainPoll примерно в 20 раз экономичнее, чем предыдущие методы обнаружения галлюцинаций. Он предлагает экономичный и эффективный способ оценки качества результатов работы ИИ, особенно в таких распространенных типах задач, как чаты, суммаризация и генерация, как с использованием RAG, так и без него. Более того, эти метрики демонстрируютtronкорреляцию с отзывами людей.

На пути к более безопасному и заслуживающему доверия искусственному интеллекту

Хотя разработанные Galileo Labs метрики представляют собой значительный шаг вперед в борьбе с галлюцинациями, вызванными искусственным интеллектом, они все еще находятся в стадии разработки. Достижение 85% корреляции с отзывами людей заслуживает похвалы, но оставляет место для дальнейшего улучшения. Метрики также потребуют адаптации для многомодальных LLM, способных обрабатывать различные типы данных, включая текст, код, изображения, звуки и видео.

Тем не менее, эти метрики представляют собой ценный инструмент для команд, разрабатывающих приложения LLM. Они обеспечивают непрерывную обратную связь в процессе разработки и мониторинга в производственной среде, позволяя быстроdentвходные и выходные данные, требующие внимания. Это, в свою очередь, сокращает время разработки, необходимое для запуска надежных и безопасных приложений LLM.

Инновационные метрики и методологии Galileo Labs предлагают перспективное решение актуальной проблемы галлюцинаций, вызываемых искусственным интеллектом. По мере развития технологий ИИ обеспечение надежности и точности результатов его работы становится первостепенной задачей. Хотя проблемы остаются, такие инструменты, как Индекс галлюцинаций и ChainPoll, позволяют разработчикам и предприятиям более безопасно и ответственно использовать потенциал ИИ.

Распознавание галлюцинаций, возникающих в процессе работы ИИ, является важным шагом на пути к расширению его возможностей за пределы имитации человеческого текста. Поскольку системы ИИ стремятся к открытию новых горизонтов, таких как новые физические явления, этот путь потребует инновационных подходов для обеспечения безопасности, точности и этичного внедрения ИИ. Вклад Galileo Labs в это начинание подчеркивает приверженность отрасли расширению границ возможностей ИИ при сохранении его целостности и надежности.