ToolLLM демонстрирует впечатляющие возможности в освоении 16 464 реальных RESTful API

В groundbreaking статье под названием «ToolLLM: Содействие крупным языковым моделям в освоении 16 464 реальных API» команда исследователей из престижных учреждений представляет революционную структуру, которая использует мощь крупных языковых моделей (LLM) для освоения более 16 464 реальных RESTful API. Исследование, проведенное исследователями из Университета Цинхуа, ModelBest Inc., Университета Жэньминь, Йельского университета, Tencent Inc. и Zhihu Inc., решает ограничения существующих LLM в выполнении задач более высокого уровня, особенно в обучении использованию внешних инструментов, таких как API.

Проблема использования инструментов для LLM

Хотя LLM нашли широкое применение в различных реальных сценариях, их производительность в задачах, связанных с использованием внешних инструментов, таких как API, была ограничена. Предыдущие усилия по решению этой проблемы оказались недостаточными, так как они не смогли в полной мере стимулировать возможности использования инструментов LLM. Кроме того, они сталкивались с ограничениями, включая узкий диапазон API, ограниченные сценарии и недостаточное планирование и рассуждение.

Чтобы преодолеть эти проблемы, исследовательская команда представляет ToolLLM, groundbreaking общую структуру использования инструментов, которая демонстрирует впечатляющие возможности в освоении 16 464 реальных RESTful API. Исследователи начинают с создания высококачественного набора данных для инструктивного обучения под названием ToolBench. Конструкция набора данных включает три ключевых этапа, обеспечивая комплексный и эффективный подход.

Этап 1: Сбор API

Команда собирает обширный набор данных из 16 464 RESTful API с платформы RapidAPI, охватывающий 49 категорий, включающих разнообразные области, такие как социальные сети, электронная коммерция и погода. Этот широкий спектр API обеспечивает универсальность структуры для решения различных реальных задач.

Этап 2: Генерация инструкций

Для генерации инструкций исследователи выбирают API из собранного набора данных и направляют запросы в ChatGPT, широко используемую LLM, для генерации разнообразных инструкций как для сценариев с одним инструментом, так и для сценариев с несколькими инструментами. Этот шаг гарантирует, что ToolLLM может обрабатывать сложные задачи, включающие несколько API, повышая его практическую применимость.

Этап 3: Аннотация путей решения

На этом этапе команда аннотирует высококачественные ответы на сгенерированные инструкции, обеспечивая получение структурой точных и надежных данных для обучения. Высококачественные ответы необходимы для улучшения производительности и точности ToolLLM.

Улучшение планирования и рассуждений с помощью DFSDT

Чтобы сделать сбор данных более эффективным и улучшить способности к планированию и рассуждению LLM, исследователи вводят новаторское решение на основе дерева решений с поиском в глубину (DFSDT). Этот инновационный подход значительно улучшает способность ToolLLM обрабатывать сложные сценарии и находить оптимальные решения.

Тонкая настройка LLM и создание ToolEval

Исследователи переходят к тонкой настройке LLaMA, варианта LLM, используя набор данных ToolBench. Результатом становится ToolLLaMA, мощная модель для использования инструментов, готовая продемонстрировать свои возможности. Кроме того, команда разрабатывает автоматический оценщик ToolEval для оценки производительности ToolLLaMA. Комбинация настроенных моделей и автоматического оценщика обеспечивает надежную и эффективную оценку возможностей структуры.

Впечатляющая производительность и перспективы для будущих исследований

В ходе строгих экспериментов и оценок исследовательская команда обнаружила, что ToolLLaMA превосходит традиционные методы использования инструментов, демонстрируя свои исключительные возможности в рамках LLM. Кроме того, структура демонстрирует свой потенциал в освоении ранее невиданных API,进一步 расширяя ее практическую применимость.

Новый фронт для инструктивного обучения и использования инструментов в LLM

Успешная разработка ToolLLM открывает захватывающие возможности в области инструктивного обучения и использования инструментов для крупных языковых моделей. Исследователи считают, что их работа вдохновит на дальнейшие исследования в этой области, что приведет к созданию более сложных и способных LLM.

Доступ к ToolLLM и будущие последствия

Исследователи сделали код, обученные модели и демо-версию ToolLLM общедоступными на GitHub. Этот шаг обеспечивает доступность и поощряет сотрудничество в развитии области. По мере того как ToolLLM продолжает формировать будущее LLM и реальных приложений, возможности его интеграции в различные отрасли и сектора кажутся безграничными.

Статья исследовательской команды о ToolLLM представляет собой большой шаг вперед в использовании полного потенциала крупных языковых моделей для освоения реальных API. Преодолевая существующие ограничения и вводя комплексную структуру использования инструментов, ToolLLM демонстрирует впечатляющие возможности LLM в решении разнообразных задач. Доступность их работы на GitHub и ее многообещающие последствия для будущих исследований прокладывают путь к дальнейшим достижениям в области инструктивного обучения и использования инструментов для LLM.