- YandexGPT 2 разочаровал на конференции по генеративному ИИ, уступив превосходство GPT-4.
- Исследование Google подчеркивает доминирование GPT-4 и ChatGPT над поиском Google при работе с ложными предпосылками, что меняет облик интегрированных с ИИ поисковых систем.
- PPLX.AI выделяется в области мастерства создания AI-промптов, получив признание за превосходную производительность от сотрудников Google.
В начале сентября сообщество искусственного интеллекта было взволновано, когда российский технологический гигант Yandex провел закрытую мини-конференцию по генеративному ИИ. Мероприятие, посвященное изучению тонкостей ИИ, приняло неожиданный оборот после того, как стали известны подробности о YandexGPT 2 и его сравнительном анализе с GPT-4.
YandexGPT 2, собственная модель, должна была продемонстрировать вершину достижений Yandex. Однако презентация выявила неожиданное: даже с обширным обучением на десятилетии внутренних данных Yandex модель оказалась слабее мощного GPT-4. Этот неожиданный поворот подчеркнул впечатляющий прогресс, достигнутый GPT-4, укрепив ее превосходство как над собственными разработками, так и над предыдущими версиями с открытым исходным кодом.
Опираясь на эту основу, Google воспользовался возможностью провести прорывное исследование точности ответов больших языковых моделей (LLM), интегрированных с поисковыми системами. Как выяснил Google, сложность заключается в тщательной оценке и проверке этих моделей, что зависит от нюансов построения промптов и внутренних возможностей LLM.
Методология тестирования LLM от Google
Для оценки LLM был использован курируемый корпус из 600 вопросов. Эти вопросы были стратегически разделены на четыре отдельные группы, каждая из которых акцентировала внимание на фактической точности. Одна группа, но, выделялась вопросами, основанными на ложных предпосылках, бросая вызов моделям неточными исходными данными.
Анализ выявил удивительное доминирование GPT-4 и ChatGPT, особенно в опровержении ложных предпосылок. Сравнительные оценки продемонстрировали мощь этих моделей по сравнению с поиском Google и PPLX.AI. Поиск Google, основанный на текстовых фрагментах или ответах с первой страницы, давал правильные ответы в среднем в 40% случаев по всем группам. Примечательно, что ChatGPT и GPT-4 превзошли другие решения при работе с вопросами, содержащими ложные предпосылки: точность GPT-4 составила впечатляющие 42%. PPLX.AI продемонстрировал достойный показатель успеха в 52%, что указывает на его потенциал в использовании ChatGPT для агрегации результатов поиска Google.
В уникальном повороте исследование включило новаторский подход: каждый вопрос инициировал поиск в Google, а результаты интегрировались непосредственно в промпт. Эта техника Few-Shot обучения позволила LLM «прочитать» эту информацию перед генерацией ответов. Результаты продемонстрировали исключительную оценку качества GPT-4 на уровне 77%, точность 96% при ответе на «вечные» вопросы и достойную точность 75% при работе с вопросами, основанными на ложных предпосылках.
Мастерство создания и проектирования AI-промптов
Эффективное управление большими языковыми моделями (LLM) в лабиринте информации долгое время было серьёзной задачей. Недавние открытия в области исследования AI-промптов раскрывают ключевые стратегии повышения качества ответов, сгенерированных LLM, предоставляя инсайты в тонкие механизмы работы ИИ-ассистентов.
Основа лежит в тщательной структуре промпта, состоящей из нескольких компонентов. Примеры служат ориентирами для LLM, направляя их к точным ответам на основе контекстных подсказок. Второй слой включает представление самого запроса вместе с 10–15 результатами поиска, создавая всеобъемлющую библиотеку знаний для ИИ. Сложность подхода также заключается в упорядочивании ссылок хронологически внутри промпта, что отражает эволюционный характер информации.
Из этого исследования следует несколько ключевых выводов
PPLX.AI, использующий ChatGPT для агрегации результатов Google, представляет собой многообещающий вариант, получивший одобрение даже от сотрудников Google.
Эксперименты с различными элементами улучшают метрики отклика. Точность в построении промпта — это искусство, которое существенно влияет на эффективность больших языковых моделей.
GPT-4 демонстрирует достойную компетентность в обработке обширных наборов новостей и текстов, проявляя адаптивность даже в быстро меняющихся новостных сценариях, при этом метрики колеблются вокруг отметки 60%.
По мере расширения экосистемы ИИ языковые модели, интегрированные в поисковые системы, poised стать повсеместными. Трансформационный сдвиг в повседневном поисковом опыте знаменует более широкое принятие ИИ для доступа к информации и её обработки.
Многогранный подход к эффективному проектированию промптов открывает перспективный путь к получению точных ответов от сложных языковых моделей. Хронологическое расположение ссылок внутри промптов в сочетании с контекстными подсказками обогащает понимание динамической информации, прокладывая путь к более точным и учитывающим контекст ответам.
Если вы читаете это, вы уже впереди. Оставайтесь с нами, подписавшись на нашу рассылку.
Отказ от ответственности. Предоставленная информация не является торговой рекомендацией. Cryptopolitan.com Мы не несем ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимое исследование и/или проконсультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений.
Амир Шейх
Амир — технологический журналист с почти шестилетним опытом работы в индустриях криптовалют и технологий. Он окончил университет MAJ, получив степень MBA по финансам и маркетингу. Сейчас он работает в Cryptopolitan, где освещает последние события на рынке криптовалют и прогнозы цен.
