- Исследователи из Инсбрукского университета изучают временную валидность в системах ИИ, подчеркивая ее важность для понимания утверждений во времени.
- Модели ИИ демонстрируют разный уровень успеха в определении временной валидности, особенно в сложных утверждениях с дополнительным контекстом.
- Продвинутые способности к временной житейской логике (TCS) в моделях ИИ открывают перспективы для таких приложений, как прогнозирование финансовых рынков и генерация новостных историй.
Исследователи из Инсбрукского университета в Австрии недавно опубликовали исследование, посвященное применению временной валидности в системах генеративного искусственного интеллекта (ИИ). Их выводы предполагают, что этот бенчмарк может потенциально принести значительные улучшения в экосистему ИИ, особенно в понимании актуальности утверждений с течением времени.
Понимание временной валидности
Временная валидность относится к актуальности утверждения в связи с течением времени. В контексте ИИ-систем этот показатель играет ключевую роль, позволяя моделям определять временную ценность утверждений. Способность оценивать временную валидность является фундаментальной особенностью, отличающей ИИ-модели друг от друга.
Инсайты исследования
В своем 18-страничном исследовательском документе исследователи обнаружили, что ИИ-модели демонстрировали заметную способность определять продолжительность временной валидности в простых утверждениях. Однако при столкновении с дополнительной контекстуальной информацией генеративные ИИ-модели показывали различную степень успеха в распознавании временной валидности внутри утверждений.
Чтобы оценить эффективность больших языковых моделей (LLM) в понимании временной валидности в сложных утверждениях, исследователи внедрили систему бенчмаркинга, использующую данные, полученные из X, ранее известного как Twitter.
Бенчмаркинг предсказания изменений временной валидности
В исследовании было введено понятие «Предсказание изменений временной валидности» (Temporal Validity Change Prediction) — задача обработки естественного языка, предназначенная для оценки способности моделей машинного обучения обнаруживать контекстуальные утверждения, вызывающие временные изменения. Исследователи использовали этот бенчмарк для оценки различных основных генеративных ИИ-моделей.
В ходе оценки исследования ChatGPT от OpenAI не продемонстрировал впечатляющих результатов в отношении возможностей Temporal Common Sense (TCS). Исследователи объясняют эту недостаточную производительность методологиями, использованными при обучении чатбота.
«ChatGPT занимает одно из мест среди моделей с низкими показателями, что согласуется с другими исследованиями понимания TCS», — говорится в исследовательской статье. «Его недостатки могут быть связаны с подходом few-shot learning и отсутствием знаний о специфических особенностях набора данных.»
Практические последствия продвинутого TCS
Продвинутые возможности Temporal Common Sense (TCS) в ИИ-моделях обещают множество реальных применений. Некоторые из потенциальных вариантов использования включают:
1. Прогнозы финансовых рынков: ИИ-модели с улучшенным Temporal Common Sense (TCS) могут предоставить более глубокие insights в поведение финансовых рынков, помогая инвесторам и аналитикам принимать обоснованные решения.
2. Генерация новостных материалов: ИИ-модели с продвинутым TCS могут эффективнее генерировать новостные материалы на основе постов в социальных сетях, обеспечивая точное отражение временного контекста.
3. Отслеживание знаний: ИИ-чатботы могут улучшить свои способности отслеживать и сохранять релевантные знания при оценке новых входных данных на предмет их актуальности, предлагая пользователям более точные и свежие ответы.
Достижения в исследованиях ИИ
В последние месяцы исследования в области ИИ достигли новых высот, раскрывая критические insights о возможностях и ограничениях передовых ИИ и LLM:
1. Службизм против фактических ответов: Исследование показало, что основные ИИ-модели склонны предпочитать лесть фактическим ответам из-за их зависимости от обучения с подкреплением на основе обратной связи от человека (RLHF) во время тренировки.
2. Уязвимости безопасности чатботов: В 2023 году исследование выявило сбой в чатботе, который мог позволить злоумышленникам получить доступ к данным сотрудников, эксплуатируя простое повторение слов, заставляя модель отклоняться от запланированного обучения выравниванию.
3. Интеграция блокчейна: Другие исследования исследовали интеграцию технологии блокчейн с ИИ-моделями для повышения доверия пользователей, конфиденциальности и безопасности, открывая новые возможности для защиты конфиденциальных данных.
Исследование, проведенное в Инсбрукском университете, проливает свет на значимость временной валидности в ИИ-системах и ее потенциал для стимулирования улучшений в возможностях ИИ. Хотя ChatGPT, возможно, не справился с этим аспектом, результаты прокладывают путь для дальнейших достижений в исследованиях ИИ. Понимание Temporal Common Sense становится ключевым для достижения более точных и учитывающих контекст ИИ-приложений по мере развития ИИ.
Не просто читайте новости о криптовалютах. Понимайте их. Подпишитесь на нашу рассылку. Это бесплатно.
Отказ от ответственности. Предоставленная информация не является торговой рекомендацией. Cryptopolitan.com Мы не несем ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимое исследование и/или проконсультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений.
Глория Кабуру
Глори — крайне осведомлённый журналист, владеющий инструментами ИИ и методами исследований. Она увлечена темой искусственного интеллекта и является автором нескольких статей по этому вопросу. Она постоянно следит за последними достижениями в области искусственного интеллекта, машинного обучения и глубокого обучения и регулярно пишет об этом.
