На что способен GPT-4o от OpenAI?

В понедельник компания OpenAI представила свою новейшую флагманскую модель под названием GPT-4o («o» означает «омни»), и, судя по всему, это самый близкий к интеллектуальному помощнику вариант «Джарвиса» из фильма «Железный человек». 

Главное преимущество ChatGPT-4o заключается в том, что он может обрабатывать различные типы запросов, чего не могут большинство существующих моделей ИИ. Это означает, что GPT-4o может принимать и генерировать любые комбинации текстовых, аудио- и графических запросов.

Демонстрация, представленная командой на платформе X (ранее Twitter), была настолько впечатляющей, что вызвала большой ажиотаж. Одним из главных достижений является то, что GPT-4o реагирует на аудиовходы всего за 232 миллисекунды, что сопоставимо со временем реакции человека во время разговора.

«Это похоже на искусственный интеллект из фильмов; и меня до сих пор немного удивляет, что это реально», — написал в понедельник в своем блоге генеральный директор OpenAI Сэм Альтман. «Достижение уровня отклика и выразительности, сравнимого с человеческим, оказалось большим достижением»

Компания OpenAI начала внедрение функций обработки текста и изображений в GPT-4o для пользователей. В ближайшие недели возможности обработки аудио и видео будут предоставлены «небольшой группе доверенных партнеров в рамках API», сообщила компания. 

Тем не менее, вот некоторые из возможностей модели ChatGPT-4o. 

Что можно делать с GPT-4o

Создавайте изображения с разборчивым текстом

До сих пор некоторые генераторы изображений на основе ИИ, такие как Midjourney, испытывали трудности с созданием изображений с читаемым текстом. OpenAI заявила, что GPT-4o теперь гораздо лучше понимает текстовые описания и может создавать разборчивый текст на изображениях. 

Перевод в реальном времени

В ситуациях, когда необходим переводчик, GPT-4o может выполнять эту функцию. В видеодемонстрации команда OpenAI показала, что GPT-4o может повторить сказанное на английском языке на испанском, возможно, и на других языках, а также обратно с испанского на английский.

Смотри и рассказывай

Для людей с нарушениями зрения, или просто ради развлечения, ChatGPT-4o может видеть и определять, что происходит вокруг вас, через камеру телефона. В одном случае модель смогла определить, что кто-то празднует день рождения, заметив в комнате cake и свечу.

Решайте математические задачи

GPT-4o также может просматривать математические задачи на листе бумаги или экране дисплея и выдавать ответы. Более того, он может обучать и направлять вас в решении этих задач.

Искусственный интеллект в визуальных совещаниях

GPT-4o может подключаться к видеоконференциям и проводить беседы с участниками. Он также может помочь пользователям подготовиться к собеседованиям при приеме на работу.