Google представила функции обработки видео в реальном времени с помощью ИИ в обновлении Gemini

Компания Google объявила о внедрении возможностей искусственного интеллекта Gemini, работающих в режиме реального времени, что позволит системе мгновенно анализировать экраны смартфонов и видеопотоки с камер. Эти функции будут доступны избранным подписчикам Google One AI Premium.

Новая функция появилась после первой демонстрации Google «Project Astra», состоявшейся почти год назад, и добавила в Gemini Live возможности управления камерой и демонстрацией экрана. Google сообщила, что новая функция прямой видеотрансляции позволит Gemini в режиме реального времени интерпретировать изображение с камер смартфонов пользователей и отвечать на их вопросы.

технологическая компания выпустила видеоролик , демонстрирующий использование функции прямой видеотрансляции Gemini для выбора цвета краски для свежеглазурованной керамики.

Google внедряет функции Gemini для обработки видео в режиме реального времени с использованием искусственного интеллекта

Новая функция также позволит пользователям вести диалог с Gemini в режиме реального времени, основываясь на информации на экране. Reddit Пользователь получил доступ к функции «Поделиться экраном с Live», нажав кнопку над текстовым полем «Спросить Gemini» на оверлее Gemini. 

Пользователь Reddit также опубликовал ниже видео, демонстрирующее новую функцию чтения с экрана в Gemini. Это одна из двух функций, которые технологической компании , по словам , она начнет «внедрять для подписчиков Gemini Advanced в рамках тарифного плана Google One AI Premium» позже в этом месяце. Доступ к возможностям камеры в реальном времени можно получить, открыв полный интерфейс Gemini Live и запустив видеопоток. 

Google утверждала, что Gemini Live будет использовать новый формат уведомлений в стиле телефонных звонков и более компактный полноэкранный интерфейс, хотя эти функции еще не были широко внедрены. В январе технологическая компания также признала, что владельцы Pixel (и серии Galaxy S25) будут «одними из первых, кто получит возможности Project Astra, такие как демонстрация экрана и прямая трансляция видео» 

Google внедряет функции Canvas и обзора аудио

мы представляем Canvas и приветствуем Audio Overview в приложении @GeminiApp . Превращайте документы, слайды и отчеты Deep Research в подкасты с помощью Audio Overview. Или создавайте документы или проекты по программированию с помощью Canvas — он очень быстро создает прототипы, и вы можете редактировать их в Gemini в режиме реального времени. pic.twitter.com/tEdlZoSqeS

– Сундар Пичаи (@sundarpichai) 18 марта 2025 г.

Google также представила еще одну новую функцию Gemini под названием «Canvas», которая позволяет пользователям дорабатывать свои документы и код. Компания подтвердила, что пользователи могут выбрать «Canvas» в строке командной строки, где они могут писать и редактировать документы или код, при этом изменения будут отображаться в режиме реального времени. 

Технологическая компания подчеркнула, что Canvas упростит процесс преобразования идей в коде в работающие прототипы веб-приложений, скриптов Python, игр, симуляций и других интерактивных приложений. Google также заявила, что новая функция позволит пользователям сосредоточиться на создании, редактировании и обмене своим кодом и дизайном в одном месте, без необходимости переключаться между несколькими приложениями. Компания запустила Canvas для подписчиков Gemini и Gemini Advanced по всему миру на всех языках.

Google также представила функцию Audio Overview, которая преобразует документы, слайды и даже отчеты Deep Research пользователей в увлекательные дискуссии в формате подкаста между двумя ведущими, использующими искусственный интеллект.