GPT-2 интегрирован в Microsoft Excel: нестандартный подход к моделированию ИИ

В выдающемся достижении программный разработчик и заявленный энтузиаст электронных таблиц Ишан Ананд успешно интегрировал языковую модель GPT-2 в Microsoft Excel. Это новаторское достижение не только демонстрирует универсальность электронных таблиц, но и дает уникальное представление о том, как работают большие языковые модели (LLM), особенно лежащая в их основе архитектура Transformer, отвечающая за интеллектуальное предсказание следующего токена.

Пионерский подход Ананда

Понимая присущую сложность систем ИИ, Ананд считает, что понимание электронной таблицы может раскрыть секреты искусственного интеллекта. «Если вы можете понять электронную таблицу, то можете понять ИИ», — уверенно заявляет он. Инновационный подход разработчика привел к созданию электронной таблицы объемом 1,25 ГБ, которую он щедро разместил на GitHub для скачивания и изучения любым желающим.

Хотя реализация GPT-2 в виде электронной таблицы Ананда может не соответствовать передовым возможностям современных LLM, она предлагает ценный взгляд на новаторскую модель GPT-2, которая привлекла значительное внимание в 2019 году благодаря своим передовым показателям. Важно отметить, что GPT-2 предшествует эпохе разговорного ИИ, когда ChatGPT появился в результате попыток диалогового взаимодействия с GPT-3 в 2022 году.

Изучение архитектуры Transformer

В основе реализации Ананда в Excel лежит модель GPT-2 Small, которая насчитывает 124 миллиона параметров. Для сравнения, полная версия GPT-2 использовала ошеломляющие 1,5 миллиарда параметров, а ее преемник, GPT-3, поднял планку еще выше, достигнув до 175 миллиардов параметров. Несмотря на относительно скромный размер, реализация Ананда демонстрирует способность архитектуры Transformer выполнять умное «предсказание следующего токена», где языковая модель интеллектуально дополняет входную последовательность наиболее вероятной следующей частью.

Хотя электронная таблица может обрабатывать только 10 входных токенов — ничтожную долю по сравнению с возможностями GPT-4 Turbo в 128 000 токенов — работа Ананда служит ценным образовательным ресурсом. Он считает, что его «низкокодовое введение» идеально подходит для технических руководителей, маркетологов, менеджеров продуктов, политиков в сфере ИИ, этиков, разработчиков и ученых, стремящихся лучше понять основы LLM.

Основа для современных LLM

Ананд утверждает, что архитектура Transformer, используемая в его реализации GPT-2, остается «фундаментом для ChatGPT от OpenAI, Claude от Anthropic, Bard/Gemini от Google, Llama от Meta и многих других LLM». Его многолистовая работа направляет пользователей через токенизацию слов, позиции и веса текста, итеративное уточнение предсказания следующего слова и, в конечном итоге, выбор выходного токена — предсказанного последнего слова последовательности.

Одним из заметных преимуществ реализации Ананда на базе Excel является возможность полностью запускать LLM локально на ПК, без reliance на облачные сервисы или вызовы API. Однако он предостерегает от попыток использовать этот файл Excel на Mac или в облачных приложениях для электронных таблиц, так как это может привести к сбоям и проблемам с производительностью. Кроме того, Ананд рекомендует использовать последнюю версию Excel для оптимальной производительности.

Хотя реализация GPT-2 Ананда может не соответствовать возможностям современных LLM, она служит замечательным образовательным инструментом и свидетельством универсальности электронных таблиц. Разрушая мифы о внутреннем устройстве языковых моделей, работа Ананда дает людям из самых разных сфер возможность глубже понять искусственный интеллект и лежащие в его основе архитектурные принципы.