Интеграция GPT-2 в Microsoft Excel: нетрадиционный подход к моделированию с использованием искусственного интеллекта

В результате выдающегося достижения разработчик программного обеспечения и самопровозглашенный энтузиаст электронных таблиц Ишан Ананд успешно интегрировал языковую модель GPT-2 в Microsoft Excel. Это новаторское достижение не только демонстрирует универсальность электронных таблиц, но и дает уникальное представление о том, как работают большие языковые модели (LLM), в частности, о базовой архитектуре Transformer, отвечающей за интеллектуальное предсказание следующего токена.

Новаторский подход Ананда

Признавая присущую системам искусственного интеллекта сложность, Ананд считает, что понимание электронных таблиц может раскрыть секреты искусственного интеллекта. «Если вы можете понять электронную таблицу, то вы сможете понять и ИИ», —dentзаявляет он. Инновационный подход разработчика привел к созданию электронной таблицы размером 1,25 ГБ, которую он любезно предоставил в открытый доступ на GitHub для скачивания и изучения любым желающим.

Хотя реализованная Анандом электронная таблица для GPT-2, возможно, и не соответствует передовым возможностям современных LLM-систем, она дает ценное представление о новаторской модели GPT-2, которая привлекла значительное внимание в 2019 году благодаря своей передовой производительности. Важно отметить, что GPT-2 предшествует эре разговорного ИИ, а ChatGPT появилась в результате попыток адаптировать GPT-3 к разговорной модели в 2022 году.

Изучение архитектуры трансформатора

В основе реализации Anand для Excel лежит модель GPT-2 Small, которая может похвастаться 124 миллионами параметров. Для сравнения, полная версия GPT-2 использовала поразительные 1,5 миллиарда параметров, а ее преемник, GPT-3, поднял планку еще выше, достигнув 175 миллиардов параметров. Несмотря на относительно скромный размер, реализация Anand демонстрирует способность архитектуры Transformer выполнять интеллектуальное «прогнозирование следующего токена», когда языковая модель разумно дополняет входную последовательность наиболее вероятной последующей частью.

Хотя электронная таблица может обрабатывать всего 10 токенов ввода, что является ничтожно малой долей по сравнению с вместимостью GPT-4 Turbo в 128 000 токенов, работа Ананда служит ценным образовательным ресурсом. Он считает, что его «введение в программирование с минимальным использованием кода» идеально подходит для руководителей технологических компаний, маркетологов, менеджеров по продуктам, политиков в области ИИ, специалистов по этике, разработчиков и ученых, стремящихся лучше понять основы программ магистратуры в области прикладных наук.

Основа для современных программ магистратуры в области права.

Ананд утверждает, что архитектура Transformer, используемая в его реализации GPT-2, остается «основой для ChatGPT от OpenAI, Claude от Anthropic, Bard/Gemini от Google, Llama от Meta и многих других LLM». Его работа с многостраничным интерфейсом помогает пользователям в токенизации слов, определении позиций и весовых коэффициентов текста, итеративном уточнении прогнозирования следующего слова и, в конечном итоге, в выборе выходного токена — прогнозируемого последнего слова последовательности.

Одним из существенных преимуществ разработанной Анандом реализации на основе Excel является возможность запуска LLM полностью локально на ПК, без использования облачных сервисов или вызовов API. Однако он предостерегает от попыток использовать этот файл Excel на Mac или в облачных табличных приложениях, поскольку это может привести к сбоям и проблемам с производительностью. Кроме того, Ананд рекомендует использовать последнюю версию Excel для оптимальной производительности.

Хотя реализация GPT-2, предложенная Анандом, может и не соответствовать возможностям современных языковых моделей, она служит замечательным образовательным инструментом и свидетельством универсальности электронных таблиц. Разъясняя внутренние механизмы языковых моделей, работа Ананда позволяет людям из разных слоев общества глубже понять искусственный интеллект и его основные архитектурные принципы.