Растет спрос на прозрачность ИИ, поскольку Howso борется с «черным ящиком» ИИ

В мире, все больше движимом искусственным интеллектом (AI), прозрачность процессов принятия решений стала насущной проблемой для многих. Майк Каппс, сооснователь Howso, компании из Роли, специализирующейся на объяснимом ИИ, утверждает, что, как люди тщательно изучают ингредиенты своей завтрашней еды, они должны требовать прозрачности в ИИ-системах, влияющих на критические аспекты их жизни, такие как здравоохранение и образование.

Возникновение черного ящика ИИ

Проникновение ИИ в нашу жизнь привело к его использованию в ключевых процессах принятия решений, от медицинских процедур и одобрения кредитов до определений условно-досрочного освобождения. Однако Каппс утверждает, что значительной проблемой многих существующих ИИ-систем является их непрозрачность, часто называемая «ИИ черного ящика». 

Эти системы выносят окончательные решения, не предоставляя четких представлений о том, как были достигнуты эти выводы, оставляя пользователей и заинтересованные стороны в неведении относительно критериев принятия решений.

Howso, ранее известная как Diveplane, была основана Майком Каппсом в 2018 году с миссой бросить вызов распространенности ИИ черного ящика. Уникальный подход компании к ИИ, известный как «атрибутивный ИИ», выделяет ее. 

Атрибутивный ИИ позволяет пользователям проследить решение до конкретных точек данных, делая процесс принятия решений прозрачным и понятным. Например, если рекомендуется медицинская операция, система Howso может указать 17 наиболее важных точек данных, повлиявших на это решение, предлагая ясность и подотчетность.

ИИ-движок Howso нашел применение в различных областях. Один из ее клиентов, Scanbuy, сотрудничает с крупными розничными торговцами, чтобы использовать инструмент Howso для клиентской аналитики. Это позволяет розничным торговцам предсказывать предпочтения клиентов таким образом, который является как точным, так и объяснимым. 

Заметно, что образовательные учреждения, такие как N.C. State и UNC, также приняли технологию Howso для конкретных проектов, подчеркивая растущий спрос на прозрачный ИИ в академической среде.

Решение открыть исходный код ИИ-движка Howso в сентябре подчеркивает приверженность компании прозрачности. Этот шаг дает пользователям возможность проектировать собственные платформы на основе объяснимого ИИ, further expanding the reach of transparent AI technology.

Заметные клиенты и партнерства

Впечатляющий список клиентов Howso включает отраслевых гигантов, таких как Mastercard и Mutua de Madrileña, испанская страховая компания. Кроме того, Департамент поведенческого здоровья и развития услуг штата Вирджиния использовал технологию Howso для улучшения процессов принятия решений. Эти партнерства демонстрируют широкую применимость и спрос на ИИ-системы, которые приоритизируют прозрачность и подотчетность.

Каппс подчеркивает критическую важность прозрачности в ИИ, проводя параллель с этикетками продуктов питания. Как потребители полагаются на этикетки с пищевой ценностью, чтобы делать информированный выбор относительно своей еды, люди должны требовать аналогичной прозрачности относительно ИИ-управляемых решений, влияющих на их жизнь. Это не просто вопрос доверия, но и фундаментальное требование для ответственной разработки программного обеспечения.

Ловушки ИИ черного ящика

ИИ черного ящика, как подчеркивает Каппс, представляет несколько врожденных проблем. Во-первых, он ставит под вопрос надежность и подотчетность ИИ-систем. Если внутренняя работа ИИ-системы скрыта, становится сложно выявить и исправить ошибки или баги. Следовательно, потенциальные непредвиденные последствия или предвзятость остаются без внимания, что приводит к значительным затратам на замену.

Одним из особенно важных применений ИИ, где прозрачность жизненно важна, являются решения об условно-досрочном освобождении. Эти определения часто опираются на исторические данные, которые могут содержать предвзятость. Эта предвзятость может воспроизводиться при масштабировании для эффективности, потенциально приводя к несправедливым и дискриминационным результатам. Каппс подчеркивает, что, хотя существует желание упростить и ускорить судебные процессы, это не должно происходить за счет воспроизведения расовой предвзятости.