Почему объяснимость должна быть основой вашего ИИ-приложения

Digital and AI SME, соучредитель Thinking Stack Inc.

гетти

Одним из наиболее важных аспектов науки о данных является построение доверия. Это особенно верно, когда вы работаете с технологиями машинного обучения и искусственного интеллекта, которые являются новыми и незнакомыми для многих людей. Когда что-то идет не так, что вы говорите своему клиенту? Что они говорят? Что, по их мнению, будет дальше? С помощью объяснимого ИИ вы можете давать ответы, доказывающие легитимность вашего продукта.

Объяснение является ключевой частью построения доверия к любому технологическому приложению, но еще важнее оно для приложений машинного обучения, где:

• Вы не знаете, как работает система (например, классификация изображений).

• Нет четкой причинно-следственной связи между входами/выходами (например, рекомендательные системы).

Большинство моделей являются моделями «черного ящика», и часто, когда эти модели обучаются, ученые машинного обучения не могут понять, как модель сделала прогноз или почему она предсказывает то, что делает. Неспособность ученых, занимающихся моделью или машинным обучением, объяснить прогнозы заинтересованным сторонам, а также сложность интерпретации поведения модели при обучении приводят к отсутствию доверия заинтересованных сторон к модели и ее прогнозам.

Объяснимый ИИ помогает укрепить доверие к ИИ, обеспечивая постоянную видимость моделей обучения и производства. Ученые и заинтересованные стороны в области машинного обучения могут понять, почему делаются прогнозы, и получить полезную информацию для команд, чтобы точно настроить и переобучить модели.

Чтобы добиться объяснимого ИИ, нам нужно ответить на два вопроса.

Насколько хороша ваша модель? Например, если компания-эмитент кредитных карт хочет, чтобы ее система выявляла мошеннические транзакции в режиме реального времени, ей было бы интересно узнать, насколько точна модель обнаружения мошенничества (как часто она делает правильные прогнозы), а также процент ложных срабатываний (насколько это возможно). часто делает неверные предсказания). Это позволит им узнать, соответствует ли их модель их бизнес-требованиям или им нужна дополнительная настройка.

Второй вопрос поможет определить, работает ли стратегия оптимизации так, как ожидалось: мы получили лучшие результаты, чем раньше? Возьмем, к примеру, автостраховую компанию, у которой есть 100 клиентов, за пять лет стажа вождения которых не сообщалось об авариях, но за один год водительского стажа из-за отсутствия сообщений об авариях. Если эта компания использовалась в качестве входных данных для алгоритма машинного обучения, предсказывающего, попадет ли кто-то в аварию в течение пяти лет (на основе только прошлого поведения за рулем), то нет никакого способа узнать, сработает ли этот прогноз. На данный момент мы не можем сравнить его выходные данные с любыми другими выходными данными, полученными с использованием других подходов, таких как те, которые также учитывают информацию о возрасте.

Теперь, когда вы лучше понимаете важность объяснимости, давайте рассмотрим несколько примеров, которые могут помочь вашему бизнесу.

Объяснимые решения ИИ особенно полезны для:

• Наблюдение: Программное обеспечение для распознавания изображений уже несколько лет используется правоохранительными органами по всему миру. Объяснимые ИИ-решения обеспечивают большую прозрачность процесса принятия решений в этих системах, чтобы пользователи могли понять, почему определенные подозреваемые были остановлены или арестованы; эти знания помогают уменьшить проблемы расового профилирования, возникающие из-за низкой точности технологии распознавания лиц.

• Аналитика розничной торговли в магазине: Объяснимый ИИ в видении позволяет ученым и заинтересованным сторонам понять, почему модель предсказывает полку как пустую или продукт как банку кока-колы, а не бутылку или банку Red Bull. Это достигается за счет предоставления атрибуций от пикселя к метке, чтобы люди могли понять, какие пиксели способствуют обнаружению объекта таким, какой он есть. Кроме того, методы факторизации признаков могут отличать признаки, различающие этикетку, от других признаков (например, признаков, объясняющих, почему бутылка отличается от банки).

• Визуальный контроль качества: в контексте визуального контроля качества объяснимость может относиться к способности понять и сообщить причины, лежащие в основе решения о проверке, например, почему определенный дефект был сочтен неприемлемым или почему определенный компонент был признан соответствующим требуемым требованиям. технические характеристики.

Объяснимость помогает оценить производительность систем ИИ.

Правильность системы, основанной на правилах, можно проверить, измерив количество пар ввода-вывода, для которых правило не сработало. С другой стороны, оценить корректность алгоритма ML гораздо сложнее. Простой способ сделать это — просмотреть прогнозы, сделанные моделью, и сравнить их с достоверными данными, полученными непосредственно от заинтересованных сторон вашего бизнеса или клиентов. Однако этот подход не даст точной картины, так как не учитывает различные факторы, такие как качество данных и шум в реальных приложениях. Еще одна проблема с этим подходом заключается в том, что он требует доступа к достоверным данным, которые не всегда могут быть доступны или достаточно надежны, чтобы помочь вам принять решение о том, насколько хорошо ваша модель служит своей цели.

Объяснимость может помочь отладить производительность модели. Важным шагом в отладке алгоритмов машинного обучения является понимание того, где они терпят неудачу и почему. Процесс отладки модели и анализа отказов можно эффективно решать с помощью методов объяснимости.

ИИ увеличит скорость принятия только тогда, когда пользователь ему доверяет, а доверие можно заслужить только тогда, когда решения будут объяснены.

Например, предположим, вы хотите узнать, почему конкретному кандидату было отказано в предложении о работе. Вы можете попросить свою систему ИИ объяснить свои рассуждения и получить ответ вроде «У соискателя слишком много красных флажков в его проверке биографических данных» или «У соискателя не было достаточного опыта работы в требуемой области». Вы чувствовали бы себя намного лучше после этого объяснения, чем если бы не было никакого объяснения вообще.

Другими словами, с надлежащими мерами объяснимости, включенными в ваше приложение ИИ, каждый пользователь такого приложения будет чувствовать себя более уверенным в его производительности и надежности с течением времени, даже если оно продолжает принимать решения от своего имени на основе большего количества точек данных, чем когда-либо прежде!

Технологический совет Forbes — это сообщество только по приглашению для ИТ-директоров, технических директоров и руководителей технологических компаний мирового класса. Имею ли я право?