15 ключевых ошибок, которых следует избегать при обучении моделей ИИ

По мере того, как искусственный интеллект становится все более распространенным в современном мире, важность тщательного обучения моделей ИИ для выполнения сложных задач становится все более важной. Однако многие организации совершают распространенные ошибки в процессе разработки моделей ИИ, что приводит к неоптимальным результатам.

Некоторые из этих ошибок могут включать недостаточные или низкокачественные данные, отсутствие постановки четких целей и непонимание ограничений модели. Ниже члены Технологического совета Forbes исследуют эти и другие распространенные ошибки, которые совершают организации при обучении моделей ИИ, и дают советы, как их избежать.

1. Отсутствие контроля качества данных

Я познакомился с главой отдела данных в компании по производству беспилотных автомобилей. Они заплатили за то, чтобы данные изображения были помечены для них — например, «кликните по изображениям с велосипедами». Они обучили модель, и производительность упала. Как оказалось, в их данных отсутствовали метки. Благодаря базовому мониторингу они могли обнаружить это на ранней стадии, не переобучая большую и дорогостоящую модель на неверных данных. «Мусор на входе, мусор на выходе», как говорится. – Кайл Кирван, Bigeye

2. Не использовать разнообразный набор данных

Одна из ключевых ошибок, которую совершают организации при обучении моделей ИИ, заключается в том, что они не используют разнообразный набор данных. Это может привести к необъективным результатам. Чтобы избежать этого, организации должны обеспечить, чтобы данные, используемые для обучения моделей ИИ, были репрезентативными и разнообразными, отражая различные точки зрения и опыт. Кроме того, постоянный мониторинг и тестирование могут помочь обнаружить и устранить любые потенциальные отклонения в модели ИИ. – Сунил Ранка, ООО «Предиклы»

Технологический совет Forbes — это сообщество только по приглашению для ИТ-директоров, технических директоров и руководителей технологических компаний мирового уровня. Имею ли я право?

3. Недостаточно нужных данных

Одной из распространенных ошибок является отсутствие достаточного количества качественных, разнообразных и репрезентативных данных для обучения модели. Это может привести к плохой работе и даже вредным последствиям. Чтобы избежать этого, данные должны быть выбраны точно, чтобы отражать реальное население, относительно которого модель будет делать прогнозы. – Фардад Забетян, КУДО

4. Неиспользование реальных данных клиентов

Компании, занимающиеся искусственным интеллектом, обычно ищут «идеальные данные» для обучения и прибегают к синтетическим или лабораторным эталонам. На самом деле данные загрязнены, а шум повсюду, поэтому настоящая проблема состоит в том, чтобы его преодолеть. Я обнаружил, что наиболее успешные компании, занимающиеся искусственным интеллектом, обучают модели на реальных данных о клиентах и используют свой опыт в предметной области, чтобы отделить их от шума. – Элирон Экстайн, Ravin AI Limited

5. Не отвечая на правильные вопросы

Часто организации не обучают свои модели ИИ отвечать на правильные вопросы или не интегрируют их в свои процессы таким образом, чтобы это было действенно. Точно так же, как создание бизнес-аналитики часто приводит к созданию информационной панели, на которую редко обращают внимание, обученные модели ИИ полезны только в том случае, если они предсказывают то, что волнует сотрудников или клиентов. Это может быть трудно определить. – Брайан Джексон, Исследовательская группа Info-Tech

6. Предвзятые данные

Предвзятые данные — распространенная проблема, с которой сталкиваются компании при обучении алгоритмов ИИ. Модель ИИ, вероятно, усилит социальные предубеждения, если данные обучения будут предвзятыми. Это может привести к несправедливым или дискриминационным результатам и серьезным последствиям. Компании должны тщательно выбирать и подготавливать данные для обучения, а также постоянно отслеживать и оценивать модели ИИ, чтобы исключить предвзятость. – Шелли Брансуик, Космический фонд

7. Не делать суждений о прогнозах машинного обучения

Модели машинного обучения делают прогнозы, а не суждения. Результаты могут быть неправильными и выглядеть правильными, или быть правильными и выглядеть неправильно, а поскольку машинное обучение нелегко интерпретировать, вы не можете знать причину ответа. Добавьте к этому проблему предвзятости, и вы поймете, почему важно учитывать, как применять слой суждения поверх любого прогноза машинного обучения. – Джеймс Дуэз, Rainbird Technologies

8. Переоснащение модели

Есть много ошибок, которые новички делают с этой захватывающей технологией. Один переоснащается. Проще говоря, они переобучают модель на определенном наборе входных данных, и модель становится узкой и хрупкой в отношении любых изменений, которые не точно отражают обучающие данные. – Тод Луфбурроу, ViralGains

9. Неспособность спроектировать комплексные решения ИИ

Обычно организациям не удается разработать комплексное решение ИИ. Им необходимо понимать, как сегодня эксперты принимают решения, какие данные необходимы для улучшения прогнозов и как собирать и обрабатывать отзывы для управления моделями. Им нужно перестать пытаться увидеть, какое место технология ИИ может вписать в их организацию; вместо этого им нужно начать разрабатывать ИИ, как и любую другую сложную систему. – Стивен Густафсон, Noonum, Inc.

10. Отсутствие контроля и балансировки тренировочных данных

Организации могут избежать ключевой ошибки при обучении модели ИИ, тщательно отбирая и балансируя свои обучающие данные. Предвзятые данные могут привести к неточным или несправедливым прогнозам, поэтому организациям следует регулярно оценивать свои данные на наличие погрешностей и устранять их с помощью таких методов, как избыточная выборка, увеличение данных или удаление погрешностей. Это приводит к более этичным и эффективным моделям ИИ. – Имане Адель, Paymob

11. Пренебрежение определением целей

Организации часто пренебрегают адекватным определением и подтверждением своих целей при обучении моделей ИИ. Без конкретных целей может быть сложно судить об эффективности модели ИИ, что может привести к снижению производительности или непредвиденным эффектам. – Нилима Мангал, Spectrum North

12. Не включая голос клиента

Самая большая ошибка — не учитывать голос заказчика. Если вы включите клиента в учебные занятия по ИИ, это гарантированно принесет понимание, которого нет ни у кого в вашей организации. В качестве дополнительного преимущества их включение может помочь важному клиенту почувствовать себя еще более важным. – Ронда Дибачи, HeyScottie.com

13. Не очищать данные

Организации часто упускают из виду надлежащую обработку и очистку данных, используемых для обучения моделей ИИ, что является критической ошибкой. Низкое качество данных может привести к тому, что модели ИИ будут необъективными, неточными и ненадежными. Это может привести к негативным последствиям, включая неверные суждения, упущенные шансы и потерю репутации. – Дэвид Биттон, DoorLoop

14. Отсутствие гарантии того, что данные отражают хорошее и плохое поведение

Если модели ИИ обучаются на неверных данных, прогнозы также будут учитывать это неправильное поведение. При работе с приложениями AI и ML для обеспечения безопасности и предотвращения утечек данных очень важно обеспечить, чтобы данные отражали хорошее и плохое поведение. Качество данных во время анализа признаков — обеспечение правильных меток для контролируемого обучения — важно для организаций, обучающих модели искусственного интеллекта. – Суприт Рао, Theom, Inc.

15. Не учитывать сдвиг данных и семантический сдвиг

По мере того, как организация масштабируется и переходит в новые домены, страны и бизнес-направления, данные, на которых были обучены ее модели, начинают меняться в зависимости от данных, которые в настоящее время вводят ее пользователи. Обучение моделей ИИ должно быть постоянным процессом, и большое внимание необходимо уделять получению качественных репрезентативных данных. – Исаак Хеллер, Trullion