Люди в цикле GenAI

Посетитель фотографирует своим мобильным телефоном изображение, созданное с помощью искусственного интеллекта берлинским создателем цифровых технологий Джулианом ван Дикеном (C), вдохновленным картиной Йоханнеса Вермеера «Девушка с жемчужной сережкой» в музее Маурицхёйс в Гаага, 9 марта 2023 г. – Работа Джулиана ван Дикена, созданная с использованием искусственного интеллекта (ИИ), является частью специальной инсталляции воссоздания поклонниками картины Иоганна Вермеера «Девушка с жемчужной сережкой». экспонируется в музее Маурицхёйс.

Генеративный ИИ, технология, лежащая в основе ChatGPT, становится сверхновой, как говорят астрономы, затмевая на данный момент другие инновации. Но, несмотря на алармистские предсказания о повелителях ИИ, порабощающих человечество, технология по-прежнему требует человеческих помощников и будет еще какое-то время.

Хотя ИИ может генерировать контент и код с невероятной скоростью, он по-прежнему требует, чтобы люди контролировали результат, который может быть некачественным или просто неправильным. Будь то написание отчета или написание компьютерной программы, технологиям нельзя доверять в обеспечении точности, на которую могут положиться люди. Становится лучше, но даже этот процесс улучшения зависит от армии людей, кропотливо исправляющих ошибки модели ИИ, чтобы научить ее «вести себя».

Люди в петле — старая концепция ИИ. Это относится к практике привлечения экспертов-людей к процессу обучения и усовершенствования систем ИИ, чтобы гарантировать их правильную работу и достижение поставленных целей.

На заре исследований ИИ ученые-компьютерщики были сосредоточены на разработке систем, основанных на правилах, которые могли бы рассуждать и принимать решения на основе заранее запрограммированных правил. Однако эти системы было утомительно создавать — требовалось, чтобы эксперты записывали правила — и они были ограничены тем фактом, что они могли работать только в рамках ограничений правил, которые были явно запрограммированы в них.

По мере развития технологии искусственного интеллекта исследователи начали изучать новые подходы, такие как машинное обучение и нейронные сети, которые позволили компьютерам самостоятельно учиться на больших объемах обучающих данных.

Но маленький грязный секрет первой волны таких приложений, которые до сих пор являются доминирующей формой ИИ, используемой сегодня, заключается в том, что они зависят от данных, размеченных вручную. Десятки тысяч людей продолжают трудиться над утомительной задачей — ставить ярлыки на изображения, текст и звук, чтобы научить управляемые системы искусственного интеллекта тому, что искать или слушать.

Затем появился генеративный ИИ, который не требует размеченных данных. Он обучается, потребляя огромные объемы данных и изучая взаимосвязи внутри этих данных, подобно тому, как это делает животное в дикой природе. Большие языковые модели, использующие генеративный ИИ, изучают мир через призму текста, и мир был поражен способностью этих моделей составлять ответы, подобные человеческим, и даже участвовать в беседах, подобных человеческим.

ChatGPT, большая языковая модель, обученная OpenAI, поразила мир глубиной своих знаний и беглостью ответов. Тем не менее, его полезность ограничена так называемыми галлюцинациями, ошибками в сгенерированном тексте, которые семантически или синтаксически правдоподобны, но на самом деле неверны или бессмысленны.

Ответ? Люди, опять же. OpenAI работает над устранением галлюцинаций ChatGPT посредством обучения с подкреплением с обратной связью с человеком (RLHF), нанимая, да, большое количество работников.

RLHF использовался для формирования поведения ChatGPT, где данные, собранные во время его взаимодействий, используются для обучения нейронной сети, которая функционирует как «предсказатель вознаграждения». Предсказатель вознаграждения оценивает выходные данные ChatGPT и предсказывает числовое значение. оценка, которая показывает, насколько хорошо эти действия соответствуют желаемому поведению системы. Человек-оценщик периодически проверяет ответы ChatGPT и выбирает те, которые лучше всего отражают желаемое поведение. Эта обратная связь используется для настройки нейронной сети предиктора вознаграждения, которая затем используется для изменения поведения модели ИИ.

Илья Суцкевер, главный научный сотрудник OpenAI и один из создателей ChatGPT, считает, что проблема галлюцинаций со временем исчезнет, поскольку большие языковые модели научатся привязывать свои ответы к реальности. Он предполагает, что ограничения ChatGPT, которые мы видим сегодня, будут уменьшаться по мере улучшения модели. Тем не менее, люди в петле, вероятно, останутся частью удивительной технологии на долгие годы.

Вот почему генеративные помощники по кодированию на основе ИИ, такие как CoPilot от GitHub и CodeWhisperer от Amazon, — это именно помощники, работающие совместно с опытными программистами, которые могут исправить свои ошибки или выбрать лучший вариант из нескольких предложений по кодированию. В то время как ИИ может генерировать код в быстром темпе, люди привносят творческий подход, контекст и навыки критического мышления.

Истинная автономия в ИИ зависит от доверия и надежности систем ИИ, которые могут появиться по мере улучшения этих систем. Но на данный момент люди являются повелителями, и надежные результаты зависят от сотрудничества между людьми и ИИ.