GPT-4: волнения и споры

В тот день, когда выпуск лондонского подкаста Futurists Podcast, полностью посвященный системе OpenAI GPT-4, был снят, Институт будущего жизни опубликовал открытое письмо о лежащей в основе технологии. В письме, подписанном Стюартом Расселом, Максом Тегмарком, Илоном Маском, Яаном Таллином и сотнями других видных исследователей и комментаторов ИИ, содержится призыв приостановить разработку больших языковых моделей, таких как GPT-4 OpenAI и Bard от Google.

Удивительно было увидеть в списке имя Сэма Альтмана, генерального директора OpenAI, и действительно, вскоре оно снова исчезло. На момент написания не было высокопоставленных подписантов ни в одной из двух лабораторий AGI, OpenAI и DeepMind, ни в любом из технологических гигантов, управляемых ИИ, Google, Meta или Microsoft, Amazon или Apple. Также не было представителей китайских технологических гигантов, Baidu, Alibaba или Tencent.

Что бы вы ни думали о перспективах письма на успех и даже о желательности его цели, это была мощная демонстрация волнения и беспокойства, вызванных в кругах ИИ по поводу GPT-4 и других больших языковых моделей. Ажиотаж вокруг GPT-4 не преувеличен. Эта модель представляет собой значительный шаг вперед по сравнению с любой предыдущей системой обработки естественного языка.

В последний раз такой ажиотаж вокруг ИИ был в 2016 году, когда система AlphaGo от DeepMind обыграла Ли Седоля, лучшего в мире игрока в настольную игру Го. Это достижение стало результатом Большого взрыва в области ИИ, который произошел за четыре года до этого, в 2012 году. Когда нейронная сеть, разработанная Джеффом Хинтоном и его коллегами, выиграла конкурс ImageNet, это стало началом революции глубокого обучения, и впервые когда-либо ИИ начал приносить серьезные деньги. Интересно, что среди коллег Хинтона был Илья Суцкевер, который впоследствии помог основать OpenAI и стал его главным научным сотрудником.

GPT — это результат того, что можно назвать вторым большим взрывом в области ИИ, который произошел в 2017 году, когда некоторые исследователи Google опубликовали статью под названием «Внимание — это все, что вам нужно». В нем описан новый тип глубокого обучения под названием «Трансформеры», который позволяет таким системам, как Dall-E и Midjourney, генерировать фотореалистичные изображения при подсказке краткими инструкциями на естественном языке. Они также включают системы естественного языка, такие как GPT-4.

Возобновление общественного внимания к ИИ — это хорошо. Влияние ИИ на все аспекты жизни в ближайшие годы и десятилетия будет настолько сильным, что чем больше людей будут думать об этом заранее, тем лучше. Даже несмотря на то, что GPT-4 попал в заголовки и одержим многими технофилами, ИИ по-прежнему не получает того широкого общественного внимания, которого он действительно заслуживает. Его все еще бьют популистские нападки на трансгендеров и другие несколько ложные истории, но мы должны быть благодарны за любой прогресс, которого мы можем добиться.

Работа Трансформеров часто описывается как предсказание токенов. Они обучаются на обширных массивах текстов — например, на всей Википедии и миллионах книг, защищенных авторским правом. Они поглощают этот текст и выбирают токены (слова или части слов), которые нужно «замаскировать» или скрыть. Основываясь на своей модели работы языка, они угадывают, что такое замаскированный токен, и в зависимости от того, была ли догадка верной или ошибочной, корректируют и обновляют модель. Делая это миллиарды раз, Трансформеры действительно хорошо предсказывают следующее слово в предложении. Чтобы избежать создания повторяющегося текста, они вносят некоторые произвольные изменения в вероятности. Когда система настроена на большее количество настроек, говорят, что она имеет более высокую «температуру».

Важно отметить, что этот процесс маскирования не требует маркировки обучающих данных. Системы занимаются самоконтролем обучения. Это отличается от систем глубокого обучения, обученных на массивных наборах данных, таких как ImageNet, где каждое изображение было помечено людьми.

Тем не менее, в обучении трансформеров есть человеческий компонент, который представляет собой обучение с подкреплением на основе обратной связи с человеком или RLHF. После завершения обучения маскированию ответы системы на подсказки оцениваются людьми в течение определенного периода времени, и оценки возвращаются в систему, чтобы свести к минимуму ошибки и предвзятость.

ГПТ-3, 3,5, 4

GPT означает генеративный предварительно обученный преобразователь. GPT-3 был запущен в ноябре 2020 года и имел неслыханное для того времени количество параметров в 175 миллиардов (по аналогии с синапсами в человеческом мозгу). GPT-4 был выпущен 14 марта 2023 года, количество параметров не разглашается. OpenAI подвергся критике за то, что изменил свою политику публикации как можно большего количества информации о своих системах. Он небезосновательно отвечает, что если эти модели могут причинить вред, оказавшись не в тех руках, было бы глупо облегчать плохим парням их копирование.

Что известно, так это то, что количество токенов, которые может обрабатывать GPT-4, — 32 000 — намного больше, чем 4 100, которыми может управлять GPT-3. Среди прочего, это позволяет ему работать с более длинными текстами.

ChatGPT был чат-ботом, основанным на промежуточной системе GPT-3.5. Оно было выпущено в ноябре 2022 года, и в течение месяца у него было 100 миллионов пользователей, что было самым быстрым темпом внедрения среди всех приложений или платформ.

Короткая и бурная история OpenAI

История OpenAI столь же драматична, сколь и впечатляющи ее продукты. Компания была основана в Сан-Франциско в 2015 году Илоном Маском, Сэмом Альтманом и друзьями. Они вложили 1 миллиард долларов собственных денег, чтобы начать некоммерческую деятельность. Маск ушел в отставку в 2018 году, и причина, названная в то время, заключалась в потенциальном конфликте интересов с его автомобильной компанией Tesla, которая также является крупным разработчиком технологии искусственного интеллекта.

Совсем недавно появились сообщения о том, что он ушел, потому что опасался, что OpenAI не сможет конкурировать с другой ведущей лабораторией AGI, DeepMind. (Я называю эти две лаборатории лабораториями AGI, потому что они обе явно нацелены на разработку общего искусственного интеллекта, ИИ со всеми когнитивными способностями взрослого человека.) Он предложил сам возглавить компанию и инвестировать еще 1 миллиард долларов из своих собственные деньги. Когда его заявка на лидерство была отклонена, он ушел, забрав с собой миллиард долларов. OpenAI была не в состоянии платить за специалистов в области искусственного интеллекта, в которых она нуждалась, и ее руководство решило, что она должна стать частично коммерческой организацией.

Microsoft очень заинтересована в технологии GPT. Перед запуском ChatGPT компания вложила 2 миллиарда долларов и с тех пор согласилась инвестировать еще 10 миллиардов долларов. Материнская компания OpenAI по-прежнему является некоммерческой, а доходность дочерней компании, приносящей доход инвесторам, ограничена 100-кратным увеличением. Сэм Альтман, как выяснилось, не имеет никакого финансового интереса к компании. Он не против: он уже богатый человек.

Маск стал резким критиком OpenAI, особенно в Twitter. Альтман всегда выражал глубокое уважение своему бывшему деловому партнеру, но также заметил, что он иногда ведет себя как придурок.

Успехи GPT-4

Последняя система OpenAI совершает меньше ошибок, чем ее предшественники — говоря жаргонным языком, она меньше галлюцинирует. Он также лучше сдает экзамены. Он сдал экзамен на адвоката в США с результатом в 10% лучших кандидатов, тогда как GPT-3 справился только с нижними 10%. Это не говорит нам, может ли система действительно быть эффективным юристом, но это впечатляет.

В отличие от более ранних систем, GPT-4 также, похоже, научился простой математике. И часто кажется, что он делает что-то неотличимое от рассуждений. Этого нельзя было ожидать от того, что по сути является системами распознавания образов. Это даже привело к тому, что группа сотрудников Microsoft опубликовала статью, в которой утверждалось, что GPT-4 показывает первые искры AGI, хотя это было охарактеризовано как шумиха.

Пересмотренные сроки и оценки угроз

GPT-4 достаточно впечатляет, чтобы заставить хорошо информированных людей пересмотреть свои графики появления AGI и продолжающейся широко распространенной безработицы. Джефф Хинтон, которого часто называют крестным отцом глубокого обучения, заметил в недавнем интервью, что раньше он думал, что до AGI осталось по крайней мере 20 лет, а возможно, и 50. Теперь он думает, что это может быть меньше 20 лет. Он также (впервые, насколько мне известно) сказал, что «не исключено», что продвинутый ИИ может стать причиной вымирания человечества.