GPT-4: Переполох і суперечки
Закликати до мораторію на розробку передового штучного інтелекту
У той день, коли епізод London Futurists Podcast, повністю присвячений системі OpenAI GPT-4, припинився, Інститут майбутнього життя опублікував відкритий лист про основну технологію. Лист, підписаний Стюартом Расселом, Максом Тегмарком, Ілоном Маском, Яаном Таллінном і сотнями інших видатних дослідників і коментаторів штучного інтелекту, закликав призупинити розробку великих мовних моделей, таких як GPT-4 від OpenAI і Bard від Google.
Було дивно побачити ім’я Сема Альтмана, генерального директора OpenAI, у списку, і справді, незабаром воно знову зникло. На момент написання статті не було високопоставлених підписантів від жодної з двох лабораторій AGI, OpenAI та DeepMind, або від будь-якого з технічних гігантів, керованих штучним інтелектом, Google, Meta або Microsoft, Amazon чи Apple. Також не було представників китайських технологічних гігантів Baidu, Alibaba або Tencent.
Що б ви не думали про перспективи листа на успіх і навіть про доцільність його мети, він був потужною демонстрацією хвилювання та занепокоєння, яке викликало в колах штучного інтелекту GPT-4 та інші великі мовні моделі. Хвилювання щодо GPT-4 не перебільшене. Модель є значним прогресом у порівнянні з будь-якою попередньою системою обробки природної мови.
Востаннє такий ажіотаж щодо штучного інтелекту був у 2016 році, коли система AlphaGo від DeepMind перемогла Лі Седола, найкращого у світі гравця в настільну гру Go. Це досягнення стало результатом Великого вибуху в штучному інтелекті, який стався чотири роки тому, у 2012 році. Коли нейронна мережа, розроблена Джеффом Хінтоном і його колегами, виграла конкурс ImageNet, це стало початком революції глибокого навчання, і вперше колись ШІ почав заробляти серйозні гроші. Цікаво, що серед колег Хінтона був Ілля Суцкевер, який допоміг заснувати OpenAI і став її головним науковцем.
GPT є результатом того, що можна назвати другим великим вибухом ШІ, який стався в 2017 році, коли деякі дослідники Google опублікували статтю під назвою «Увага — це все, що вам потрібно». Це описує новий тип глибокого навчання під назвою Transformers, який дозволяє таким системам, як Dall-E і Midjourney, генерувати фотореалістичні зображення за допомогою коротких інструкцій природною мовою. Вони також дозволяють використовувати системи природної мови, такі як GPT-4.
Ця нова увага громадськості до штучного інтелекту – це добре. Вплив штучного інтелекту на всі аспекти життя протягом наступних років і десятиліть буде настільки глибоким, що чим більше людей будуть думати про це заздалегідь, тим краще. Незважаючи на те, що GPT-4 потрапляє в заголовки газет і одержимий багатьма технофілами, штучний інтелект все ще не привертає уваги широкої громадськості, на яку він справді заслуговує. Його все ще зазнають популістських нападок на трансгендерів та інших дещо фальшивих історій, але ми повинні бути вдячні за будь-який прогрес, якого ми можемо досягти.
Роботу Трансформерів часто узагальнюють як прогнозування символів. Вони навчаються на величезних масивах тексту – наприклад, на всій Вікіпедії та мільйонах книг, які не мають авторського права. Вони поглинають цей текст і вибирають лексеми (слова або частини слів), які потрібно «замаскувати» або приховати. Грунтуючись на своїй моделі роботи мови, вони вгадують, що таке замаскована лексема, і залежно від того, правильним чи неправильним було припущення, вони коригують і оновлюють модель. Роблячи це мільярди разів, Трансформери справді добре передбачають наступне слово в реченні. Щоб уникнути генерації повторюваного тексту, вони вносять деякі довільні налаштування ймовірностей. Коли система налаштована на більше налаштувань, кажуть, що вона має вищу «температуру».
Важливо те, що цей процес маскування не вимагає позначення даних навчання. Системи займаються самоконтрольованим навчанням. Це не схоже на системи глибокого навчання, навчені на масивних наборах даних, як-от ImageNet, де кожне зображення було позначено людьми.
Однак у підготовці трансформаторів є людський компонент, який називається Reinforcement Learning from Human Feedback, або RLHF. Після завершення навчання маскування відповіді системи на підказки оцінюються людьми протягом деякого часу, і оцінки повертаються в систему, щоб мінімізувати помилки та упередження.
ГПТ-3, 3,5, 4
GPT означає generative pre-trained transformer. GPT-3 був запущений у листопаді 2020 року та міг похвалитися нечуваною на той час цифрою у 175 мільярдів параметрів (аналогічно синапсам у людському мозку). GPT-4 був випущений 14 березня 2023 року, кількість параметрів не розголошується. OpenAI критикували за те, що він змінив свою політику публікації якомога більшої інформації про свої системи. Він відповідає, не безпідставно, що якщо ці моделі можуть завдати шкоди в чужих руках, було б безглуздо полегшувати поганим хлопцям їх копіювати.
Відомо лише те, що кількість токенів, які може обробляти GPT-4 – 32 000 – набагато більша, ніж 4100, якими може керувати GPT-3. Крім усього іншого, це дозволяє працювати з довшими текстами.
ChatGPT був чат-ботом, заснованим на половинчастій системі GPT-3.5. Він був випущений у листопаді 2022 року, і протягом місяця він мав 100 мільйонів користувачів, що було найшвидшим показником впровадження з усіх додатків чи платформ.
Коротка та бурхлива історія OpenAI
Історія OpenAI така ж драматична, як і вражаючі її продукти. Компанію було засновано в Сан-Франциско в 2015 році Ілоном Маском, Семом Альтманом та друзями. Вони інвестували 1 мільярд доларів власних грошей, щоб створити некомерційну організацію. Маск пішов у відставку в 2018 році, і тоді назвали потенційний конфлікт інтересів з його автомобільною компанією Tesla, яка також є значним розробником технології ШІ.
Нещодавно з’явилася інформація, що він пішов, бо побоювався, що OpenAI не зможе конкурувати з іншою провідною лабораторією AGI, DeepMind. (Я називаю ці дві лабораторії лабораторіями AGI, тому що обидві вони явно націлені на розробку загального штучного інтелекту, штучного інтелекту з усіма когнітивними здібностями дорослої людини.) Він запропонував очолити компанію особисто та інвестувати ще 1 мільярд доларів власні гроші. Коли його заявку на лідерство було відхилено, він пішов, забравши з собою 1 мільярд доларів. OpenAI не змогла заплатити за потрібних йому талантів у галузі штучного інтелекту, і її керівництво вирішило стати частково комерційною організацією.
Microsoft дуже зацікавлена в технології GPT. Вона внесла 2 мільярди доларів до запуску ChatGPT і погодилася інвестувати ще 10 мільярдів доларів після цього. Материнська компанія OpenAI все ще є некомерційною, а прибуток інвесторів у дочірню компанію, що приносить дохід, обмежений у 100 разів. Виявляється, Сем Альтман не має жодного фінансового інтересу в компанії. Він не проти: він уже багатий чоловік.
Маск став різким критиком OpenAI, особливо в Twitter. Альтман висловлював постійну глибоку повагу до свого колишнього ділового партнера, але також зауважив, що він іноді поводиться як придурок.
Досягнення GPT-4
Найновіша система OpenAI робить менше помилок, ніж її попередниці – на жаргоні вона менше галюцинує. Також краще здавати іспити. Він склав іспит юриста США з оцінкою серед 10% найкращих кандидатів, тоді як GPT-3 впорався лише з 10% найнижчих кандидатів. Це не говорить нам про те, чи справді система може бути ефективним юристом, але це вражає.
На відміну від попередніх систем, GPT-4 також, здається, навчився простий математики. І часто здається, що він робить щось невідрізнене від міркування. Цього не очікували від систем розпізнавання образів. Це навіть змусило групу співробітників Microsoft опублікувати статтю, в якій стверджувалося, що GPT-4 показує перші іскри AGI, хоча це було охарактеризовано як галас.
Переглянуті часові рамки та оцінки загроз
GPT-4 досить вражаючий, щоб змусити добре поінформованих людей переглянути свої графіки для приходу AGI та тривалого масового безробіття. Джефф Хінтон, якого часто називають хрещеним батьком глибокого навчання, зауважив у нещодавньому інтерв’ю, що раніше він думав, що до AGI залишиться щонайменше 20 років, а цілком можливо, що й 50. Тепер він вважає, що це може бути менше 20 років. Він також (наскільки я знаю, вперше) сказав, що «неможливо уявити», що вдосконалений ШІ може спричинити вимирання людства.
