Чи може штучний інтелект зламати вступ до коледжу?
Логотип OpenAI, що відображається на екрані телефону, і веб-сайт ChatGPT, що відображається на екрані ноутбука, видно на … [+] ця ілюстрація. Фото Якуба Пожицького/NurPhoto через Getty Images)
NurPhoto через Getty Images
З моменту оприлюднення OpenAI ChatGPT наприкінці листопада 2022 року велика мовна модель (LLM) стала джерелом нескінченних спекуляцій — експерти передбачали, що ця технологія зробить усе: від скасування уроків англійської мови в старших класах до витіснення білих комірців і до демократії, яка викрадає кращі гроші. . Програма викликала особливе занепокоєння в освітньому секторі, оскільки шкільні системи по всій країні заборонили її використання через побоювання, що вона стане інструментом широкого шахрайства. Ці занепокоєння зрозумілі, враховуючи складність програми — цього тижня ChatGPT склав як іспит на медичну ліцензію США (USMLE), так і випускний іспит на курсі Wharton School MBA.
Враховуючи здатність програми пройти курс високого рівня в престижному університеті, чи може вона успішно заробити вступ студента до школи такого ж високого рівня? Чи може ChatGPT створити вступне есе, яке виділиться в конкурентному світі вступу до Ліги Плюща?
Аналіз ефективності програми на іспитах USMLE та MBA пропонує деякі корисні відомості про те, що ChatGPT може, а що не може робити в системі вступу до коледжу. В обох випадках, мабуть, найвидатнішим аспектом продуктивності програми була її здатність реагувати на тематичні дослідження, робити та пояснювати висновки, які не випливали безпосередньо з вхідних даних. LLM, з яких ChatGPT є, мабуть, найдосконалішим, працюють, використовуючи величезну кількість мовних даних для створення та прогнозування тексту на основі ймовірності. ChatGPT особливо примітний завдяки своїй вражаючій і складній здатності імітувати нюанси людського мовлення та генерувати відповіді, які мають високу контекстну інформацію.
Як USMLE, так і іспит MBA включали питання з нюансами сценаріїв, часто зі складними або оманливими формулюваннями, іншими словами, запитання та проблеми, які нібито потребують дедуктивного міркування. Незважаючи на щільний і складний характер питань, ChatGPT зміг надати добре обґрунтовані та в основному правильні відповіді. Крістіан Тервіш, співдиректор Інституту інноваційного менеджменту Mack і дослідник, який проводив іспит MBA, пише, що ChatGPT «виконує чудову роботу з питань базового управління операціями та аналізу процесів, включно з тими, які базуються на тематичних дослідженнях. Не тільки відповіді правильні, але й пояснення чудові». Подібним чином дослідники, які аналізували результати програми на USMLE, виявили, що «генеровані штучним інтелектом відповіді також запропонували важливе розуміння, моделюючи процес дедуктивного міркування, цінний для людей, які навчаються… Принаймні одне важливе розуміння було присутнє приблизно в 90% результатів. Таким чином, ChatGPT має часткову здатність навчати медицині, висвітлюючи нові та неочевидні концепції, які можуть не бути в сфері усвідомлення учнів». У той час як інші попередні ітерації LLM відбирають відповіді з даних, які безпосередньо вводяться в програми, ChatGPT зміг виявити інформацію, суміжну з тією, яка була введена, створюючи видимість незалежного міркування.
Однак зовнішній вигляд є критичним терміном. Хоча це неймовірний результат, що програма може реагувати на нюанси в запропонованих сценаріях — нюанси, які ми зазвичай пов’язуємо з людськими міркуваннями, — використання висновків для зв’язку сценаріїв із суміжною інформацією, що міститься в її наборі даних, не те саме, що людське міркування.
Отже, що це означає для вступного есе до коледжу?
Незважаючи на те, що програма добре оснащена для проходження навіть складних тестів, вона не може замінити інноваційність, креативність і критичне мислення — якості, які студенти повинні продемонструвати в есе для вступу до коледжу. Найвдаліші есе чітко передають унікальну особистість учня. Як продемонструвала Емма Вітфорд з Forbes, завдяки чітким інструкціям ChatGPT може створити зрозуміле вступне есе, але в отриманих прикладах бракує сміливості та фантазії, які виділяються серед найкращих шкіл.
Підказки до «незвичайного есе» Чиказького університету додатково ілюструють нездатність ChatGPT керувати людськими міркуваннями. Підказки вимагають від учнів винахідливості й оригінальності підходу до тем. Одна з найвідоміших підказок у минулому просила студентів просто «Знайти x». Коли я підключив цей запит безпосередньо до ChatGPT, програма надала стандартне пояснення: «x — це змінна, яка може представляти будь-яке число чи математичний вираз. Зазвичай він використовується в рівняннях для представлення невідомої величини, яку потрібно знайти».
Навіть із більш конкретними інструкціями програмі не вдалося створити унікальну чи справді творчу відповідь. Коли я наказав програмі «написати творче есе для підказки «Знайти x», вона згенерувала це есе:
Це було літо мого останнього курсу середньої школи, і я був на порозі відкриття чогось надзвичайного. Останні кілька місяців я провів, вивчаючи математику та фізику, вбираючи кожну деталь із захопленням, яке може оцінити лише допитливий розум. Одного разу мій учитель дав нам завдання «знайти х» — рівняння, яке могло б знайти відповіді на низку складних запитань.
Спочатку я був приголомшений цим завданням. У мене було відчуття, ніби я шукаю голку в стозі сіна – а ставки були високі. Я знав, що мені потрібно знайти x, якщо я хочу здійснити свою мрію стати успішним вченим. З рішучістю, яка не зрівняється з левовою, я взявся за роботу.
Я читав і перечитував свої підручники, оглядаючи кожне рівняння і поняття збільшувальним склом. Я експериментував із різними підходами, потрапляв у тупики та неправильні повороти, але ніколи не здавався. Я вирішив знайти x.
Нарешті, після тижнів наполегливої праці та відданості, я відчув прорив. У мене було прозріння – я знайшов ікс! Це було рівняння, яке мало потенціал революціонізувати світ математики та фізики.
Я був у захваті. Я так пишався собою, що ніколи не здавався, навіть коли шанси були проти мене. Я зробив неможливе – я знайшов ікс!
Цей досвід навчив мене, що наполегливість, працьовитість і трохи удачі можуть допомогти досягти будь-чого. Навіть якщо вам здається, що ви шукаєте голку в стозі сіна, ніколи не здавайтеся – ви можете просто знайти x.
Хоча прозу читає як схвильований старшокласник, специфіка самого есе залишає бажати кращого. Насправді ChatGPT повністю обходить підказку, описуючи процес пошуку x, а не фактичний пошук x — або, принаймні, визначаючи його.
Звичайно, це все, не кажучи вже про те, що студентське есе, як ChatGPT, є настільки хорошим, наскільки воно хороше. Престижні коледжі приділяють все більше уваги діяльності студентів і тому, як ця діяльність створює цілісну та переконливу картину того, ким є студент і чим він захоплюється. Чудове есе об’єднає всі ці дії разом у цілісну розповідь зі смаком і креативністю, але жодне есе — яким би добре воно не було написане — не може штучно створювати чотири роки активної взаємодії з чиїмись інтересами.
Розуміння обмежень ChatGPT майже таке ж важливе, як і визнання його сильних сторін. Незважаючи на те, що програма може багато чого запропонувати студентам у різних галузях, вона не може замінити власний голос і міркування студента. Прогрес у світі штучного інтелекту повинен підштовхнути коледжі до дедалі більшої кількості підказок до есе, які заохочуватимуть критичне мислення та оригінальність і продовжуватимуть наголошувати на активності студента та його інтересах як на першому місці в процесі вступу.
