ChatGPT принял участие в конкурсе сочинений для старших классов. Это не победит.
Я руковожу конкурсом эссе для местных старшеклассников, и когда я готовил приглашение в этом году, я не мог устоять перед желанием позволить ChatGPT попробовать его. Результаты подчеркивают несколько причин, по которым ChatGPT вряд ли займет первое место в классах английского языка по всей стране.
Маргарет Фельдман окончила нашу местную среднюю школу как выдающаяся спортсменка и ученый. После колледжа она стала частью молодого Управления стратегических служб (УСС), предшественника ЦРУ. Когда ее отец умер после Второй мировой войны, она вернулась домой, чтобы заняться его бизнесом, и стала одной из первых женщин, возглавивших промышленную компанию. Затем она вошла в класс, вдохновляя и наставляя целое поколение студентов и коллег-учителей. После ее смерти был основан фонд ее имени; этот фонд уже давно проводит конкурс эссе. В знак признания ее работы и ее преданности области подсказка всегда основана на литературе и дополнительно просит студентов установить связь с местной молодежью.
В этом году сценариста просят показать, как на главного героя влияют его отношения с более широким сообществом, а затем показать, чему местные подростки могут научиться из этой работы.
Я дал ChatGPT три попытки, выбрав работу, которую он будет использовать при ответе на приглашение, отчасти из любопытства, но также и для проверки самого приглашения. Если чат-бот может написать отличный ответ на приглашение, то это пустая трата времени учащихся.
Первая попытка
В первой попытке использовался «Свет в августе» Уильяма Фолкнера. Ответ бота был ровным, но он подчеркивал склонность ChatGPT писать по существу. Возьмите этот раздел:
Благодаря этому опыту Джо Кристмас постепенно приходит к более глубокому пониманию своей личности и того, как на него влияют более крупные сообщества вокруг него.
Звучит здорово, но что именно понимает Рождество? Какими способами он формируется? Как и большая часть этого эссе, предложение обещает, что наступит момент, но так и не наступает.
Вторая попытка
Для следующей попытки я добавил конкретное требование по включению цитат из работы. Это главная слабость ChatGPT. Во второй попытке ChatGPT было сказано использовать Ромо и Джульетту, и это включало следующее:
Благодаря своим отношениям с Джульеттой Ромео также испытывает чувство бунта против социальных норм и ожиданий своего сообщества. Он готов рискнуть всем, включая собственную жизнь, чтобы быть с Джульеттой, хотя их любовь запрещена их семьями:
«О, пойдем отсюда! Я стою в внезапной поспешности». «Мудро и медленно. Спотыкаются те, кто быстро бегут» (Действие 2, Картина 3).
Цитата не имеет ничего общего с готовностью Ромео пойти на риск, и бот не добавляет ничего, чтобы объяснить, как цитата поддерживает точку зрения, которую она должна поддерживать. ChatGPT использует цитаты точно так же, как первокурсник, который, понимая, что задание требует цитат, открывает текст и опускает палец наугад, а затем просто вставляет цитату в свое эссе.
Третья попытка
Наконец, ChatGPT нанес удар по Гамлету. В этом эссе подчеркивается проблема точности ChatGPT. В ботовской версии пьесы Гамлет «жертвует собственной жизнью, чтобы добиться справедливости для своего отца и бросить вызов коррумпированным властным структурам…» и включает в себя такую интерпретацию:
Он признает роль, которую его семья и суд играют в увековечивании цикла насилия и предательства, который определил их жизнь, и начинает сомневаться в законности мести как средства достижения справедливости:
В лучшем случае мы могли бы назвать это нетрадиционным прочтением пьесы. И снова бот подкрепляет высказанную мысль случайной цитатой:
«Я поверю призраку на слово за тысячу фунтов. Поняли? Очень хорошо, милорд. Кстати, об отравлении? Я очень хорошо его заметил» (Акт 3, Сцена 2).
Таинственным образом ChatGPT объединил цитаты двух разных персонажей в одну строку и снова не дает объяснения того, какое отношение эта цитата имеет к представленной точке зрения.
Другие вопросы
Поскольку ChatGPT работает путем агрегирования и объединения всего, что он читает из Интернета, кажется возможным, что такие произведения, как пьесы Шекспира, настолько хорошо освещены, что это дает боту слишком много работы, что приводит к очень разнообразным фрагментам контента. Были и другие проблемы.
Возможно, из-за того, что в подсказке автору предлагается выбрать и написать об одном персонаже, ни в одном из эссе ChatGPT не упоминаются имена других персонажей.
Что касается требования связать идеи с местным районом, ChatGPT был поставлен в тупик и просто прибегнул к общим банальностям, которые можно было применить к любому сообществу в стране.
Все три эссе держались подальше от конкретных и ясных деталей. Учителям английского языка напомнят о прочитанных ими сочинениях на основе текста, напечатанного на обложках книг.
То, что ChatGPT имеет в избытке, — это своего рода беглость и удобство, благодаря которым он звучит так, как будто он что-то говорит. Это печатная версия выступления Уилла Стивенса на TED Talk «Как звучать умно в своем выступлении на TED Talk», в котором Стивенс вообще ничего не говорит, но использует интонацию и тон своего голоса, чтобы имитировать осмысленную речь.
ChatGPT создает очень блестящий сосуд, и это, несомненно, обманет многих людей, особенно тех, кто не знаком с содержимым, которое должно содержаться в блестящем сосуде. Но если бы Маргарет Фельдман была жива сегодня, ее бы не одурачили и на десять секунд.
