ChatGPT participó en un concurso de ensayos para la escuela secundaria. No va a ganar.
Soy el director de un concurso de ensayos para estudiantes de secundaria locales, y mientras preparaba el mensaje de este año, no pude resistir el impulso de dejar que ChatGPT lo intentara. Los resultados resaltan varias de las razones por las que es poco probable que ChatGPT supere el primer lugar en las clases de inglés en todo el país.
Margaret Feldman se graduó de nuestra escuela secundaria local como atleta y académica destacada. Después de la universidad, pasó a formar parte de la incipiente Oficina de Servicios Estratégicos (OSS), la precursora de la CIA. Cuando su padre murió después de la Segunda Guerra Mundial, ella volvió a casa para hacerse cargo de su negocio y se convirtió en una de las primeras mujeres en dirigir una empresa industrial. Luego ingresó al salón de clases, inspirando y asesorando a una generación de estudiantes y compañeros maestros. Después de su muerte, se estableció una fundación a su nombre; esa fundación ha organizado durante mucho tiempo un concurso de ensayos. En reconocimiento a su trabajo y su devoción por el área, el mensaje siempre se basa en la literatura y, además, pide a los estudiantes que establezcan una conexión con los jóvenes locales.
El mensaje de este año le pide al escritor que muestre cómo un personaje de una especialidad se ve afectado por su relación con la comunidad en general, y luego que muestre lo que los adolescentes locales pueden aprender de ese trabajo.
Le di a ChatGPT tres intentos, seleccionando un trabajo para que lo use para responder al mensaje, en parte por curiosidad, pero también para probar el mensaje en sí. Si un bot conversacional puede escribir una gran respuesta al mensaje, entonces el mensaje está haciendo perder el tiempo a los estudiantes.
Primer intento
El primer intento utilizó Light In August de William Faulkner. La respuesta del bot fue compuesta sin problemas, pero resaltó la tendencia de ChatGPT a escribir alrededor del punto. Tome esta sección:
A través de estas experiencias, Joe Christmas llega gradualmente a una comprensión más profunda de su propia identidad y las formas en que las comunidades más grandes que lo rodean lo moldean.
Eso suena genial, pero ¿qué es exactamente el entendimiento de Navidad? ¿Cuáles son las formas en que está formado? Como gran parte de este ensayo, la oración promete que llegará un punto, pero nunca llega.
Segundo intento
Para el próximo intento, agregué un requisito específico para incluir citas del trabajo. Esta es una gran debilidad de ChatGPT. Para el segundo intento, se le dijo a ChatGPT que usara Romo y Juliet, e incluía esto:
A través de su relación con Julieta, Romeo también experimenta un sentido de rebelión contra las normas sociales y las expectativas de su comunidad. Está dispuesto a arriesgarlo todo, incluso su propia vida, para estar con Julieta, a pesar de que su amor está prohibido por sus familias:
"¡Oh, vámonos de aquí! Estoy de pie con repentina prisa." "Con sabiduría y lentitud. Tropiezan los que corren rápido" (Acto 2, Escena 3).
La cita no tiene nada que ver con la voluntad de Romeo de enfrentar el riesgo, ni el bot agrega nada para explicar cómo la cita respalda el punto que está posicionado para respaldar. ChatGPT usa citas exactamente como un estudiante de primer año que, al darse cuenta de que la tarea requería citas, abre el texto y deja caer el dedo al azar, luego simplemente inserta la cita en su ensayo.
Tercer intento
Finalmente, ChatGPT le dio un golpe a Hamlet. Este ensayo destacó el problema de ChatGPT con la precisión. En la versión de la obra del bot, Hamlet “sacrifica su propia vida para lograr justicia para su padre y desafiar las estructuras de poder corruptas…” e incluye esta interpretación:
Reconoce el papel que juegan su familia y la corte en la perpetuación del ciclo de violencia y traición que ha definido sus vidas, y comienza a cuestionar la legitimidad de la venganza como medio para lograr justicia:
En el mejor de los casos, podríamos llamar a estas lecturas no convencionales de la obra. Y una vez más, el bot respalda su idea declarada con una cita aleatoria:
"Tomaré la palabra del fantasma por mil libras. ¿Lo percibiste? Muy bien, mi señor. ¿Al hablar del envenenamiento? Lo noté muy bien" (Acto 3, Escena 2).
Misteriosamente, ChatGPT ha combinado citas de dos personajes diferentes en una sola línea y, de nuevo, no proporciona ninguna explicación de qué tiene que ver esa cita con el punto que se presenta.
Otros asuntos
Dado que ChatGPT funciona agregando y combinando todo lo que ha leído de Internet, parece posible que obras como las obras de Shakespeare estén tan bien cubiertas que le dan al bot demasiado con lo que trabajar, lo que lleva a una gran variedad de fragmentos de contenido. También hubo otros problemas.
Tal vez porque el mensaje le pide al escritor que seleccione y escriba sobre un solo personaje, ninguno de los ensayos de ChatGPT menciona a ningún otro personaje por su nombre.
En cuanto al requisito de conectar las ideas con el área local, ChatGPT se quedó perplejo y simplemente recurrió a tópicos genéricos que podrían aplicarse a cualquier comunidad del país.
Los tres ensayos se mantuvieron alejados de detalles concretos y claros. A los profesores de inglés se les recordarán los ensayos que han leído basados en el texto impreso en las portadas de los libros.
Lo que ChatGPT tiene en abundancia es una especie de fluidez y facilidad que hace que suene como si estuviera diciendo algo. Es una versión impresa de la charla TED de Will Stephen, "Cómo sonar inteligente en su charla TED", en la que Stephens no dice nada en absoluto, pero usa la cadencia y el tono de su voz para simular un discurso significativo.
ChatGPT crea un contenedor muy brillante, y eso sin duda engañará a muchas personas, particularmente a aquellos que no están familiarizados con el contenido que se supone que contiene el contenedor brillante. Pero si Margaret Feldman viviera hoy, no se dejaría engañar ni por diez segundos.
