¿Puede la inteligencia artificial descifrar las admisiones universitarias?

El logotipo de OpenAI que se muestra en la pantalla de un teléfono y el sitio web de ChatGPT que se muestra en la pantalla de una computadora portátil se ven en… [+] esta foto ilustrativa. Foto de Jakub Porzycki/NurPhoto a través de Getty Images)

NurPhoto a través de Getty Images

Desde la presentación de ChatGPT de OpenAI a fines de noviembre de 2022, el modelo de idioma grande (LLM) ha sido fuente de especulaciones interminables: los expertos han predicho que la tecnología hará de todo, desde abolir las clases de inglés en la escuela secundaria hasta desplazar a los trabajadores de cuello blanco y secuestrar la democracia. . El programa ha causado especial consternación dentro del sector educativo, ya que los sistemas escolares de todo el país han prohibido su uso, ante el temor de que se convierta en una herramienta para hacer trampa de forma generalizada. Las preocupaciones son comprensibles dada la sofisticación del programa: esta semana, ChatGPT aprobó el Examen de licencia médica de los Estados Unidos (USMLE) y un examen final en un curso de MBA de Wharton School.

Dada la capacidad del programa para aprobar un curso de alto nivel en una universidad prestigiosa, ¿puede obtener con éxito la admisión de un estudiante a una escuela de alto calibre similar? ¿Puede ChatGPT elaborar un ensayo de admisión que se destaque en el competitivo mundo de las admisiones de la Ivy League?

Los análisis del rendimiento del programa en los exámenes USMLE y MBA ofrecen información útil sobre lo que ChatGPT puede y no puede hacer en el panorama de las admisiones universitarias. En ambos casos, quizás el aspecto más destacable del rendimiento del programa fue su capacidad para responder a estudios de casos, llegar a conclusiones y explicarlas que no se extrajeron directamente de la entrada del conjunto de datos. Los LLM, de los cuales ChatGPT es quizás el más sofisticado, funcionan mediante el uso de una cantidad masiva de entradas de idioma para generar y predecir texto en función de la probabilidad. ChatGPT es particularmente notable debido a su capacidad impresionante y compleja para imitar los matices del habla humana y generar respuestas que están altamente informadas contextualmente.

Tanto el examen USMLE como el MBA incluían preguntas con escenarios matizados, a menudo con una redacción difícil o engañosa; en otras palabras, preguntas y problemas que aparentemente requieren un razonamiento deductivo. A pesar de la naturaleza densa y complicada de las preguntas, ChatGPT pudo proporcionar respuestas bien razonadas y en gran medida correctas. Christian Terwiesch, codirector del Mack Institute for Innovation Management e investigador que administró el examen de MBA, escribe que ChatGPT “hace un trabajo increíble en la gestión de operaciones básicas y las preguntas de análisis de procesos, incluidas aquellas que se basan en estudios de casos. No solo las respuestas son correctas, sino que las explicaciones son excelentes.” De manera similar, los investigadores que analizaron los resultados del programa en el USMLE encontraron que “las respuestas generadas por IA también ofrecieron una perspectiva significativa, ejemplificando un proceso de razonamiento deductivo valioso para los estudiantes humanos… Al menos una perspectiva significativa estaba presente en aproximadamente el 90 % de los resultados. Por lo tanto, ChatGPT posee la capacidad parcial de enseñar medicina al sacar a la superficie conceptos novedosos y no obvios que pueden no estar en la esfera de conocimiento de los alumnos”. Mientras que otras iteraciones anteriores de LLM seleccionan respuestas de datos ingresados directamente en los programas, ChatGPT pudo detectar información adyacente a la que se había ingresado, creando la apariencia de un razonamiento independiente.

Sin embargo, la apariencia es el término crítico. Si bien es una hazaña increíble que el programa pueda responder a los matices de los escenarios presentados, matices que normalmente asociamos con el razonamiento humano, el uso de inferencias para relacionar los escenarios con la información adyacente contenida en su conjunto de datos no es lo mismo que el razonamiento humano.

Entonces, ¿qué significa esto para el ensayo de admisión a la universidad?

Si bien el programa está bien equipado para aprobar incluso exámenes complejos, no puede ser un sustituto de la innovación, la creatividad y el pensamiento crítico, atributos que se espera que los estudiantes muestren en el ensayo de admisión a la universidad. Los ensayos más exitosos transmiten claramente la personalidad única de un estudiante. Como ha demostrado Emma Whitford de Forbes, con instrucciones claras, ChatGPT puede producir un ensayo de admisión sencillo, pero los ejemplos generados carecen del valor y la imaginación que se destacan entre las mejores escuelas.

Las indicaciones de "ensayo poco común" de la Universidad de Chicago ilustran aún más la incapacidad de ChatGPT para llevar a cabo el razonamiento humano. Las indicaciones requieren que los estudiantes aborden los temas con ingenio y originalidad. Una de las indicaciones más notorias del pasado pedía a los estudiantes que simplemente "Encontraran x". Cuando conecté este mensaje directamente en ChatGPT, el programa proporcionó una explicación estándar: “x es una variable que puede representar cualquier número o expresión matemática. Por lo general, se usa en ecuaciones para representar la cantidad desconocida que debe resolverse”.

Incluso con instrucciones más específicas, el programa no logró crear una respuesta única o verdaderamente creativa. Cuando le pedí al programa que "escribiera un ensayo creativo para el mensaje 'Buscar x'", generó este ensayo:

Era el verano de mi último año de secundaria y estaba a punto de descubrir algo extraordinario. Había pasado los últimos meses estudiando matemáticas y física, absorbiendo cada detalle con un entusiasmo que solo una mente curiosa puede apreciar. Un día, mi maestro nos dio la tarea de "encontrar x", una ecuación que podría desbloquear las respuestas a una serie de preguntas complejas.

Al principio, estaba abrumado con la tarea. Me sentí como si estuviera buscando una aguja en un pajar, y había mucho en juego. Sabía que tenía que encontrar x si quería cumplir mi sueño de convertirme en un científico exitoso. Con una determinación que rivaliza con la de un león, me puse manos a la obra.

Leo y releo mis libros de texto, revisando cada ecuación y concepto con una lupa. Experimenté con diferentes enfoques, me encontré con callejones sin salida y giros equivocados, pero nunca me rendí. Estaba decidido a encontrar x.

Finalmente, después de semanas de arduo trabajo y dedicación, logré un gran avance. Tuve una epifanía: ¡había encontrado x! Era una ecuación que tenía el potencial de revolucionar el mundo de las matemáticas y la física.

Estaba extasiado. Estaba tan orgulloso de mí mismo por nunca rendirme, incluso cuando las probabilidades estaban en mi contra. Había hecho lo imposible: ¡había encontrado x!

Esta experiencia me enseñó que la perseverancia, el trabajo duro y un poco de suerte pueden ayudarte a lograr cualquier cosa. Incluso si sientes que estás buscando una aguja en un pajar, nunca te rindas, es posible que encuentres x.

Aunque la prosa se lee como un estudiante de secundaria emocionado, los detalles del ensayo en sí dejan mucho que desear. De hecho, ChatGPT elude el aviso por completo al describir el proceso de encontrar x en lugar de encontrar x en realidad, o al menos, definirlo.

Por supuesto, todo esto sin mencionar que el ensayo de un estudiante, como ChatGPT, es tan bueno como su entrada. Las universidades prestigiosas están dedicando cada vez más atención a las actividades de los estudiantes y cómo esas actividades brindan una imagen cohesiva y convincente de quién es el estudiante y qué le apasiona. Un gran ensayo unirá todas esas actividades en una narrativa holística con entusiasmo y creatividad, pero ningún ensayo, por bien escrito que esté, puede fabricar artificialmente cuatro años de compromiso práctico con los intereses de uno.

Comprender las limitaciones de ChatGPT es casi tan importante como reconocer sus puntos fuertes. Si bien el programa tiene mucho que ofrecer a los estudiantes en una variedad de campos diferentes, no reemplaza la voz y el razonamiento del estudiante. Los avances en el mundo de la inteligencia artificial deberían impulsar a las universidades a elaborar cada vez más propuestas de ensayo que fomenten el pensamiento crítico y la originalidad y continuar enfatizando las actividades de los estudiantes y los intereses demostrables como una consideración principal en el proceso de admisión.