GPT-4: Conmoción y controversia

El día que se publicó un episodio del London Futurists Podcast dedicado íntegramente al sistema GPT-4 de OpenAI, el Future of Life Institute publicó una carta abierta sobre la tecnología subyacente. Firmada por Stuart Russell, Max Tegmark, Elon Musk, Jaan Tallinn y cientos de otros destacados investigadores y comentaristas de IA, la carta pedía una pausa en el desarrollo de los grandes modelos de lenguaje como GPT-4 de OpenAI y Bard de Google.

Fue sorprendente ver el nombre de Sam Altman, CEO de OpenAI, en la lista y, de hecho, pronto volvió a desaparecer. En el momento de escribir este artículo, no había signatarios de alto nivel de ninguno de los dos laboratorios AGI, OpenAI y DeepMind, ni de ninguno de los gigantes tecnológicos impulsados por la IA, Google, Meta, Microsoft, Amazon o Apple. Tampoco hubo representación de los gigantes tecnológicos chinos, Baidu, Alibaba o Tencent.

Independientemente de lo que piense de las perspectivas de éxito de la carta, e incluso de la conveniencia de su objetivo, fue una poderosa demostración del entusiasmo y la preocupación que se genera en los círculos de IA sobre GPT-4 y los otros grandes modelos de lenguaje. El entusiasmo por GPT-4 no es exagerado. El modelo es un avance significativo sobre cualquier sistema de procesamiento de lenguaje natural anterior.

La última vez que hubo tanto entusiasmo por la IA fue en 2016, cuando el sistema AlphaGo de DeepMind venció a Lee Sedol, el mejor jugador del mundo del juego de mesa Go. Ese logro fue el resultado del Big Bang en IA que ocurrió cuatro años antes, en 2012. Cuando una red neuronal desarrollada por Geoff Hinton y sus colegas ganó la competencia ImageNet, fue el comienzo de la revolución del aprendizaje profundo, y por primera vez alguna vez, AI comenzó a ganar mucho dinero. Curiosamente, los colegas de Hinton incluyeron a Ilya Sutskever, quien ayudó a fundar OpenAI y se convirtió en su científico jefe.

GPT es el resultado de lo que podría llamarse el segundo big bang en IA, que ocurrió en 2017 cuando algunos investigadores de Google publicaron un artículo llamado "La atención es todo lo que necesitas". Esto describió un nuevo tipo de aprendizaje profundo llamado Transformers, que habilita sistemas como Dall-E y Midjourney, que generan imágenes fotorrealistas cuando se les solicitan instrucciones breves en lenguaje natural. También permiten sistemas de lenguaje natural como GPT-4.

Este renovado enfoque público en la IA es algo bueno. El impacto de la IA en todos los aspectos de la vida en los próximos años y décadas será tan profundo que cuanta más gente piense en ello por adelantado, mejor. Incluso con GPT-4 en los titulares y obsesionando a muchos tecnófilos, la IA aún no recibe la atención pública más amplia que realmente merece. Todavía es golpeado por ataques populistas a personas transgénero y otras historias un tanto espurias, pero debemos estar agradecidos por cualquier progreso que podamos lograr.

La operación de Transformers a menudo se resume como predicción simbólica. Están capacitados en vastos corpus de texto: todo Wikipedia y millones de libros libres de derechos de autor, por ejemplo. Ingieren este texto y seleccionan tokens (palabras o partes de palabras) para "enmascararlos" u ocultarlos. Según su modelo de cómo funciona el lenguaje, adivinan cuál es el token enmascarado y, según si la suposición fue correcta o incorrecta, ajustan y actualizan el modelo. Al hacer esto miles de millones de veces, los Transformers se vuelven realmente buenos para predecir la siguiente palabra en una oración. Para evitar generar texto repetitivo, hacen algunos ajustes arbitrarios a las probabilidades. Cuando un sistema se ajusta para hacer más ajustes, se dice que tiene una "temperatura" más alta.

Fundamentalmente, este proceso de enmascaramiento no requiere que se etiqueten los datos de entrenamiento. Los sistemas se dedican a un entrenamiento autosupervisado. Esto es diferente a los sistemas de aprendizaje profundo entrenados en conjuntos de datos masivos como ImageNet, donde cada imagen ha sido etiquetada por humanos.

Sin embargo, hay un componente humano en el entrenamiento de los transformadores, que es el aprendizaje por refuerzo a partir de la retroalimentación humana, o RLHF, por sus siglas en inglés. Una vez que se completa el entrenamiento de enmascaramiento, los humanos evalúan las respuestas del sistema a las indicaciones durante un período, y las evaluaciones se retroalimentan al sistema para minimizar el error y el sesgo.

GPT-3, 3.5, 4

GPT significa transformador preentrenado generativo. GPT-3 se lanzó en noviembre de 2020 y contaba con lo que entonces era un número inaudito de 175 mil millones de parámetros (análogos a las sinapsis en un cerebro humano). GPT-4 se lanzó el 14 de marzo de 2023 y no se ha revelado la cantidad de parámetros. OpenAI ha sido criticado por revertir su política de publicar tanto como sea posible sobre sus sistemas. Responde, con razón, que si estos modelos pueden causar daño en las manos equivocadas, sería una tontería facilitar que los malos los repliquen.

Lo que se sabe es que la cantidad de tokens que puede manejar GPT-4, 32,000, es mucho mayor que los 4,100 que podría manejar GPT-3. Entre otras cosas, esto le permite trabajar con textos más largos.

ChatGPT era un chatbot basado en un sistema intermedio, GPT-3.5. Se lanzó en noviembre de 2022 y en un mes tenía 100 millones de usuarios, que fue la tasa de adopción más rápida de cualquier aplicación o plataforma.

La corta y turbulenta historia de OpenAI

La historia de OpenAI es tan dramática como impresionantes sus productos. La compañía fue formada en San Francisco en 2015 por Elon Musk, Sam Altman y amigos. Invirtieron mil millones de dólares de su propio dinero para iniciar la organización sin fines de lucro. Musk se retiró en 2018, y la razón dada en ese momento fue un posible conflicto de intereses con su compañía de automóviles Tesla, que también es un importante desarrollador de tecnología de IA.

Más recientemente, hay informes de que se fue porque temía que OpenAI no pudiera competir con el otro laboratorio líder de AGI, DeepMind. (A estos dos laboratorios los llamo laboratorios AGI porque ambos tienen como objetivo explícito el desarrollo de la inteligencia artificial general, una IA con todas las capacidades cognitivas de un ser humano adulto). dinero propio. Cuando se rechazó su oferta de liderazgo, se fue, llevándose los mil millones de dólares con él. OpenAI no pudo pagar el talento de IA que necesitaba y su gerencia decidió que tenía que convertirse, en parte, en una organización con fines de lucro.

Microsoft está muy interesado en la tecnología GPT. Contribuyó con $ 2 mil millones antes del lanzamiento de ChatGPT y acordó invertir $ 10 mil millones más desde entonces. La empresa matriz de OpenAI sigue siendo una organización sin fines de lucro, y los rendimientos para los inversores en la subsidiaria generadora de ingresos tienen un tope de 100x. Resulta que Sam Altman no tiene ningún interés financiero en la empresa. A él no le importa: ya es un hombre rico.

Musk se ha convertido en un crítico mordaz de OpenAI, especialmente en Twitter. Altman ha expresado un respeto profundo continuo por su ex socio comercial, pero también ha observado que a veces se comporta como un idiota.

Los avances de GPT-4

El último sistema de OpenAI comete menos errores que sus predecesores; en la jerga, alucina menos. También es mejor para aprobar los exámenes. Aprobó el examen de la barra de EE. UU. con una puntuación en el 10% superior de los candidatos, mientras que GPT-3 solo logró el 10% inferior. Esto no nos dice si el sistema podría ser realmente un abogado efectivo, pero es impresionante.

A diferencia de los sistemas anteriores, GPT-4 también parece haber aprendido matemáticas simples. Y a menudo parece estar haciendo algo indistinguible del razonamiento. Esto no se esperaba de lo que son esencialmente sistemas de reconocimiento de patrones. Incluso ha llevado a un grupo de empleados de Microsoft a publicar un artículo que afirma que GPT-4 muestra las primeras chispas de AGI, aunque eso se ha caracterizado como exageración.

Cronologías revisadas y estimaciones de amenazas

GPT-4 es lo suficientemente impresionante como para hacer que las personas bien informadas revisen sus plazos para la llegada de AGI y el desempleo generalizado duradero. Geoff Hinton, a menudo llamado el padrino del aprendizaje profundo, comentó en una entrevista reciente que solía pensar que faltaban al menos 20 años para AGI, y muy posiblemente 50. Ahora cree que podría ser menos de 20 años. También (por primera vez, que yo sepa) dijo que "no es inconcebible" que la IA avanzada pueda causar la extinción humana.