Una IA más inteligente necesita más memoria y almacenamiento

Este es el segundo de dos artículos sobre la Cumbre TechSurge de Celesta Capital el 13 de febrero de 2023. En este artículo incluiré discusiones sobre un panel de semiconductores y también algunos comentarios de Internet Legend, Vint Cerf sobre el uso ético de la tecnología y cómo lograr que la IA ser más útil.

Jason DiLullo, presidente de Qatalyst Partners, presidió una sesión en TechSurge Summit en la que habló sobre el mercado de semiconductores. Este panel incluyó a Sanjay Mehrotra, presidente y director ejecutivo de Micron, René Haas, director ejecutivo de Arm y Ronnie Chatterji, coordinador de la Ley CHIPS de la Casa Blanca.

Sanjay tenía varias cosas que decir con respecto a la industria de los semiconductores y, en particular, a la industria de las memorias de semiconductores. Dijo que los semiconductores forman la columna vertebral de todo en el mundo de hoy. El 20-30% de la economía mundial está impulsada por semiconductores, directa o indirectamente. La industria de semiconductores está creciendo más rápido que el PIB durante el resto de esta década. Micron es el único fabricante estadounidense de memoria, DRAM y flash NAND.

El crecimiento de la memoria de semiconductores en la próxima década superará el crecimiento general de semiconductores. Todas las tendencias en torno a la IA y los vehículos autónomos necesitan memoria y esto contribuirá al crecimiento económico. Hoy, alrededor del 85% de los semiconductores se fabrican en Asia. El 98 % del silicio de la memoria se fabrica en Asia. Los principales países asiáticos que proporcionan la cadena de suministro y la fabricación de semiconductores se concentran en Corea del Sur, China, Japón y Taiwán. Hay demanda de una cadena de suministro equilibrada, de ahí tanto interés en varios gobiernos nacionales para promover el crecimiento local en la fabricación de semiconductores. Esto está detrás de la ley CHIPS y otros fondos similares. Este es un intento de diversificar la cadena de suministro global.

René dijo que los ciclos económicos son una característica inherente a la industria de los semiconductores. Las empresas deben hacer grandes apuestas por la oferta y la demanda. Estábamos en una crisis basada en la oferta durante la pandemia, que hoy ha cambiado a un mercado impulsado por la demanda. Él piensa que estos ciclos comerciales continuarán, aunque la demanda general de productos electrónicos en todo aumentará la demanda en el futuro previsible.

Ronnie se unió al Departamento de Comercio de EE. UU. en 2021. Su jefe le pidió que averiguara la causa del aumento de los precios de los automóviles. Muchos de los aumentos de precios se debieron a la disminución del suministro de chips semiconductores durante la pandemia. Incluso los chips de tecnología antigua muy simples escaseaban. Dijo que la ley CHIPS creará nuevos puestos de trabajo, en particular para aquellos sin títulos universitarios. Piensa que este es un momento clave para realizar inversiones en la industria de los semiconductores y que el desarrollo de Silicon Valley después de la Segunda Guerra Mundial estuvo ligado a importantes inversiones en tecnología en el área (por ejemplo, la NASA y varios contratistas de defensa).

Rene dijo que la IA es el mayor impulsor del crecimiento de los semiconductores, refiriéndose a la IA generativa como Chat GBT. Esta es una gran oportunidad, pero para habilitarla necesitaremos un procesamiento de datos más eficiente, algo por lo que Arm es conocido. Dijo que el uso actual de energía en los centros de datos en todo el mundo es aproximadamente del 1 al 2% de la energía total producida, pero en algunos países, esto se acerca al 10%, lo cual no es sostenible. Se están construyendo nuevos centros de datos con bienes raíces fijos y disponibilidad de energía, lo que requerirá una electrónica más eficiente para satisfacer la creciente demanda.

Sanjay dijo que la IA generativa y otra IA sofisticada impulsarán la demanda de memoria. Dijo que los servidores Chat GBT requieren cinco memorias más que un servidor estándar. La IA más inteligente necesita cómputo, memoria (mucho almacenamiento y memoria) y conectividad. Todo esto debe unirse para que la IA se vuelva omnipresente. Bajo consumo de energía y alto rendimiento, la memoria de alto BW también es importante. La supercomputadora Chat GBT se encuentra entre las 5 mejores del mundo. Proporcionó algunos detalles sobre el hardware necesario para Chat GBT. Tiene 285.000 núcleos de CPU, 10.000 GPU y conectividad de 400 GB/s. También dijo que las tendencias para que la memoria y la computadora se unan a través de paquetes o soluciones innovadoras para unir la memoria y la lógica en los próximos años.

Ronnie dijo que la Ley de Chips y Ciencia financiará $ 52.7 mil millones. Esto es grande para una inversión industrial del gobierno en los EE. UU. Se mudó a la Casa Blanca desde el Departamento de Comercio, donde coordina la ley CHPS. El dinero del gobierno está aprovechando el dinero de la industria privada, hasta $ 300 mil millones desde que se propuso la ley CHIPS. También dijo que necesitamos una cadena de suministro más amplia, que incluya empresas más pequeñas. El sector privado tiene más información que el sector público sobre la cadena de suministro.

Sanjay dijo que además de los $ 52 mil millones para cerrar la brecha de costos con la semifabricación asiática. La brecha de costos actual es del 35-45% para la producción en EE. UU. frente a Asia y se debe principalmente a los incentivos de los gobiernos asiáticos. Otro elemento importante de CHIPS son los créditos fiscales a la inversión. Hasta un 25% de ITC también ayudará a cerrar la brecha con Asia. Tanto la inversión como los créditos fiscales son necesarios. Aunque las obleas de memoria generan alrededor del 30 % de todos los semiingresos WW, comprenden alrededor del 60 % de todos los semiobleas. CHIPS necesita invertir en memoria, así como en lógica, sensores y otros dispositivos también. Sanjay dijo que la memoria está bajo presión de precios y que debes hacer tus propias plantas para sobrevivir, no puedes construir a través de terceros.

Rene dijo que las empresas de propiedad intelectual y la industria de propiedad intelectual tal como es hoy no existían hace 30 años. La tecnología System on Chip (SoC) se enfrenta a obstáculos con la cantidad que puede poner en un dado monolítico, particularmente a medida que nos acercamos a las características de 2 nm. Dijo que en los próximos 5 a 10 años veremos la desagregación del SoC donde se combinan en un paquete troqueles especializados más pequeños fabricados con diferentes procesos y diferentes empresas (estos troqueles más pequeños a menudo se denominan chiplets). Esto generará mucha innovación y nuevas oportunidades de PI. Dijo que el empaque de chiplet será estándar dentro de 4 a 5 años.

Cuando se le preguntó sobre la tendencia de los grandes hiperescaladores a diseñar su propio hardware, Rene dijo que estas empresas tienen grandes cargas de trabajo internas que requieren funciones muy específicas y que estas empresas tienen la mejor información sobre cómo resolver sus necesidades. Como consecuencia, continuará la tendencia de los hiperescaladores a diseñar sus propios chips. Usarán iP donde tenga sentido y también usarán hardware listo para usar.

Ronnie dijo que los beneficios regionales de la ley CHIPS pueden ser inmensos. Es posible que más personas puedan trabajar donde viven, en lugar de tener que mudarse. Hizo hincapié en que es necesario que haya una asociación regional con empresas privadas.

Rene dijo que debemos ser más ambiciosos y agresivos para resolver el problema de la eficiencia energética para ampliar y satisfacer las necesidades de la futura IA y otras aplicaciones. Por ejemplo, dijo que aunque hay objetivos para pasar a todos los vehículos eléctricos en 10 años, la red eléctrica no está construida para respaldar esto. Una mayor eficiencia de energía electrónica podría reducir estos requisitos de energía, haciéndolo más factible.

Sanjay dijo que la ley CHIPS creará unos 50.000 puestos de trabajo directos en la industria de los semiconductores y medio millón de puestos de trabajo indirectos. Esto requiere que traigamos grupos subrepresentados, negros, hispanos, personas en áreas rurales. Dentro de los próximos 10 años habrá una inversión de $ 100B Micron. La construcción es una gran parte de estos trabajos bien remunerados. Dijo que para 2030 Micron habrá reducido sus emisiones de carbono en un 42%, versus 2018, en línea con los Acuerdos de París. En 2025 sus instalaciones serán 100% renovables.

Sanjay también alentó la inversión en tecnología de fabricación inteligente. Dijo que sus fábricas tienen más de 500.000 sensores con muchos puntos de control y muchas imágenes de obleas. Dijo que tienen 30 PB de datos que les gustaría analizar y comprender para crear una fabricación más inteligente con un mantenimiento de equipos más rápido y una mejor calidad para satisfacer la demanda.

Larina Yee de McKinsey and Co. entrevistó a Vint Cerf de Google. Vint fue una de las personas que ayudó a crear Internet. Respecto a Internet dijo que todas las tecnologías poderosas tienen la posibilidad de ser usadas de mala manera. Tenía tres ideas para contrarrestar los malos usos de Internet (y otras tecnologías). Primero, evita que la gente haga cosas malas, y si los pillas haciendo cosas malas, debería haber consecuencias. Finalmente, tener una ética de que simplemente no deberías hacer tales cosas, y tal vez esta sería la contramedida más fuerte.

Vint entró en la historia de cómo surgió Internet a partir de ARPAnet utilizando redes de conmutación de paquetes. Estaba menos entusiasmado con el concepto general del metaverso, pero pensó que había capacidades útiles con la realidad aumentada donde se combina el mundo real con la información.

A Vint le gustó mucho la declaración de John Hennessey de que la IA puede amplificar a los humanos y que podemos usar las computadoras para hacer cosas que no podemos hacer nosotros mismos o para ahorrar tiempo. Él también pensó que una IA generativa, como Chat GBT, si se entrena con materiales fácticos seleccionados podría hacer un mejor trabajo, pero debido a que las computadoras funcionan con algoritmos, en lugar de razonar como lo hacemos nosotros, se equivocará e incluso si se entrena con materiales fácticos. , la IA aún puede hacer las cosas mal y no creía que la IA generativa estuviera lista para usar en los negocios.

Sin embargo, los programas de IA como alpha fold, que predice cómo se plegarán las proteínas, son de gran ayuda. También mencionó que hacer que la información esté disponible sobre cosas que no funcionan podría ser muy útil y sugirió que deberíamos publicar nuestros errores, así como nuestros aciertos. Esta también es una buena lección para los emprendedores, si algo no funciona, infórmate lo antes posible y cambia o adapta tus objetivos si es necesario.

Un gran desafío para la IA es lograr que el sistema formule un modelo de trabajo de lo que sabe. Dio un ejemplo. Cualquier niño de dos años entiende qué es una mesa, pero a las computadoras les cuesta entender cosas del mundo real. Esto se obtiene interactuando y trabajando con el mundo real, algo en lo que trabajó John McCarthy en los primeros años de la investigación de la IA.

Sanjay Mehrotra de Micron, habló sobre la importancia de la memoria para la industria de los semiconductores y con Rene Haas y Ronnie Chatterji discutieron temas como la ley CHIPS, los chiplets y la industria IP. Vint Cerf habló sobre una Internet ética y cómo mejorar la IA.