No se sientan excluidos, diseñadores de chips. Nvidia también creó un asistente de chatbot para ti • The Register
A medida que la IA ingresa en algunos flujos de trabajo de diseño de chips, lo que da como resultado que las redes neuronales ayuden a diseñar mejores procesadores para redes neuronales, Nvidia ha demostrado lo que se puede hacer en esta área con los chatbots.
Quizás recuerde que Google utilizó el aprendizaje automático para mejorar su familia de aceleradores TPU, y empresas como Synopsis y Cadence, que fabrican paquetes de software para diseñar chips, están incorporando IA en sus aplicaciones. Nvidia ha hablado sobre herramientas de litografía acelerada por GPU y ahora ha demostrado algo relacionado con eso: un gran modelo de lenguaje que puede actuar como asistente para los ingenieros de semiconductores.
un documento emitido [PDF] por Nvidia el lunes, describir cómo se puede utilizar esta IA generativa en el diseño y desarrollo de futuros chips. Hasta donde sabemos, esta IA no ha sido lanzada; Parece que el gigante de las GPU espera que la investigación sirva como guía o inspiración para quienes estén considerando construir un sistema tan hablador o bots similares.
Diseñar un microprocesador es un proceso complejo que involucra varios equipos, cada uno de los cuales trabaja en diferentes aspectos de un proyecto. Para demonstrar como esse processo pode ser auxiliado, uma equipe de pesquisadores da Nvidia empregou a estrutura NeMo da empresa para personalizar um modelo básico de 43 bilhões de parâmetros usando dados relevantes para o design e desenvolvimento de chips, um conjunto de treinamento que totaliza mais de un trillón. Fichas: cada una de estas fichas representa partes de palabras y símbolos.
Este modelo se perfeccionó en dos rondas de capacitación, la primera involucró 24 mil millones de tokens en datos de diseño interno y la segunda utilizó 130.000 ejemplos conversacionales y de diseño, según Nvidia.
Luego, los investigadores utilizaron estos modelos ChipNeMo resultantes (uno con siete mil millones y el otro con 13 mil millones de parámetros) para impulsar tres aplicaciones de inteligencia artificial, incluido un par similar a ChatGPT y GitHub Copilot. Funcionan de la forma esperada (de hecho, actúan como asistentes virtuales estándar), pero se han adaptado para proporcionar resultados relacionados con un conjunto más limitado de datos específicos del diseño y desarrollo de semiconductores.
Para evitar complicaciones, consulte las páginas 16 y 17 del artículo anterior para ver ejemplos de uso. Esto incluye el uso de bots para generar código System Verilog (un lenguaje de diseño de hardware utilizado para diseñar la lógica del chip) a partir de consultas; responder preguntas sobre técnicas de prueba y diseño de procesadores; escribir guiones para automatizar pasos en el proceso de diseño; y producir y analizar informes de errores a nivel de silicio.
En última instancia, parece que el objetivo era demostrar que la IA generativa se puede utilizar para algo más que escribir código de aplicación normal, mala poesía y robar a ilustradores: puede producir Verilog y otras cosas relacionadas con la ingeniería de semiconductores. Dada la complejidad del diseño de chips, uno esperaría que los ingenieros que trabajan en este tipo de cosas no necesitaran un asistente de aprendizaje automático, pero suponemos que ese es el mundo en el que vivimos ahora.
Y, por supuesto, Nvidia espera que utilices sus GPU y software para entrenar y ejecutar este tipo de sistema.
«Este esfuerzo marca un paso importante en la aplicación de los LLM al trabajo complejo de diseño de semiconductores», dijo Bill Dally, científico jefe de Nvidia. «Esto muestra cómo incluso campos altamente especializados pueden utilizar sus datos internos para entrenar modelos útiles de IA generativa».
Aunque los investigadores han demostrado cómo la IA generativa podría ser útil para facilitar el diseño de semiconductores, los humanos todavía están impulsando el proceso. Nvidia señaló que se debe tener cuidado al limpiar y organizar los datos de entrenamiento; y quien se ocupa del resultado debe tener la habilidad suficiente para comprenderlo, añadimos.
Nvidia también descubrió que al reducir el alcance del modelo de IA más pequeño, podían lograr un mejor rendimiento en comparación con los LLM de uso general como el Llama 2 70B usando una fracción de los parámetros. Este último punto es importante porque los modelos más pequeños generalmente requieren menos recursos para entrenarse y operarse.
De cara al futuro, Mark Ren, el investigador de Nvidia que dirigió el proyecto, espera que la IA desempeñe un papel más importante en el desarrollo de chips avanzados. «Creo que, con el tiempo, unos buenos modelos de lenguaje ayudarán en todos los procesos, en todos los niveles», afirmó.
Esta no es la primera aplicación de Nvidia de computación acelerada y aprendizaje automático al servicio del desarrollo de semiconductores. El director ejecutivo, Jensen Huang, lleva tiempo hablando del concepto.
“La fabricación de chips es una aplicación ideal para la inteligencia artificial y la computación acelerada de Nvidia”, dijo durante la conferencia de semiconductores de la ITF en mayo.
Como aprendimos a principios de este año, empresas como TSMC, ASML y Synopsys ya utilizan las GPU de Nvidia para acelerar las cargas de trabajo de litografía computacional, mientras que KLA Group, Applied Materials e Hitachi están utilizando las GPU de Nvidia para ejecutar código de aprendizaje profundo para y – haz óptico. e inspección de obleas. ®
