Databricks lanza Dolly 2.0, el primer LLM abierto, siguiendo instrucciones para uso comercial

Hoy Ladrillos de datos lanzó Dolly 2.0, la próxima versión del modelo de lenguaje grande (LLM) con interactividad humana similar a ChatGPT (también conocida como seguimiento de instrucciones) que la compañía lanzó hace solo dos semanas.

La compañía dice que Dolly 2.0 es el primer LLM de seguimiento de instrucciones de código abierto ajustado en un conjunto de datos transparente y de libre acceso que también es de código abierto para uso comercial. Esto significa que Dolly 2.0 está disponible para aplicaciones comerciales sin necesidad de pagar por el acceso a la API o compartir datos con terceros.

Según el director ejecutivo de Databricks, Ali Ghodsi, aunque existen otros LLM que se pueden usar con fines comerciales, «no te hablarán como Dolly 2.0». Y, explicó, los usuarios pueden modificar y mejorar los datos de entrenamiento porque están disponibles gratuitamente bajo una licencia de código abierto. “Entonces puedes hacer tu propia versión de Dolly”, dijo.

Databricks lanzó el conjunto de datos de Dolly 2.0 en el que se entrenó

Además, Databricks dijo que, como parte de su compromiso continuo con el código abierto, también está lanzando el conjunto de datos en el que se entrenó Dolly 2.0, llamado databricks-dolly-15k. Este es un corpus de más de 15,000 registros generados por miles de empleados de Databricks, y Databricks dice que es el «primer corpus de instrucción de código abierto generado por humanos diseñado específicamente para permitir que el lenguaje amplio muestre la interactividad mágica de ChatGPT».

En los últimos meses, ha habido una ola de lanzamientos de LLM similares a ChatGPT que siguen instrucciones y se consideran de código abierto según muchas definiciones (u ofrecen algún nivel de acceso abierto o cerrado). Uno de estos fue LLaMA de Meta, que a su vez inspiró a otros como Alpaca, Koala, Vicuna y Dolly 1.0 de Databricks.

Sin embargo, muchos de estos modelos «abiertos» estaban bajo «captura industrial», dijo Ghodsi, porque fueron entrenados en conjuntos de datos cuyos términos están destinados a limitar el uso comercial, como un conjunto de datos de 52,000 preguntas y respuestas del Stanford Alpaca proyecto que fue entrenado en la salida ChatGPT de OpenAI. Pero los términos de uso de OpenAI, explicó, incluyen una regla que no puede usar la salida de los servicios que compiten con OpenAI.

Sin embargo, Databricks descubrió cómo sortear este problema: Dolly 2.0 es un modelo de lenguaje de 12 000 millones de parámetros basado en código abierto. Eleuther AI lástima familia de modelos y se instaló de manera única en un pequeño corpus de código abierto de registros de instrucciones (databricks-dolly-15k) generado por los empleados de Databricks. Los términos de la licencia de este conjunto de datos permiten su uso, modificación y ampliación para cualquier fin, incluidas las aplicaciones académicas o comerciales.

Los modelos capacitados en la salida de ChatGPT, hasta ahora, han estado en un área gris legal. “Toda la comunidad está caminando de puntillas alrededor de esto y todos están lanzando estos modelos, pero ninguno de ellos puede usarse comercialmente”, dijo Ghodsi. «Así que por eso estamos súper emocionados».

Dolly 2.0 es pequeña pero poderosa

Una publicación de blog de Databricks enfatizó que, al igual que la Dolly original, la versión 2.0 no es de próxima generación, pero «muestra un nivel sorprendentemente capaz de seguir instrucciones, dado el tamaño del corpus de entrenamiento». La publicación agrega que el nivel de esfuerzo y gasto requerido para construir poderosas tecnologías de IA es «ordenes de magnitud menor de lo que se pensaba anteriormente».

“Todo el mundo quiere ir más grande, pero estamos realmente interesados ​​en lo más pequeño”, dijo Ghodsi sobre el diminuto tamaño de Dolly. “Segundo, es de alta calidad. Revisamos todas las respuestas.

Ghodi agregó que cree que Dolly 2.0 iniciará un efecto de «bola de nieve», donde otros en la comunidad de IA pueden unirse y encontrar otras alternativas. El umbral del uso comercial, explicó, fue un gran obstáculo que superar: “Estamos emocionados ahora que finalmente hemos encontrado una forma de evitar esto. Te prometo que verás a la gente aplicar las 15 000 preguntas a todos los modelos que existen, y verán cuántos de esos modelos de repente se vuelven algo mágicos donde puedes interactuar con ellos».