Desde el revolucionario lanzamiento de ChatGPT, el mundo de la informática ha estado esperando un chatbot de IA local que pueda funcionar sin conexión a la nube. Nvidia ahora tiene una respuesta con Chat with RTX, que es un chatbot de IA local que le permite aprovechar un modelo de IA para hojear sus datos sin conexión.
En esta guía, le mostraremos cómo configurar y usar Chat con RTX. Esto es sólo una demostración, así que espere algunos errores mientras trabaja con la herramienta. Pero esperamos que esto abra la puerta a más chatbots de IA locales y otras herramientas de IA locales.
Cómo descargar chat con RTX
El primer paso es descargar y configurar Chat con RTX, lo cual en realidad es un poco más complicado de lo que piensas. Todo lo que tiene que hacer es ejecutar un instalador, pero el instalador es propenso a fallar y deberá cumplir con algunos requisitos mínimos del sistema.
Necesita una GPU RTX serie 40 o 30 con al menos 8 GB de VRAM, junto con 16 GB de RAM del sistema, 100 GB de espacio en disco y Windows 11.
Paso 1: Descargue el instalador de Chat con RTX del sitio web de Nvidia. Esta carpeta comprimida tiene 35 GB, por lo que la descarga puede tardar un poco.
Paso 2: Una vez que se complete la descarga, haga clic derecho en la carpeta y seleccione extraer todo.
Jacob Roach / Tendencias digitales
Paso 3: En la carpeta, encontrará algunos archivos y carpetas. Elegir configuración.exe y pasa por el instalador.
Etapa 4: Antes de comenzar la instalación, el instalador le preguntará dónde desea almacenar RTX Chat. Asegúrese de tener al menos 100 GB de espacio en disco en la ubicación seleccionada, ya que Chat with RTX realmente descarga los modelos de IA.
Jacob Roach / Tendencias digitales
Paso 5: El instalador puede tardar más de 45 minutos en completarse, así que no te preocupes si se congela brevemente. También puede ralentizar tu PC, especialmente mientras configuras los modelos de IA, por lo que te recomendamos que te alejes un momento mientras finaliza la instalación.
Paso 6: La instalación puede fallar. En este caso, simplemente ejecute el instalador nuevamente, eligiendo la misma ubicación para los datos que antes. El instalador continuará donde lo dejó.
Paso 7: Una vez que se complete el instalador, recibirá un acceso directo a RTX Chat en su escritorio y la aplicación se abrirá en una ventana del navegador.
Cómo utilizar Chat con RTX con tus datos
La gran ventaja de Chat con RTX es que puedes utilizar tus propios datos. Utiliza algo llamado recuperación de generación aumentada, o RAG, para hojear documentos y proporcionar respuestas basadas en esos documentos. En lugar de responder cualquier pregunta, Chat with RTX es bueno para responder preguntas específicas sobre un conjunto particular de datos.
Nvidia incluye algunos datos de muestra para que puedas probar la herramienta, pero debes agregar tus propios datos para desbloquear todo el potencial de Chat con RTX.
Paso 1: Cree una carpeta donde almacenará su conjunto de datos. Tome nota de la ubicación, ya que deberá señalar RTX Chat a esta carpeta. Chat con RTX actualmente admite archivos .txt, .pdf y .doc.
Paso 2: Abra Chat con RTX y seleccione el ícono de lápiz en el conjunto de datos sección.
Jacob Roach / Tendencias digitales
Paso 3: Navegue hasta la carpeta donde almacenó sus datos y selecciónela.
Etapa 4: En Chat con RTX, seleccione el icono de actualización en el conjunto de datos sección. Esto regenerará el modelo basado en los nuevos datos. Querrá actualizar el modelo cada vez que agregue nuevos datos a la carpeta o seleccione un conjunto de datos diferente.
Jacob Roach / Tendencias digitales
Paso 5: Con tus datos agregados, selecciona el modelo que deseas usar en la sección Modelo AI. El chat RTX incluye Llama 2 y Mistral, siendo este último el predeterminado. Pruebe ambos, pero para los nuevos usuarios, Mistral es el mejor.
Paso 6: A partir de ahí, puedes empezar a hacer preguntas. Nvidia señala que Chat with RTX no tiene en cuenta el contexto, por lo que las respuestas anteriores no influyen en las respuestas futuras. Además, las preguntas específicas generalmente producirán mejores resultados que las preguntas generales. Finalmente, Nvidia señala que Chat with RTX a veces hace referencia a datos incorrectos al brindar una respuesta, así que téngalo en cuenta.
Paso 7: Si Chat with RTX deja de funcionar y un reinicio no resuelve el problema, Nvidia dice que puedes eliminar el archivo preferencias.json para resolver el problema. Este se encuentra en C:\Users\\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\config\preferences.json.
Cómo utilizar el chat RTX con YouTube
Además de tus propios datos, puedes utilizar Chat con RTX con vídeos de YouTube. El modelo de IA sigue la transcripción de un vídeo de YouTube, por lo que existen algunas limitaciones naturales.
Primero, el modelo de IA no ve nada que no esté incluido en la transcripción. No puedes preguntar, por ejemplo, cómo se ve alguien en un vídeo. Además, las transcripciones de YouTube no siempre son perfectas. En videos con transcripciones confusas, es posible que no obtenga las respuestas que desea.
Paso 1: Abra Chat con RTX y conjunto de datos sección, seleccione el menú desplegable y elija YouTube.
Paso 2: En el campo a continuación, pegue un enlace a un video o lista de reproducción de YouTube. Al lado de este campo, encontrará un número que indica la cantidad máxima de transcripciones que desea descargar.
Jacob Roach / Tendencias digitales
Paso 3: Seleccione el botón de descarga junto a este campo y espere a que terminen de descargarse las transcripciones. Cuando termine, haga clic en el botón Actualizar.
Etapa 4: Una vez completada la transcripción, podrás chatear como lo hacías con tus propios datos. Las preguntas específicas son mejores que las generales, y si estás conversando sobre varios videos, RTX Chat puede hacer referencias erróneas si tu pregunta es demasiado general.
Paso 5: Si desea chatear sobre un nuevo conjunto de videos, deberá eliminar manualmente las transcripciones antiguas. Encontrará un botón para abrir una ventana del Explorador al lado del botón de actualización. Ve allí y elimina las transcripciones si quieres hablar de otros vídeos.
Recomendaciones de los editores
