Esta semana, Nvidia presentó un chatbot impulsado por inteligencia artificial que se ejecuta completamente en una PC con Windows.

Como sugiere su nombre, Chat with RTX funciona con GPU Nvidia GTX y viene con funciones que permiten a los usuarios personalizar el chatbot con su contenido.

En su interior, Chat with RTX utiliza Retrieval Augmented Generation (RAG), el software de código abierto Nvidia TensorRT-LLM y la aceleración de Nvidia RTX para mejorar sus capacidades de IA generativa.

Chatea con RTX

Chatear con RTX tiene varios beneficios, a saber, la posibilidad de acceder al modelo de lenguaje grande (LLM) sin conexión a Internet.

«Debido a que Chat with RTX se ejecuta localmente en PC y estaciones de trabajo con Windows RTX, los resultados proporcionados son rápidos y los datos del usuario permanecen en el dispositivo». para explicar Nvidia en una publicación de blog anuncia el lanzamiento de Chat con RTX.

«En lugar de depender de servicios LLM basados ​​en la nube, Chat with RTX permite a los usuarios procesar datos confidenciales en una computadora local sin tener que compartirlos con un tercero o conectarse a Internet».

La herramienta también puede cargar archivos locales, incluidos .txt, .pdf, docx y .xml, que se pueden cargar apuntando la aplicación a una carpeta que contenga estos archivos para cargar. Además, los usuarios también pueden insertar información de vídeos y listas de reproducción de YouTube simplemente añadiendo la URL del vídeo.

Esta función permite a los usuarios acceder rápidamente a información relevante mediante consultas escritas. Como lo describió Nvidia, uno podría preguntarse: «¿Qué restaurante recomendó mi pareja mientras estuvo en Las Vegas?» Chat with RTX escaneará los archivos locales a los que hace referencia el usuario y proporcionará la respuesta con contexto.

Funciona con otros LLM

Chat with RTX utiliza de forma predeterminada el modelo de inicio Mistral AI de código abierto, pero admite otros modelos basados ​​en texto, incluido Meta's Llama 2, que también es de código abierto.

A diferencia del ChatGPT de OpenAI, Chat with RTX no recuerda el contexto de las indicaciones. Pedirle a Chat with RTX que dé ejemplos de aves en un mensaje y luego pedir una descripción de «pájaros» en el siguiente mensaje creará un espacio en blanco; los usuarios deberán explicar todo claramente.

Chat with RTX se ejecutará en una PC con Windows 10 o Windows 11 con una GPU RTX serie 30 o posterior con al menos 8 GB de VRAM y 16 GB de RAM. Puedes descargar la versión de prueba. aquí – El tamaño de descarga del archivo es de 35 GB.

Crédito de la imagen: iStockFoto/Manfort Okoli