29 de enero de 2025
Ibiam Wayas
A diferencia de ChatGPT, que originalmente no estaba abierto para el uso local, la AI de DeepSteek ahora de moda puede funcionar localmente. Pero hay algunos requisitos previos.
GPU: NVIDIA GPU con al menos 12 GB de VRAM para modelos de luz o al menos 24 GB para modelos más pesados. RAM: al menos 16 GB de memoria del sistema (recomendado 32 GB). Espacio en disco: 500 GB (puede variar en todos los modelos.
Ollama es simplemente una herramienta liviana para administrar y ejecutar modelos AI localmente en su máquina.
Por lo tanto, descargue una versión compatible de Ollama desde el sitio web oficial e instálelo en su máquina, siguiendo las instrucciones dadas.
Confirmó la instalación abriendo un nuevo terminal y ejecutando el comando "Ollama -Version" Esto debería devolver la versión de Ollama, si se instala correctamente.
Lo siguiente es descargar el modelo Deepseek R1 con su tipo de modelo preferido, como 8B, 70B, etc.
Puede hacerlo fácilmente en Ollama abriendo su terminal y escribiendo el comando: "Ollama ejecuta Deepseek-R1" y el código del modelo.
El comando comienza una solicitud para descargar el modelo R1. Una vez que se complete la descarga, Ollama abrirá una consolamaticpara que escriba y envíe un mensaje al modelo. Ahí es donde puedes chatear con R1 localmente.
Siguiente