29. Januar 2025
Ibiam Wayas
Im Gegensatz zu ChatGPT, das ursprünglich nicht für die lokale Nutzung freigegeben war, kann die mittlerweile weit verbreitete KI DeepSeek lokal ausgeführt werden. Es gibt jedoch einige Voraussetzungen.
Grafikprozessor (GPU): NVIDIA-Grafikkarte mit mindestens 12 GB VRAM für leichtere Modelle bzw. mindestens 24 GB für leistungsstärkere Modelle. Arbeitsspeicher (RAM): Mindestens 16 GB Arbeitsspeicher (32 GB empfohlen). Festplattenspeicher: 500 GB (kann je nach Modell variieren).
Ollama ist einfach ein leichtgewichtiges Tool, um KI-Modelle lokal auf Ihrem Rechner zu verwalten und auszuführen.
Laden Sie also eine kompatible Version von Ollama von der offiziellen Website herunter und installieren Sie sie gemäß den Anweisungen auf Ihrem Rechner.
Die Installation wurde bestätigt, indem ein neues Terminal geöffnet und der Befehl „ollama --version“ ausgeführt wurde. Bei korrekter Installation sollte die Version von ollama zurückgegeben werden.
Als nächstes laden Sie das DeepSeek R1-Modell mit dem von Ihnen bevorzugten Modelltyp herunter, z. B. 8b, 70b usw.
Das können Sie ganz einfach auf Ollama tun, indem Sie Ihr Terminal öffnen und den Befehl „ollama run deepseek-r1“ und den MODELLCODE eingeben.
Der Befehl startet eine Aufforderung zum Herunterladen des R1-Modells. Nach Abschluss des Downloads öffnet ollamamaticeine Konsole, in der Sie Nachrichten eingeben und an das Modell senden können. Dort können Sie lokal mit R1 kommunizieren.
Als nächstes