llamafile.ai Download der bin. Aufruf mit Erklärung: Der Befehl startet das KI-Modell oss20b.gguf als lokalen Server auf der IP-Adresse 192.168.0.666 (hier die echte IP des verwendeten Servers eintragen) und Port 1234. Die GPU-Nutzung wird mit –gpu disable vollständig deaktiviert, sodass sämtliche Berechnungen ausschließlich auf der CPU erfolgen (sinnvoll bei nur 16GB RAM und einer iGPU)….
Monat: Juli 2026
Ollama quick n dirty
Beispiel: Cachy os. Es gibt 3 Installationsvarianten: Nvidia Hardware: ollama-cudaAMD Hardware: ollama-rocmCPU only: ollama In Ubuntu gehts nicht über apt, sondern da brauchst es dieses Script: Danach ollama als Systemdienst einrichten: Dienst läuft automatisch, belegt aber kaum Ram solange kein Modell geladen ist Runtergeladene Modelle auflisten Modelle runterladen mit Modell starten mit Chat beenden mit…