Ollama quick n dirty

Beispiel: Cachy os. Es gibt 3 Installationsvarianten:

Nvidia Hardware: ollama-cuda
AMD Hardware: ollama-rocm
CPU only: ollama

sudo pacman -S ollama

In Ubuntu gehts nicht über apt, sondern da brauchst es dieses Script:

curl -fsSL https://ollama.com/install.sh | sh

Danach ollama als Systemdienst einrichten:

sudo systemctl enable --now ollama

Dienst läuft automatisch, belegt aber kaum Ram solange kein Modell geladen ist

Runtergeladene Modelle auflisten

ollama list

Modelle runterladen mit

ollama pull qwen3.5:27b

Modell starten mit

ollama run qwen3.5:27b

Chat beenden mit

/bye

Modelle löschen mit

ollama rm qwen3.5:27b

Wird ollama als Systemdienst gestartet, liegen runtergeladenen Modelle unter

/var/lib/ollama/blobs