ShellGPT und Ollama: Erste Schritte mit AI und Ihrem TUXEDO

Künstliche Intelligenz ist längst nicht mehr auf Webanwendungen wie ChatGPT beschränkt – mit ShellGPT können große Sprachmodelle (LLMs) direkt in der Kommandozeile genutzt werden. Standardmäßig greift das Tool auf OpenAI-Modelle zu, unterstützt aber auch lokal gehostete Alternativen. Hier kommt Ollama ins Spiel: Die Plattform ermöglicht den Betrieb leistungsfähiger Modelle wie Llama3.2 oder Mistral direkt auf dem eigenen System. Das bietet nicht nur mehr Kontrolle über die Daten, sondern spart auch Kosten. In diesem Artikel erfahren Sie, wie Sie ShellGPT mit Ollama nutzen und sich die KI-Power direkt in Ihre Shell holen.

Anleitung zur Installation und Einrichtung von ShellGPT und Ollama auf TUXEDO OS

Die Einrichtung von ShellGPT in Kombination mit Ollama auf einem Linux-System ist unkompliziert und ermöglicht die Nutzung lokal gehosteter Sprachmodelle wie Mistral. Im Folgenden wird Schritt für Schritt beschrieben, wie Sie Ollama installieren, konfigurieren und in ShellGPT einbinden können.

Installation von Ollama

Um Ollama zu installieren, öffnen Sie zunächst ein Terminal. Geben Sie dort den folgenden Befehl ein, um die Software herunterzuladen und sämtliche erforderlichen Komponenten einzurichten:

sudo apt install pipx
pipx ensurepath
curl https://ollama.ai/install.sh | sh

Der Installationsprozess erfolgt automatisch und richtet alle notwendigen Komponenten ein, um Ollama auf Ihrem System zu betreiben.

Für optimale Leistung benötigt Ollama eine dedizierte GPU von NVIDIA oder AMD sowie die passenden Treiber. Unter TUXEDO OS werden diese automatisch installiert. Erscheint bei der Installation die Meldung „No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.“, wurde keine kompatible Grafikkarte erkannt, sodass die KI ausschließlich mit der Rechenleistung der CPU arbeitet.

Einrichtung von Ollama

Nach erfolgreichem Abschluss der Installation können Sie ein Sprachmodell einrichten. Für optimale Ergebnisse empfiehlt sich mistral:7b-instruct. Laden Sie dieses Modell mit dem folgenden Befehl aus dem Netz und achten Sie darauf, dass das pull-Kommando mit „success“ abschließt. Andernfalls wurde der Download unterbrochen – wiederholen Sie in diesem Fall den Befehl. Anschließend können Sie mit dem nächsten Kommando überprüfen, ob das Modell erfolgreich installiert wurde.

ollama pull mistral:7b-instruct
...
verifying sha256 digest
writing manifest
success

ollama list
NAME ID SIZE (out)MODIFIED
mistral:7b-instruct f974a74358d6 4.1 GB 6 minutes ago

Mistral ist ein leistungsstarkes Open-Source-KI-Modell, das sich durch hohe Effizienz und Flexibilität auszeichnet. Es benötigt nur geringe Rechenressourcen und lässt sich sowohl in kleinen als auch in großen Anwendungen problemlos einsetzen. Dank seiner Kompatibilität mit gängigen Frameworks ist die Integration unkompliziert, wodurch es für eine Vielzahl von Einsatzzwecken geeignet ist. Ollama ermöglicht zudem die Integration weiterer Large Language Models (LLM), wie zum Beispiel DeepSeek R1, das derzeit viel Aufmerksamkeit erregt. In einem späteren Artikel werden wir uns näher mit DeepSeek befassen.

Der Download des Modells kann abhängig von Ihrer Internetgeschwindigkeit einige Zeit in Anspruch nehmen. Insgesamt müssen mehr als 4 GByte an Daten auf Ihre Festplatte übertragen werden. Sobald das Modell heruntergeladen ist, prüfen Sie mit folgenden Kommando den Status des Ollama-API-Servers.

systemctl status ollama
● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; preset: enabled)
Active: active (running) since Wed 2025-02-05 14:25:11 CET; 1min 31s ago
Main PID: 1174 (ollama)
Tasks: 13 (limit: 37949)
Memory: 50.9M (peak: 61.0M)
CPU: 289ms
CGroup: /system.slice/ollama.service
└─1174 /usr/local/bin/ollama serve

Dieser Server gewährleistet, dass das Modell kontinuierlich auf Ihrem System verfügbar ist und von verschiedenen Anwendungen, insbesondere ShellGPT, genutzt werden kann

Konfiguration von ShellGPT für Ollama

Nachdem Ollama erfolgreich eingerichtet wurde, müssen Sie ShellGPT für die Kommunikation mit dem lokalen Server konfigurieren. Beginnen Sie, indem Sie ShellGPT und die LiteLLM-Erweiterung installieren. Geben Sie dazu den folgenden Befehl ein:

pipx install shell-gpt[litellm]

Um zu prüfen, ob der Ollama-Server ordnungsgemäß funktioniert, können Sie einen einfachen Test durchführen:

sgpt --model ollama/mistral:7b-instruct "Wer bist du?"
Ich bin ShellGPT, Ihr Programmier- und Systemadministrationsassistent für
Linux/TUXEDO OS mit Bash Shell. Ich helfe Ihnen dabei, Ihre Aufgaben
effizienter zu lösen.

Falls Sie ShellGPT zum ersten Mal verwenden, werden Sie nach einem OpenAI-API-Schlüssel gefragt. Geben Sie in diesem Fall eine beliebige Zeichenfolge ein, um diesen Schritt zu überspringen.

Anschließend ist es notwendig, die Konfigurationsdatei von ShellGPT anzupassen. Öffnen Sie dazu die Datei .sgptrc im Verzeichnis ~/.config/shell_gpt mit einem Texteditor Ihrer Wahl:

nano ~/.config/shell_gpt/.sgptrc

Ändern Sie die folgenden Einstellungen:

• Setzen Sie [DEFAULT_MODEL] auf [ollama/mistral:7b-instruct].
• Ändern Sie [OPENAI_USE_FUNCTIONS] auf [false].
• Setzen Sie [USE_LITELLM] auf [true].

Speichern Sie die Datei mit Strg+O und schließen Sie den Editor mit Strg+X.

Nutzung von ShellGPT mit Ollama

Nachdem alles eingerichtet ist, können Sie ShellGPT mit Ollama verwenden. Testen Sie dies mit einer Eingabe wie zum Beispiel:

sgpt "Hallo Ollama"
Hallo! How can I assist you today? If you have a question or task related
to Linux/TUXEDO OS programming or system administration, feel free to ask.
I'm here to help!

ShellGPT sollte nun das lokal gehostete Modell über Ollama ansprechen und Ihnen eine Antwort liefern. Im Folgenden finden Sie eine Reihe von Beispielen.

Beispiel 1: Bestimmte Dateien löschen

Sie möchten bestimmte Dateien rekursiv löschen? Über einen Dateimanager müssten Sie sich über einen grafischen Dateimanager mühsam durch verschiedene Ordner navigieren und händisch nach den entsprechenden Dateien suchen. ShellGPT baut Ihnen das passende Kommando, das Sie nur ausführen müssen.

sgpt "Delete recursively all JPG files in the current folder whose names begin with two numbers."

Sind Sie nur am Kommando interessiert und möchten gerne auf die Erklärung verzichten, dann fügen Sie nach dem Aufruf von ShellGPT den Schalter –shell ein. Dieser reduziert die Ausgabe auf das erzeugte Kommando und fragt ab, ob Sie den Befehl direkt ausführen möchten.

sgpt --shell "Delete recursively all JPG files in the current folder whose names begin with two numbers."

Beispiel 2: Konvertieren mit ImageMagick

Sie möchten alle PNG-Bilder im aktuellen Verzeichnis auf eine einheitliche Breite von 1024 Pixel skalieren und in das platzsparende JPG-Format konvertieren? Sie könnten die Bilder natürlich einzeln in GIMP laden und nach und nach bearbeiten. Oder Sie nutzen ImageMagick auf der Kommandozeile. ShellGPT erstellt Ihnen das passende Kommando.

sgpt "resize all png images in the current folder to a width of 1024 pixels and convert them to jpg."

for img in *.png; do convert "$img" -resize x1024 -quality 80 "$(basename "$img" .png).jpg"; done

Beispiel 3: Reguläre Ausdrücke erstellen

Angenommen, Sie haben einen Text oder eine Liste mit Namen, Anschriften und E-Mail-Adressen vorliegen und möchten daraus alle E-Mail-Adressen extrahieren. Mit dem Befehl grep und einem passenden regulären Ausdruck lässt sich das schnell erledigen – doch das Erstellen solcher Ausdrücke ist oft knifflig. ShellGPT nimmt Ihnen diese Aufgabe ab und liefert das passende Kommando im Handumdrehen.

sgpt "extract all email adresses from the file example.txt"

grep -oP '(\w+([-+.\w]*\w+)*@(\w+([-.]\w*)*\w+\.){1,2}[a-zA-Z]{2,})' example.txt

Beispiel 4: Tägliches Backup per Cron

Die Fähigkeiten von ShellGPT gehen weit über das Erstellen einzelner Kommandos hinaus – es kann auch komplette Skripte für Sie schreiben. Möchten Sie beispielsweise täglich eine Sicherheitskopie eines Verzeichnisses anlegen, erstellt ShellGPT nicht nur das passende Backup-Skript, sondern auch den entsprechenden Eintrag in die Crontabelle Ihres Systems.

sgpt "Write a Bash script that creates a daily backup at 2 AM of /home/user/Documents and saves it in the /home/user/Backups directory."

Beachten Sie, dass ShellGPT nicht vollständig für die Nutzung lokaler Modelle optimiert ist. In bestimmten Anwendungsfällen könnte dies zu unerwarteten Verhaltensweisen führen.