Lokale KI & Ollama

Kernbotschaft

Ollama ist eine Website und eine App, lädt Sprachmodelle auf den eigenen Rechner herunter und stellt sie lokal bereit — für eigene Anwendungen und andere Programme. Alle Daten bleiben dabei auf der eigenen Hardware.

Was Ollama leistet

Modelle herunterladen

Ein einziger Befehl im Terminal genügt — Ollama lädt das gewählte Sprachmodell herunter und richtet es ein. Kein Konto, kein API-Key nötig.

Modelle bereitstellen

Ollama stellt eine lokale API zur Verfügung — andere Programme auf demselben Rechner oder im Netzwerk können das Modell wie einen Cloud-Dienst ansprechen.

Daten bleiben lokal

Keine Anfrage verlässt den Rechner. Sensible Dokumente und interne Daten lassen sich ohne Datenschutzrisiko verarbeiten.

Drei Gründe für den Einstieg

Kostenlos

Ollama ist Open Source und kostenlos. Die meisten Modelle (Llama, Mistral, Gemma, Phi) sind ebenfalls frei verfügbar — kein Abo, keine Nutzungsgebühr pro Anfrage.

Einfacher Einstieg

Installation über die offizielle Website, ein Terminal-Befehl zum Starten — fertig. Kein Serveraufbau, keine Konfigurationsdatei, keine Programmierkenntnisse nötig.

Läuft offline

Nach dem Download funktioniert das Modell ohne Internetverbindung — kein Ausfall durch Cloud-Störungen, keine Latenz durch externe Server.

Installation in zwei Schritten

Ollama einrichten

Ollama herunterladen und installieren ollama.com aufrufen → passende Version für macOS, Windows oder Linux herunterladen → Installer ausführen. Fertig — Ollama läuft jetzt im Hintergrund.

Modell direkt in der App auswählen In der Ollama-Oberfläche unten rechts auf das Modell-Dropdown klicken → gewünschtes Modell aus der Liste wählen (z. B. gemma4, qwen3.6, mistral) → Ollama lädt es automatisch herunter. Kein Terminal nötig.

Codex lokal betreiben — mit Ollama

Codex mit lokalem Modell betreiben

Codex ist das agentenbasierte CLI-Tool von Anthropic und läuft standardmäßig mit Cloud-Modellen. Über eine einfache Konfiguration lässt sich Codex stattdessen mit einem lokalen Ollama-Modell verbinden — die Verarbeitung findet dann vollständig auf dem eigenen Rechner statt, ohne dass Daten nach außen übertragen werden.

Dafür muss Ollama im Hintergrund laufen und Codex über einen Terminal-Befehl mit dem lokalen Modell gestartet werden. Das Ergebnis: dieselbe Codex-Oberfläche, dieselben Skills — vollständig lokal und ohne Cloud-Abhängigkeit.

Code-Beispiel — Codex App mit Ollama starten

Terminal-Befehle

# Codex App starten — Ollama lädt das Modell und öffnet die Oberfläche
ollama launch codex-app

# Codex App beenden — Modell wird entladen, Speicher freigegeben
ollama launch codex-app --restore

Datenschutz-Vorteil: Alle Anfragen an das lokale Modell bleiben auf dem eigenen Rechner — kein Drittanbieter sieht die Daten. Sensible Informationen lassen sich ohne Cloud-Abhängigkeit verarbeiten. Lokale KI ist damit eine datenschutzkonforme Grundlage für den Einsatz vertraulicher Daten.

Praxis-Demo — Verblenden & Entblenden

Sensible Daten schützen — ohne auf KI zu verzichten

Dokumente mit vertraulichen Informationen lassen sich nicht ohne weiteres in eine Cloud-KI einfügen — der Datenschutz steht dagegen. Mit dem Verblenden-Skill und lokaler KI gibt es einen Ausweg: Die sensiblen Daten werden zuerst lokal anonymisiert, erst dann geht das Dokument in die Cloud.

Ein einziger Skill übernimmt beide Richtungen: Verblenden ersetzt Originaldaten durch neutrale IDs, Entblenden setzt die IDs am Ende wieder durch die Originaldaten zurück.

Wie es funktioniert

Das Prinzip in drei Sätzen

Das Originaldokument wird niemals direkt in eine Cloud-KI gegeben. Stattdessen ersetzt eine lokale KI alle sensiblen Begriffe durch neutrale Platzhalter wie PERSON_01 oder RX_001 — und speichert die Zuordnung in einer Tabelle. Nur das anonymisierte Dokument geht in die Cloud. Am Ende werden die Platzhalter lokal wieder durch die echten Daten ersetzt.

Ablauf — Schritt für Schritt

Originaldokument einlegen

Das Dokument mit echten Daten wird in den Eingangsordner gelegt.

Lokal

Sensible Daten erkennen & Tabelle erstellen

Die lokale KI erkennt Namen, Nummern und andere vertrauliche Begriffe — und legt eine Tabelle an: PERSON_01 = Max Mustermann

Lokal

Verblendetes Dokument erzeugen

Eine Kopie des Originals wird erstellt — alle sensiblen Begriffe sind durch Platzhalter ersetzt. Das Original bleibt unverändert.

→ Cloud

Anonymisiertes Dokument steht für die weitere Verarbeitung zur Verfügung

Bericht schreiben, zusammenfassen, analysieren — mit KI oder manuell. Alle Beteiligten sehen nur Platzhalter, keine echten Daten.

Lokal

Entblenden — Originaldaten zurücksetzen

Die lokale KI liest die Tabelle und ersetzt alle Platzhalter im fertigen Bericht durch die echten Daten. Ergebnis: vollständiges Dokument, nie in der Cloud gewesen.

Lokal — Ollama + Codex

Cloud — beliebige KI

Der Workflow in fünf Schritten

Lokal → Cloud → Lokal

Lokal — Ollama + Codex

Analysieren

KI erkennt sensible Daten im Originaldokument

→

Mapping erstellen

Tabelle: sensible Daten erhalten eindeutige IDs

→

Verblenden

Neues Dokument — Originaldaten durch IDs ersetzt

Cloud — beliebige KI

Weiterverarbeiten

Cloud-KI arbeitet mit dem anonymisierten Dokument — Bericht, Zusammenfassung, Analyse. Keine sensiblen Daten in der Cloud.

Lokal — Ollama + Codex

Entblenden

Lokal: IDs im fertigen Bericht werden anhand der Mapping-Tabelle durch Originaldaten ersetzt — fertig.

Wichtig: Schritt 5 (Entblenden) muss ebenfalls lokal ablaufen — in diesem Schritt werden IDs und Originaldaten wieder zusammengeführt. Das Ergebnis enthält wieder Patientendaten und darf die eigene Hardware nicht verlassen.

Der Verblenden-Skill

Modus: Verblenden

Der Skill analysiert ein Dokument, erstellt eine Mapping-Tabelle (Original → ID) und erzeugt eine anonymisierte Kopie. Alle drei Dateien landen in einem definierten Ordner.

Modus: Entblenden

Der Skill liest die Mapping-Tabelle, sucht im Bericht nach allen IDs und ersetzt sie durch die Originaldaten. Das Ergebnis ist ein vollständiges Dokument mit echten Daten.

Codex mit Ollama starten

Terminal-Befehle

# Codex mit Ollama starten — lokales Modell wird geladen
ollama launch codex-app

# Codex beenden — Modell wird entladen, Speicher freigegeben
ollama launch codex-app --restore

Solange Codex mit Ollama läuft, verarbeitet er alle Anfragen lokal — Cloud-Modelle werden nicht angesprochen. Nach dem Beenden mit --restore kehrt Codex zu seinem Standard-Modell zurück.

Fazit: Schritte 1–3 und Schritt 5 laufen lokal — Originaldaten verlassen den Rechner nie. Nur das anonymisierte Dokument (Schritt 4) geht in die Cloud. So lässt sich die Stärke von Cloud-Modellen nutzen, ohne den Datenschutz zu kompromittieren.

Skill-Prompt — Verblenden & Entblenden

Prompt für Codex

Diesen Prompt in Codex eingeben — der Skill wird damit eingerichtet und ist sofort einsatzbereit.

Erstelle einen Skill mit zwei Modi: Verblenden und Entblenden. Der Skill arbeitet mit einem projektbasierten Ordner-System.

Basis-Ordner:
verblenden-skill/
└── SKILL.md

Jedes Projekt bekommt einen eigenen Unterordner:
verblenden-skill/
└── [Projektname]/
    ├── 01_eingang/
    ├── 02_mapping/
    ├── 03_verblendet/
    └── 04_entblendet/

── START DES SKILLS — IMMER ──

1. Frage: "Verblenden oder Entblenden?"
2. Frage: "Wie heißt das Projekt?"
3. Prüfe ob der Projektordner existiert:
   - Existiert er → weiter mit dem gewählten Modus
   - Existiert er nicht → lege ihn automatisch mit allen vier Unterordnern an,
     bestätige: "Neues Projekt '[Name]' wurde angelegt." → weiter

── MODUS 1: VERBLENDEN ──

Eingabe: Dokument in verblenden-skill/[Projektname]/01_eingang/

Schritt 1 — Analysieren:
Lies das Dokument und erkenne alle datenschutzrelevanten Daten:
Personennamen, Firmennamen, Adressen, Telefonnummern, E-Mail-Adressen,
Vertragsnummern, Kundennummern, Kontonummern, Diagnosen,
Datumsangaben die Personen zugeordnet sind, und ähnliche identifizierbare Informationen.

Schritt 2 — Mapping-Tabelle erstellen:
Erstelle eine CSV-Datei in 02_mapping/ mit dem gleichen Dateinamen wie das Original.
Format:
ID,Original
PERSON_01,Max Mustermann
PERSON_02,Anna Schmidt
ADRESSE_01,Musterstraße 12
NR_001,Vertrag-Nr. 4711

Kategorien: PERSON_, FIRMA_, ADRESSE_, TEL_, EMAIL_, NR_, DATUM_, SONSTIGE_

Schritt 3 — Verblendetes Dokument erstellen:
Erstelle eine Kopie des Originals in 03_verblendet/.
Ersetze alle sensiblen Einträge durch die IDs aus der Mapping-Tabelle.
Das Original in 01_eingang/ bleibt unverändert.

── MODUS 2: ENTBLENDEN ──

Eingabe: Verarbeitetes Dokument in verblenden-skill/[Projektname]/03_verblendet/

Schritt 1 — Mapping-Tabelle laden:
Lade die passende CSV aus 02_mapping/ (gleicher Dateiname).

Schritt 2 — Entblenden:
Ersetze alle IDs im Dokument durch die Originalwerte aus der Mapping-Tabelle.

Schritt 3 — Ergebnis speichern:
Speichere das entblendete Dokument in 04_entblendet/ mit dem gleichen Dateinamen.

── ALLGEMEINE REGELN ──

- .txt und .md direkt bearbeiten. Bei .docx Text extrahieren, verarbeiten, neu speichern.
- Die Mapping-Tabelle wird nach Erstellung nie verändert — nur gelesen.
- Gibt es mehrere Dokumente in 01_eingang/, alle nacheinander verarbeiten.
- Die Mapping-Tabelle bleibt immer lokal — sie verlässt den Rechner nicht.

Anwendungs-Prompts — Verblenden & Entblenden

Verblenden

Dokument in 01_eingang/ ablegen, dann diesen Prompt in Codex eingeben:

Verblende alle Dateien im Ordner

Entblenden

Verarbeitetes Dokument in 03_verblendet/ ablegen, dann diesen Prompt eingeben:

Entblende alle Dateien im Ordner

Lokale KI-Chatbots, die sich mit Ollama verbinden

AnythingLLM

Desktop-App mit einfacher Oberfläche — verbindet sich per Klick mit Ollama. Unterstützt eigene Dokumente als Wissensbasis und lässt sich ohne Programmierkenntnisse einrichten.

Open WebUI

Browser-basierte Oberfläche für Ollama — sieht aus wie ChatGPT, läuft aber vollständig lokal. Gut geeignet für Teams, die eine gemeinsame Oberfläche im Netzwerk betreiben möchten.