Hilfe · Zusätzliche Werkzeuge

KI (lokal): Sprachmodell einrichten und Dokumente prüfen

Das lokale Sprachmodell mit Ollama einrichten und Dokumente von Lieferanten prüfen lassen — alles auf dem eigenen Rechner.

Wozu das dient

Auf der Seite „KI (lokal)“ prüft Packdossier Dokumente Ihrer Lieferanten. Es schätzt ein, ob ein Dokument wie ein Nachweis wirkt. Und es schlägt die passende Komponente vor. KI steht für künstliche Intelligenz.

Es gibt zwei Arten der Prüfung:

  • Die Schnellprüfung arbeitet mit festen Regeln. Sie geht immer, ohne Einrichtung.
  • „Mit KI prüfen“ liest das Dokument zusätzlich mit dem lokalen Sprachmodell. Ein Sprachmodell ist ein Programm, das Texte liest und einordnet. Lokal heißt: Es läuft auf Ihrem Rechner. Dokumente verlassen den Rechner nicht.

Das Sprachmodell ist freiwillig. Packdossier funktioniert auch ohne. Die Lieferantenanfrage nutzt das Sprachmodell nicht.

Voraussetzungen

  • Ollama. Das ist ein kostenloses Programm, das das Sprachmodell auf Ihrem Rechner ausführt. Packdossier bringt es nicht mit. Die Einrichtung führt Sie zur offiziellen Seite.
  • Internet für den Download. Das Modell wird einmal heruntergeladen: etwa 0,8 GB oder 3,3 GB. GB steht für Gigabyte, eine Größenangabe für Dateien.
  • Genug Arbeitsspeicher. Arbeitsspeicher ist der Speicher, mit dem laufende Programme arbeiten. Packdossier zeigt ihn bei der Einrichtung an und schlägt das passende Modell vor.
  • Packdossier ist nicht im Lesemodus („Nur Ansehen“). Im Lesemodus lässt sich nur ansehen, nichts ändern, etwa wegen der Lizenz. Dann ist die Einrichtung gesperrt.

Schritt für Schritt

Die Seite öffnen

  1. Klicken Sie in der Seitenleiste auf KI (lokal). Der Eintrag steht in der Gruppe „Werkzeuge“.
  2. Oben sehen Sie die Karte „Dokumentanalyse“. Darunter steht die Karte „Verbindung“.
  3. Lesen Sie in der Karte „Verbindung“ den „Stand“. Packdossier prüft ihn beim Öffnen selbst. Kurz steht dort „Verbindung wird geprüft …“.
    • Aus: Das Sprachmodell ist ausgeschaltet.
    • Nicht eingerichtet: Es fehlt noch etwas. Darunter steht, was.
    • Bereit: Ollama läuft, und das Modell ist geladen.

Das Fenster für die Einrichtung öffnen

  1. Klicken Sie in der Karte „Verbindung“ auf „Sprachmodell einrichten“.
  2. Es öffnet sich das Fenster „Lokales Sprachmodell einrichten“. Oben sehen Sie vier Schritte: „Ollama prüfen“, „Modell wählen“, „Laden“ und „Fertig“.

Einrichtung, Schritt „Ollama prüfen“

  1. Warten Sie kurz. Packdossier sucht Ollama auf Ihrem Rechner. Ist Ollama installiert, aber nicht gestartet, startet Packdossier es selbst.
  2. Steht dort „Ollama läuft auf diesem Gerät“, klicken Sie auf „Weiter“. Weiter geht es im nächsten Abschnitt.
  3. Steht dort „Ollama ist auf diesem Gerät nicht erreichbar“, klicken Sie auf „Ollama-Seite öffnen“. Die offizielle Seite von Ollama öffnet sich im Browser.
  4. Installieren Sie Ollama und starten Sie es. Auf dem Mac öffnen Sie danach einmal das Programm „Ollama“.
  5. Klicken Sie im Fenster auf „Erneut prüfen“.
  6. Klicken Sie auf „Weiter“.

Einrichtung, Schritt „Modell wählen“

  1. Lesen Sie, wie viel Arbeitsspeicher Ihr Rechner hat. Packdossier zeigt es oben an. Darunter stehen zwei Modelle:
    • „Klein und schnell“: für Rechner unter 8 GB Arbeitsspeicher. Download etwa 0,8 GB. Antwortet rasch, erkennt aber weniger.
    • „Standard“: ab 8 GB Arbeitsspeicher. Download etwa 3,3 GB. Ein guter Startpunkt für die Dokumentanalyse.
  2. Wählen Sie ein Modell. Das passende trägt das Zeichen „Empfohlen für dieses Gerät“.
  3. Klicken Sie auf „Modell laden“. Steht beim Modell „Bereits geladen“, heißt der Knopf „Modell verwenden“.

Einrichtung, Schritt „Laden“

  1. Warten Sie. Ollama lädt das Modell herunter. Sie sehen den Fortschritt, zum Beispiel „1,2 von 3,3 GB“.
  2. Danach prüft Packdossier den Download. Zum Schluss macht es einen Probelauf. Das ist eine kurze Testfrage an das Modell.

Während des Downloads können Sie das Fenster schließen. Der Download läuft weiter. Öffnen Sie „Sprachmodell einrichten“ später wieder, sehen Sie den Fortschritt.

Mit „Download abbrechen“ halten Sie den Download an. Was schon geladen ist, bleibt erhalten. Mit „Erneut versuchen“ setzt Ollama dort fort.

Einrichtung, Schritt „Fertig“

  1. Lesen Sie die Meldung „Das lokale Sprachmodell ist eingerichtet“. Packdossier hat Modell und Adresse selbst eingetragen.
  2. Klicken Sie auf „Fertig“. Der Stand in der Karte „Verbindung“ zeigt jetzt „Bereit“.

Ein Dokument prüfen

  1. Klicken Sie in der Karte „Dokumentanalyse“ auf „Datei prüfen“. Das ist die Schnellprüfung. Oder klicken Sie auf „Mit KI prüfen“.
  2. Wählen Sie die Datei aus. Möglich sind PDF- und Textdateien.
  3. Es erscheint die Karte „Prüfung“ mit dem Stand „Läuft“. Mit dem Sprachmodell kann das eine Weile dauern.
  4. Ist die Prüfung fertig, erscheint die Karte „Ergebnis“. Oben steht die Einschätzung: „Plausibel“, „Unklar“ oder „Unplausibel“. Darunter stehen die Gründe und die vorgeschlagene Komponente.
  5. Passt das Dokument? Dann klicken Sie auf „In Nachweise übernehmen“. Packdossier öffnet Nachweise & Lieferanten › Reiter „Offen“. Dort öffnet sich das Fenster „Antwort übernehmen“ mit dieser Datei.
  6. Prüfen Sie dort die Angaben und übernehmen Sie sie.

Die Prüfung allein speichert nichts. Erst „Antwort übernehmen“ legt den Nachweis ab.

„Mit KI prüfen“ fragt das Sprachmodell nur bei unklaren Fällen. Ist die Schnellprüfung schon eindeutig, bleibt es bei diesem Ergebnis. Das steht dann unter „Hinweis des Sprachmodells“.

Einstellungen von Hand

Normalerweise brauchen Sie das nicht. Die Einrichtung trägt alles selbst ein.

  1. Klappen Sie in der Karte „Verbindung“ „Einstellungen“ auf.
  2. Dort finden Sie:
    • „Lokales Sprachmodell verwenden“: schaltet das Sprachmodell ein oder aus.
    • „Modell“: der Name des Modells, wie Ollama ihn kennt.
    • „Adresse des Runners“: wo Ollama erreichbar ist. Ein Runner ist das Programm, das das Modell ausführt. Voreingestellt ist http://127.0.0.1:11434, also Ihr eigener Rechner.
    • „Temperatur“: wie frei das Modell antwortet, von 0 bis 2. 0 heißt sachlich und gleichbleibend. Für Nachweise ist 0,2 sinnvoll.
    • „Wartezeit in Sekunden“: so lange wartet Packdossier auf eine Antwort, zwischen 5 und 600 Sekunden. Die Einrichtung trägt mindestens 90 Sekunden (kleines Modell) oder 180 Sekunden (Standard) ein.
  3. Klicken Sie auf „Einstellungen speichern“.

Mit „Verbindung testen“ prüfen Sie jederzeit, ob Ollama erreichbar ist. Packdossier nennt dann die geladenen Modelle.

Die Einstellungen gelten nur für diesen Rechner. Arbeiten Sie zu mehreren über die Übergabe? Dann richtet jeder Rechner sein Sprachmodell selbst ein.

Wenn es nicht klappt

  • „Weiter“ ist im ersten Schritt grau. Ollama ist nicht erreichbar. Installieren und starten Sie es. Klicken Sie dann auf „Erneut prüfen“.
  • „In den Einstellungen steht eine Adresse auf einem anderen Gerät.“ Packdossier richtet Ollama immer auf diesem Rechner ein. Das ist kein Fehler.
  • „Der Download stockt seit 90 Sekunden.“ Prüfen Sie die Internetverbindung. Klicken Sie dann auf „Erneut versuchen“.
  • „Die Verbindung zu Ollama ist abgerissen.“ Prüfen Sie, ob Ollama noch läuft. Klicken Sie dann auf „Erneut versuchen“.
  • „Für dieses Modell reicht der freie Arbeitsspeicher nicht.“ Wählen Sie das kleinere Modell. Oder schließen Sie andere Programme.
  • Der Stand bleibt „Nicht eingerichtet“. Darunter steht der Grund. Ein Beispiel: „Ollama ist erreichbar, aber das Modell … ist nicht geladen.“ Klicken Sie auf „Sprachmodell einrichten“.
  • „Mit KI prüfen“ ist grau. Das Sprachmodell ist noch nicht eingerichtet. Richten Sie es wie oben beschrieben ein.
  • Im Ergebnis steht „Schnellprüfung statt KI“. Das Sprachmodell hat keine brauchbare Antwort geliefert. Packdossier zeigt das Ergebnis der Schnellprüfung. Unter „Hinweis des Sprachmodells“ steht der Grund.
  • „Das lokale Sprachmodell hat nach … Sekunden nicht geantwortet.“ Wählen Sie ein kleineres Modell. Oder erhöhen Sie die Wartezeit in den Einstellungen.

Zurück zur Übersicht