Dass eine Modelldatei auf die Festplatte passt, beweist noch keinen problemlosen Betrieb. Ollama dokumentiert einen höheren Speicherbedarf bei längerem Kontext. Entscheidend ist deshalb Ihre konkrete Aufgabe, nicht allein die Größe der heruntergeladenen Datei.
Eine realistische Aufgabe festlegen
Sie möchten beispielsweise umfangreiche eigene Notizen zusammenfassen. Eine erfolgreiche Antwort auf „Hallo“ prüft diese Aufgabe nicht. Notieren Sie Modellvariante, Anwendungsversion und die vorgesehene Textmenge. Lesen Sie vor einem großen Download die Anforderungen des Modellanbieters.
Unterscheiden Sie Dateispeicher, während der Arbeit belegten RAM und gegebenenfalls Grafikspeicher. Addieren Sie diese Angaben nicht wie einen beliebig austauschbaren Vorrat. Die technische Anordnung unterscheidet sich zwischen Computern.
Jeweils nur eine Sache ändern
- Beginnen Sie mit einer kleinen unkritischen Probe.
- Beobachten Sie die Speicheranzeige des Systems während der Aufgabe.
- Verlängern Sie den Text schrittweise bei unverändertem Modell.
- Notieren Sie Verzögerungen, Fehler und tatsächlich verwendete Einstellungen.
Scheitert eine längere Eingabe, können ein kleineres unterstütztes Modell oder eine kürzere Aufgabe sinnvoller sein als ein sofortiger Hardwarekauf. Die Parameterzahl allein garantiert kein bestimmtes Ergebnis. Bewahren Sie die Originalnotizen außerhalb des Versuchs auf. Prüfen Sie außerdem die sachliche Qualität der Antwort getrennt davon, ob das Modell überhaupt erfolgreich gestartet ist und Text ausgegeben hat.