Dass eine Modelldatei auf die Festplatte passt, beweist noch keinen problemlosen Betrieb. Ollama dokumentiert einen höheren Speicherbedarf bei längerem Kontext. Entscheidend ist deshalb deine konkrete Aufgabe, nicht allein die Größe der heruntergeladenen Datei.
Eine realistische Aufgabe festlegen
Du möchtest beispielsweise umfangreiche eigene Notizen zusammenfassen. Eine erfolgreiche Antwort auf „Hallo“ prüft diese Aufgabe nicht. Notiere Modellvariante, Anwendungsversion und die vorgesehene Textmenge. Lies vor einem großen Download die Anforderungen des Modellanbieters.
Unterscheide Dateispeicher, während der Arbeit belegten RAM und gegebenenfalls Grafikspeicher. Addiere diese Angaben nicht wie einen beliebig austauschbaren Vorrat. Die technische Anordnung unterscheidet sich zwischen Computern.
Jeweils nur eine Sache ändern
- Beginne mit einer kleinen unkritischen Probe.
- Beobachte die Speicheranzeige des Systems während der Aufgabe.
- Verlängere den Text schrittweise bei unverändertem Modell.
- Notiere Verzögerungen, Fehler und tatsächlich verwendete Einstellungen.
Scheitert eine längere Eingabe, können ein kleineres unterstütztes Modell oder eine kürzere Aufgabe sinnvoller sein als ein sofortiger Hardwarekauf. Die Parameterzahl allein garantiert kein bestimmtes Ergebnis. Bewahre die Originalnotizen außerhalb des Versuchs auf. Prüfe außerdem die sachliche Qualität der Antwort getrennt davon, ob das Modell überhaupt erfolgreich gestartet ist und Text ausgegeben hat.