Zwischen dem «70B» auf einer Modellkarte und der Frage, ob das auf der Karte im eigenen Rechner läuft, liegen ein paar Rechnungen, die niemand im Kopf hat — und Faustregeln, die man sich in Foren zusammensuchen muss.

Deshalb dieser Rechner: Grafikkarte oder Mac auswählen, Genauigkeit wählen, und die Liste zeigt, was in den Speicher passt. Gerechnet wird der Bedarf der Gewichte plus zwanzig Prozent Zuschlag — eine Faustregel, keine Messung. Der Kontext einer langen Unterhaltung kommt obendrauf, und bei Apple ist nur der Anteil eingesetzt, den die Grafikeinheit tatsächlich bekommt.

Modell Hersteller Parameter Mrd. Bedarf GB Elo Lizenz

Eigene Berechnung: Parameterzahl mal Bytes je Gewicht mal 120 Prozent Zuschlag. Q4 rechnet mit einem halben Byte, Q8 mit einem, FP16 mit zwei. Gedeckt sind damit die Gewichte - der Kontext belegt zusätzlich Speicher, und zwar umso mehr, je länger die Unterhaltung wird. Nur Modelle mit offenen Gewichten lassen sich überhaupt selbst betreiben.