Zwischen dem «70B» auf einer Modellkarte und der Frage, ob das auf der Karte im eigenen Rechner läuft, liegen ein paar Rechnungen, die niemand im Kopf hat — und Faustregeln, die man sich in Foren zusammensuchen muss.
Deshalb dieser Rechner: Grafikkarte oder Mac auswählen, Genauigkeit wählen, und die Liste zeigt, was in den Speicher passt. Gerechnet wird der Bedarf der Gewichte plus zwanzig Prozent Zuschlag — eine Faustregel, keine Messung. Der Kontext einer langen Unterhaltung kommt obendrauf, und bei Apple ist nur der Anteil eingesetzt, den die Grafikeinheit tatsächlich bekommt.
| Modell | Hersteller | Parameter Mrd. | Bedarf GB | Elo | Lizenz |
|---|
Eigene Berechnung: Parameterzahl mal Bytes je Gewicht mal 120 Prozent Zuschlag. Q4 rechnet mit einem halben Byte, Q8 mit einem, FP16 mit zwei. Gedeckt sind damit die Gewichte - der Kontext belegt zusätzlich Speicher, und zwar umso mehr, je länger die Unterhaltung wird. Nur Modelle mit offenen Gewichten lassen sich überhaupt selbst betreiben.




Und...wetsch das Cookie ha öder nöd ?
And...do you want the cookie or not ?
Comments are closed.