Das hier ist ein vollständig KI generierter Artikel.

Das KI-Labor PrismML sorgt mit einem ungewöhnlichen Ansatz für Aufmerksamkeit: Leistungsfähige, logisch schlussfolgernde Sprachmodelle (LLMs) müssen nach Ansicht des Start-ups nicht riesig sein. Mit seiner Bonsai-Modellfamilie komprimiert PrismML grosse Open-Source-Modelle so stark, dass sie auf PCs und perspektivisch sogar auf Smartphones lokal laufen können – bei nahezu unveränderter Benchmark-Leistung.

Was PrismML technisch besonders macht

PrismML wurde von Forschenden des Caltech gegründet und wird von Babak Hassibi geleitet, einem Experten für Kompressionstechnologien. Als Berater ist unter anderem Ion Stoica an Bord, Mitgründer von Databricks und Leiter des Sky Computing Lab in Berkeley. Finanziell ist das Unternehmen bislang vergleichsweise schlank aufgestellt: Eine Seed-Runde über 22,25 Millionen US-Dollar bildet die Basis.

Am Donnerstag hat PrismML Bonsai 2 27B vorgestellt. Dieses Modell basiert auf Qwen3.8 27B von Alibaba, einem weit verbreiteten Open-Source-LLM. Durch die Kompression schrumpft das Modell auf 5,9 GB – ein Faktor 9 bis 10 weniger Speicherbedarf als das Original. Damit wird es realistisch, ein solches Modell auf einem Desktop-PC und möglicherweise sogar auf einem High-End-Smartphone zu betreiben.

Bereits der erste Bonsai-Release im März hatte für Aufmerksamkeit gesorgt und wurde laut PrismML über 11 Millionen Mal heruntergeladen; weitere, noch kleinere Modelle kamen auf zusätzliche 2,6 Millionen Downloads. Mit Bonsai 2 konnte die Kompressionsqualität weiter verbessert werden.

Ternäre Gewichte: +1, −1 oder 0

Der Kern der Technik liegt in der Art, wie PrismML die Gewichte der Modelle darstellt. Gewichte sind die während des Trainings gelernten Parameter, die das Verhalten eines LLM bestimmen. Üblicherweise werden sie mit 16 Bit pro Gewicht gespeichert. PrismML setzt stattdessen auf sogenannte ternäre Gewichte: Jedes Gewicht nimmt nur noch einen von drei Werten an, nämlich +1, −1 oder 0.

Durch diese starke Reduktion der möglichen Werte sinkt der Speicherbedarf drastisch. Laut PrismML erreicht Bonsai 2 dennoch 98 % der aggregierten Benchmark-Punktzahl des ursprünglichen Qwen-Modells. Der erste Bonsai lag noch bei 95 %. Vollständige Parität von 100 % ist nach Einschätzung von Hassibi zwar theoretisch schwer zu erreichen, aber in der Praxis auch nicht zwingend nötig: Benchmarks bilden reale Aufgaben nur begrenzt ab, und LLMs sind bereits im unkomprimierten Zustand nicht perfekt.

Hinzu kommt, dass die umgebende Software – also das Inferenz-Framework, Caching-Strategien und weitere Optimierungen – einen erheblichen Einfluss auf die wahrgenommene Qualität hat. Eine leichte Verschlechterung in synthetischen Benchmarks muss sich daher nicht direkt in der Nutzung bemerkbar machen.

Skalierung auf noch grössere Modelle

PrismML plant, seine Kompressionstechnik auf deutlich grössere Modelle auszuweiten. In den kommenden Monaten sollen Varianten mit mehreren hundert Milliarden Parametern folgen. Hassibi geht davon aus, dass sich bei grösseren Modellen die „Intelligenz“ leichter erhalten lässt, weil mehr Spielraum für Kompression ohne gravierende Qualitätsverluste besteht.

Als generelle Tendenz sieht er: Je grösser das Ausgangsmodell, desto einfacher wird es, sich der 100-%-Marke bei der Benchmark-Parität anzunähern. Die bisherigen Ergebnisse mit Bonsai 1 und Bonsai 2 stützen diese Einschätzung zumindest teilweise.

Lokale Intelligenz statt Cloud-Abhängigkeit

Ion Stoica betont vor allem die Auswirkungen auf die Nutzung von KI im Alltag. Wenn leistungsfähige Modelle lokal auf Geräten laufen, die Nutzerinnen und Nutzer bereits besitzen, ergeben sich mehrere Vorteile: Die Nutzung kann kostengünstig oder sogar kostenlos sein, weil keine laufenden Cloud-Kosten anfallen. Gleichzeitig bleiben Daten auf dem eigenen Gerät, was die Privatsphäre stärkt und die Abhängigkeit von externen Diensten reduziert.

Für Unternehmen und Entwicklerinnen eröffnet dies neue Szenarien: KI-Assistenten, die vollständig offline arbeiten, Anwendungen mit sensiblen Daten ohne Cloud-Anbindung oder hybride Ansätze, bei denen lokale Modelle und Cloud-Modelle je nach Aufgabe kombiniert werden.

Einordnung im wachsenden Kompressions-Ökosystem

PrismML ist nicht allein mit dem Ziel unterwegs, LLMs radikal zu verkleinern. Auch andere Firmen wie Multiverse Computing arbeiten an Kompressionstechnologien und haben teils deutlich grössere Finanzierungsrunden abgeschlossen. Der Ansatz von PrismML sticht jedoch durch die starke Reduktion der Gewichte und die bislang erreichte Benchmark-Nähe hervor.

Ob sich ternäre Gewichte als neuer Standard etablieren oder nur eine von mehreren Spezialtechniken bleiben, hängt von weiteren praktischen Tests, der Unterstützung durch Frameworks und der Akzeptanz in der Entwickler-Community ab. Die Downloadzahlen der bisherigen Bonsai-Modelle deuten zumindest auf ein grosses Interesse hin.

Fazit: Kleine Modelle, grosse Ambitionen

Mit Bonsai 2 zeigt PrismML, wie weit sich grosse Sprachmodelle komprimieren lassen, ohne ihre Leistungsfähigkeit massiv einzubüssen. Die Kombination aus starker Speicherreduktion, hoher Benchmark-Nähe und der Perspektive, anspruchsvolle LLMs lokal auf Endgeräten zu betreiben, könnte die Art und Weise verändern, wie wir KI nutzen.

Ob PrismML damit einen neuen Standard für „kleine, schlaue“ Modelle setzt oder vor allem den Druck auf andere Anbieter erhöht, effizientere Architekturen zu entwickeln, wird sich in den nächsten Modellgenerationen zeigen. Klar ist: Die Frage nach der Grösse eines LLMs wird zunehmend von der Frage nach seiner Effizienz und Einsetzbarkeit auf realer Hardware abgelöst.

Hinweis: Dieser Beitrag wurde als KI-Schattenartikel automatisiert erstellt und redaktionell nicht im Detail geprüft.

Quelle: https://techcrunch.com/2026/09/17/prismml-hopes-its-tiny-llm-could-change-how-we-all-use-ai/