Die meisten Unternehmen leiten 100% ihrer LLM-Anfragen an ihr leistungsstärkstes — und teuerstes — Modell weiter. Der Kostenfall für intelligentes Routing ist überzeugend: dieselbe Ausgabequalität für 15% des Preises.
Das Expresspaket-Problem
Stellen Sie sich ein Logistikunternehmen vor, das jedes Paket — eine Geburtstagskarte, einen Rechtsvertrag, eine zeitkritische Medizinprobe — per Expresskurier versendet. Die Begründung ist nachvollziehbar: Express ist die beste Option, und wir können es uns nicht leisten, dass etwas schiefgeht. Das Ergebnis ist eine Kostenstruktur, die keinerlei Verhältnis zum tatsächlichen Wert des Versandguts hat.
So sieht die LLM-Nutzung der meisten Unternehmen aus. Jede Anfrage — ob komplexe Rechtsanalyse, einfache FAQ-Antwort oder internes Statusupdate — landet beim selben Frontier-Modell. Das Modell bewältigt alle gleich gut. Die Rechnung spiegelt das entsprechend wider.
Die Analogie bricht nur in eine Richtung: Bei Paketen gibt es zumindest einen Grund zur Sorge, was passiert, wenn die Geburtstagskarte per Standardpost geht. Bei LLM-Anfragen braucht die große Mehrheit das leistungsstärkste Modell nicht — und der Unterschied in der Ausgabequalität ist bei sorgfältigem Routing faktisch nicht wahrnehmbar.
Das Preisgefälle ist erheblich
Um zu verstehen, warum Routing wichtig ist, lohnt ein Blick auf die konkreten Zahlen. GPT-4o, ein Frontier-Modell, mit Kosten von 2,50 $ pro Million Eingabe-Token und 10,00 $ pro Million Ausgabe-Token. GPT-4o-mini, das kleinere Mitglied derselben Modellfamilie, mit Kosten von 0,15 $ pro Million Eingabe-Token — ein 16-facher Unterschied.
Das Gefälle wächst, wenn EU-basierte Cloud-Modelle (etwa Mistrals Angebote in EU-Rechenzentren) für allgemeine interne Anfragen berücksichtigt werden, und nähert sich null, wenn On-Premises-Modelle Anfragen bearbeiten, die das Unternehmensnetzwerk nicht verlassen dürfen.
Das sind keine marginalen Unterschiede. Ein Unternehmen, das heute monatlich 5.000 € für LLM-APIs ausgibt — eine realistische Zahl für ein mittelgroßes Unternehmen mit moderatem KI-Einsatz — könnte dieselbe Ausgabe für rund 750 € pro Monat mit geeignetem Routing erzielen. Die monatliche Einsparung von 4.250 € ist kein Qualitätskompromiss, sondern die Korrektur eines Preisungleichgewichts. Die Abschätzung basiert auf der RouteLLM Studie.
Wie Routing funktioniert
Intelligentes Modell-Routing ist ein Klassifizierungsproblem, das gelöst wird, bevor eine Anfrage ein LLM erreicht. Jede eingehende Anfrage wird auf zwei Achsen bewertet: ihrer Komplexität (erfordert sie differenziertes Denken, oder handelt es sich um eine klar umrissene, vorhersehbare Aufgabe?) und ihrer Datensensitivität (enthält sie personenbezogene Daten, vertrauliche Geschäftsinformationen oder Inhalte, die das Unternehmensnetzwerk nicht verlassen dürfen?).
Auf Basis dieser Klassifizierung wird die Anfrage an die entsprechende Stufe weitergeleitet:
| Anfragetyp | Zielmodell | Kosten pro 1M Token | Typischer Anteil |
|---|---|---|---|
| Vertraulich / personenbezogen | Lokales LLM (On-Premises) | 0 € | ~40% |
| Intern / allgemein | EU-Cloud (z.B. Mistral) | 0,30–1,00 € | ~40% |
| Einfach / öffentlich | US-Mini-Modell | 0,10–0,20 € | ~20% |
Die vertrauliche Stufe verdient besondere Aufmerksamkeit. Anfragen mit Kundendaten, persönlichen Identifikatoren oder proprietären Geschäftsinformationen sollten grundsätzlich keine externen Netzwerke durchqueren — unabhängig von den Kosten. Sie an ein On-Premises-Modell zu leiten eliminiert gleichzeitig Kosten (keine API-Gebühren) und das Datentransferrisiko, das DSGVO und EU AI Act beide adressieren. Es ist der seltene Fall, in dem die günstigere Option auch die konformere ist.
Die allgemeine interne Stufe deckt den größten Volumenanteil typischer Enterprise-LLM-Nutzung ab: Dokumente verfassen, interne Anfragen beantworten, Meeting-Protokolle zusammenfassen, Code generieren. Diese Anfragen enthalten keine sensiblen Daten, benötigen aber auch kein Frontier-Modell-Reasoning. EU-basierte Cloud-Modelle zu einem Bruchteil der Kosten liefern dabei eine Ausgabequalität, die für diese Anwendungsfälle funktional nicht zu unterscheiden ist.
Die einfache öffentliche Stufe — Produktbeschreibungen, FAQ-Antworten, Content-Formatierung — ist der Bereich, in dem die günstigsten verfügbaren Modelle völlig angemessen sind. Die Aufgaben sind klar definiert und risikoarm; das einzige Argument für die Weiterleitung an ein Frontier-Modell ist Gewohnheit.
Die Evidenzlage
Das ist keine theoretische Behauptung. RouteLLM, ein Forschungsprojekt der UC Berkeley und LMSYS, das 2024 veröffentlicht wurde, hat empirisch nachgewiesen, dass intelligentes Routing zwischen einem starken und einem schwächeren Modell 85% Kosteneinsparungen erzielen kann, während 95% der Ausgabequalität des Frontier-Modells auf Standardbenchmarks erhalten bleibt. Die zentrale Erkenntnis: Die Mehrheit der Anfragen in echten Enterprise-Workloads liegt nicht an der Leistungsgrenze aktueller Modelle — sie liegt gut im Bereich kleinerer, günstigerer Alternativen.
Die hier genannte Zahl von 85% entspricht einer Routing-Policy, die auf Qualitätserhalt kalibriert ist. Unternehmen, die bei genuinen Einfachaufgaben einen geringen Qualitätskompromiss akzeptieren, können höhere Einsparungen erzielen; solche mit qualitätskritischen Workflows können bei ihren Routing-Schwellenwerten konservativer vorgehen und trotzdem Einsparungen von 60–70% erreichen.
Return on Investment
Die für intelligentes Routing erforderliche Investition ist die Gateway-Schicht, die zwischen den Anwendungen der Organisation und den LLM-APIs sitzt. Dieses Gateway muss eingehende Anfragen klassifizieren, Routing-Entscheidungen durchsetzen und (für die vertrauliche Stufe) die On-Premises-Inferenzinfrastruktur betreiben.
Für ein Unternehmen, das monatlich 5.000 € für LLM-APIs ausgibt, liegt der routing-adjustierte Aufwand bei rund 750 € pro Monat — eine Einsparung von 4.250 € monatlich oder 51.000 € jährlich. Bei typischen Infrastruktur- und Implementierungskosten amortisiert sich die Investition allein durch die Kosteneinsparungen in vier bis acht Wochen — noch bevor Sicherheits- oder Compliance-Vorteile eingerechnet werden.
Das ist eine ungewöhnliche Eigenschaft einer Sicherheitsinfrastruktur-Investition. Die meisten Sicherheitskontrollen sind Kosten — notwendige Kosten, aber Kosten. Ein Routing-Gateway ist eine der wenigen Infrastrukturkomponenten, die eine messbare finanzielle Rendite erzeugt und gleichzeitig das Risikoexposure reduziert.
Die natürliche Verbindung mit Sicherheit
Es gibt einen strukturellen Grund, warum Kosten-Routing und Sicherheitsdurchsetzung in dieselbe Infrastrukturschicht gehören. Beide erfordern ein Gateway, das jede Anfrage sieht, bevor sie das LLM erreicht. Beide erfordern eine Anfragenklassifizierung — Sicherheitsdurchsetzung braucht den Inhalt der Anfrage für die Bedrohungserkennung, Routing braucht ihn für die Modellauswahl. Beide profitieren von einer umfassenden Protokollierung jeder Anfrage und Antwort.
Ein Gateway, das Anfragen für Routing-Zwecke klassifiziert, hat bereits alle Informationen, die für Content-Filterung, PII-Erkennung, Prompt-Injection-Screening und Ausgabe-Bereinigung nötig sind. Die Sicherheitskontrollen fügen keinen separaten Inspektionsschritt hinzu — sie laufen im selben Klassifizierungsdurchlauf, den Routing ohnehin erfordert.
Das bedeutet: Ein Unternehmen, das Routing aus Kostengründen implementiert, erhält Sicherheitsdurchsetzung als strukturelles Nebenprodukt. Und ein Unternehmen, das ein Security-Gateway implementiert, erhält intelligentes Routing als strukturelle Fähigkeit. Die beiden Ziele, die separate Investitionen zu erfordern scheinen, werden in der Praxis von derselben Infrastrukturkomponente bedient.