LLM-Kosten senken: 11 bewährte Strategien für KI-Anwendungen

Inhalt

LLM-Kosten senken Sie auf zwei Wegen: Sie schicken pro Anfrage weniger Tokens, und Sie nutzen das kleinste Modell, das die Aufgabe gut erledigt. Dieser Leitfaden zeigt 11 Strategien, die eines davon oder beides erreichen, von der Prompt-Optimierung und Caching über Quantisierung und Distillation bis zu RAG und Gesprächszusammenfassungen. Wenn Sie nur eine davon umsetzen, nehmen Sie Caching. Es spart am meisten Geld und ist recht einfach einzurichten.

LLMs wie GPT und Claude sind für viele Unternehmen und Privatpersonen alltägliche Werkzeuge geworden, und die Kosten summieren sich schnell. Mit den folgenden Strategien sparen Sie Geld, ohne bei Leistung oder Effizienz Abstriche zu machen.

Wie LLM-Kosten entstehen

Bevor wir zu den Strategien kommen, lohnt ein Blick darauf, was den Betrieb und die Nutzung von Large Language Models eigentlich teuer macht. LLMs brauchen für Training und Betrieb viel Rechenleistung. Die wichtigsten Kostentreiber sind die Größe des Modells, die Zahl der Anfragen und der Rechenaufwand pro Anfrage.

Die meisten LLM-Anbieter rechnen nach verarbeiteten Tokens ab. Ein Token kann ein Wort sein, ein Wortteil oder sogar ein einzelnes Zeichen. Je mehr Tokens Ihre Anfragen enthalten, desto mehr zahlen Sie. Manche Anbieter haben außerdem Mengenstaffeln mit günstigeren Preisen pro Token bei höherem Verbrauch. Bei selbst gehosteten Open-Source-Modellen ist es ähnlich: Je größer das Modell und je mehr Tokens Sie anfragen, desto teurer wird es.

Die Wahl des Modells wirkt sich stark auf die Kosten aus. Qwen3, eine der bekanntesten offenen Modellfamilien, gibt es zum Beispiel in Größen vom kompakten "0.6B"-Modell bis zum großen "235B"-Modell. Größere Modelle antworten meist genauer und differenzierter, dafür kostet jede Anfrage mehr.

Genau an diesen Faktoren (Modellgröße, Zahl der Anfragen, Rechenaufwand pro Anfrage) setzen die folgenden Strategien an:

1. Prompts optimieren
2. Kleinere, spezialisierte Modelle nutzen
3. Antworten cachen
4. Anfragen bündeln (Batching)
5. Prompts komprimieren
6. Das Modell quantisieren
7. Das Modell feintunen
8. Early Stopping einbauen
9. Model Distillation nutzen
10. RAG statt alles an das LLM schicken
11. Gespräche zusammenfassen

1. Prompts optimieren

Prompts zu optimieren ist einer der einfachsten Wege, LLM-Kosten zu sparen. Jede Anfrage wird nach der Zahl der verarbeiteten Tokens abgerechnet, und Tokens sind die Bausteine des Textes: Wörter, Satzzeichen und sogar Leerzeichen. Je mehr Tokens Ihr Prompt enthält, desto mehr zahlen Sie.

Ein guter Prompt ist knapp und konkret. Statt dem LLM eine Textwand vorzusetzen und auf das Beste zu hoffen, schreiben Sie einen klaren, fokussierten Prompt. Streichen Sie überflüssige Wörter und Floskeln und kommen Sie direkt zur Sache.

Angenommen, das LLM soll eine Produktbeschreibung für ein neues Smartphone schreiben. Statt eines Prompts wie:

"Bitte schreibe eine Produktbeschreibung für unser neuestes Smartphone-Modell. Sie sollte die wichtigsten Funktionen und technischen Daten erwähnen, etwa Bildschirmgröße, Kameraauflösung, Akkulaufzeit und Speicherkapazität. Versuche, sie ansprechend und überzeugend zu gestalten."

können Sie schicken:

"Erstelle eine überzeugende Produktbeschreibung für ein Smartphone mit 6,5-Zoll-Display, 48-MP-Kamera, 5000-mAh-Akku und 128 GB Speicher."

Der optimierte Prompt ist viel kürzer und enthält trotzdem alles, was das LLM für eine passende Produktbeschreibung braucht.

Knapp heißt allerdings nicht unklar. Ihre Prompts müssen weiterhin gut verständlich sein und dem LLM genug Kontext geben. Vage oder mehrdeutige Prompts führen zu unpassenden oder schwachen Antworten, und dann ist nichts gewonnen.

Vermeiden Sie außerdem übermäßig komplizierte oder technische Formulierungen, sofern Ihr Anwendungsfall sie nicht verlangt. LLMs wurden mit einer großen Bandbreite an Texten trainiert und kommen mit Alltagssprache und gängigen Fachbegriffen am besten zurecht.

Bei der Prompt-Optimierung geht es also um das Gleichgewicht zwischen Kürze und Klarheit. Knappe, konkrete Prompts senken die Zahl der Tokens pro Anfrage, und das macht sich mit der Zeit in den Kosten bemerkbar. Nehmen Sie sich die Zeit, Ihre Prompts durchzugehen und zu verbessern. Ihr Budget wird es Ihnen danken.

Sobald Sie mehr als eine Handvoll Prompts haben, wird das Nachbessern von Hand mühsam. DSPy optimiert Prompts automatisch (auf Englisch) anhand einer Metrik und einer Reihe von Beispielen. Damit lässt sich eine Pipeline später auch leichter auf ein kleineres, günstigeres Modell umstellen.

2. Kleinere, spezialisierte Modelle nutzen

Der Hype um die größten und leistungsfähigsten LLMs ist verlockend. Diese großen Allzweckmodelle haben aber ihren Preis. Wer ernsthaft sparen will, setzt auf kleinere Modelle, die auf eine bestimmte Aufgabe zugeschnitten sind.

Die größten GPT- oder Claude-Modelle können sehr viele verschiedene Aufgaben übernehmen. Brauchen Sie diese ganze Leistung für Ihren Anwendungsfall wirklich? Wahrscheinlich nicht. Ein kleineres, spezialisiertes Modell erledigt die Aufgabe oft genauso gut, zu einem Bruchteil der Kosten.

Überlegen Sie, welche Aufgaben Ihr LLM tatsächlich erledigt. Sentiment-Analyse? Named Entity Recognition? Textzusammenfassung? Gut möglich, dass es ein kleineres Modell gibt, das genau dafür feingetunt wurde. In ihrem Spezialgebiet liefern solche Modelle oft bessere Ergebnisse als ihre großen, allgemeinen Gegenstücke.

Kleinere Modelle sind außerdem schneller und brauchen weniger Rechenleistung. Bevor Sie also voll auf das größte verfügbare LLM setzen, prüfen Sie, ob ein kleineres, spezialisiertes Modell die bessere Wahl ist. Brauchen unterschiedliche Anfragen unterschiedlich große Modelle, schickt LLM-Routing jede Anfrage an das günstigste Modell, das sie bewältigen kann.

3. Antworten cachen

Ein Cache speichert häufig abgefragte Daten, damit sie beim nächsten Mal schnell ausgeliefert werden können. Bei Onlinediensten heißt das meist, dass beliebte Inhalte bereitliegen. Das verkürzt Abruf- und Antwortzeiten und entlastet die Server im Hintergrund. In einer LLM-Anwendung bedeutet ein Cache-Treffer, dass Sie für den LLM-Aufruf gar nichts bezahlen.

Klassische Caches brauchen eine exakte Übereinstimmung zwischen neuer und gespeicherter Anfrage. Bei LLMs funktioniert das selten, weil Nutzer ihre Anfragen sehr unterschiedlich formulieren und exakte Wiederholungen unwahrscheinlich sind. Hier kommt semantisches Caching ins Spiel.

Semantisches Caching erkennt und speichert ähnliche oder verwandte Anfragen, statt sich auf exakte Treffer zu verlassen. So steigt die Chance auf einen Cache-Treffer, auch wenn die Anfragen nicht identisch sind. Werkzeuge wie GPTCache setzen semantisches Caching für LLMs um: Sie wandeln Anfragen in Embeddings um und suchen in einem Vektorspeicher nach ähnlichen Einträgen (ähnlich wie Retrieval Augmented Generation funktioniert, auf Englisch).

Kommt eine neue Anfrage herein, wandelt GPTCache sie in ein Embedding um und sucht im Vektorspeicher nach ähnlichen Embeddings. Findet sich eine ähnliche Anfrage im Cache, liefert GPTCache die gespeicherte Antwort zurück, ohne die ganze LLM-Pipeline zu durchlaufen. Das spart Rechenkosten, und der Nutzer bekommt schneller eine Antwort.

Kein Cache ist perfekt, auch ein semantischer nicht. Es kann falsch-positive Treffer geben (Treffer, die keine hätten sein dürfen) und falsch-negative (verpasste Treffer, die eigentlich welche gewesen wären). GPTCache liefert Kennzahlen wie Trefferquote, Latenz und Recall, mit denen Sie messen können, wie gut Ihr Cache arbeitet, und ihn nachjustieren.

Inzwischen cachen auch die Anbieter selbst. OpenAI nutzt Prompt Caching automatisch, bei Anthropic ist es eine Funktion, die Sie aktivieren. In beiden Fällen wird ein wiederholter Prompt-Anfang (zum Beispiel ein langer System-Prompt) zu einem reduzierten Preis für gecachte Eingaben abgerechnet. Stellen Sie die gleichbleibenden Teile Ihres Prompts an den Anfang, damit Sie davon profitieren.

Wenn Sie nur einen dieser Tipps umsetzen, dann diesen. Caching spart am meisten Geld und ist recht einfach einzubauen.

4. Anfragen bündeln (Batching)

Anfragen zu bündeln ist ein guter Weg, die LLM-Nutzung zu optimieren, vor allem bei selbst gehosteten Modellen. Statt jede Anfrage einzeln an die LLM-API zu schicken, fassen Sie mehrere Anfragen zusammen und senden sie als einen Batch. Das bringt zwei Vorteile.

Erstens kann Batching Ihre Anwendung deutlich beschleunigen. LLMs verarbeiten Texte im Batch meist schneller, weil sie die Berechnung parallelisieren und die Hardware besser auslasten können. Sie bekommen die Ergebnisse früher zurück, und die Anwendung fühlt sich flotter an.

Zweitens spart Batching Geld, besonders wenn Sie das Modell selbst hosten. Jeder einzelne API-Aufruf bringt etwas Overhead mit. Batching verringert diesen Overhead und nutzt Ihre Rechenressourcen effizienter, was sich mit der Zeit spürbar summiert.

Nutzen Sie ein LLM bei einem Anbieter wie OpenAI oder Anthropic, ändert das Bündeln auf Ihrer Seite nichts am Preis pro Token. Beide Anbieter haben aber eigene Batch-APIs: Sie reichen eine Datei mit Anfragen ein, bekommen die Ergebnisse innerhalb von 24 Stunden und zahlen 50 % weniger (OpenAI Batch API, Anthropic Message Batches API). Für alles, was keine sofortige Antwort braucht, etwa nächtliche Klassifizierungs- oder Evaluierungsläufe, halbiert das die Rechnung.

Batching ist recht einfach umzusetzen. Die meisten LLM-APIs nehmen mehrere Eingabetexte in einer Anfrage entgegen. Sie müssen also nur eine Reihe von Texten sammeln, bevor Sie sie abschicken. Probieren Sie verschiedene Batch-Größen aus, um für Ihren Anwendungsfall die richtige Balance zwischen Durchsatz und Latenz zu finden.

Fürs Self-Hosting ist vLLM ein hervorragender Inferenzserver, der Batching von Haus aus unterstützt.

5. Prompts komprimieren

LLMLingua, ein Werkzeug von Microsoft Research, kürzt Prompts in natürlicher Sprache, ohne dass ihr Sinn verloren geht. LLMLingua nutzt ein kompaktes, gut trainiertes Sprachmodell wie GPT2-small oder LLaMA-7B, um unwichtige Tokens im Prompt zu erkennen und zu entfernen. Der Nachfolger LLMLingua-2 ersetzt dieses kleine Sprachmodell durch einen Encoder in BERT-Größe (zum Beispiel XLM-RoBERTa-large), der mit Kompressionsbeispielen von GPT-4 trainiert wurde. Das große Sprachmodell arbeitet dann mit dem gekürzten Prompt. Das spart Kosten, ohne die Leistung zu beeinträchtigen.

LLMLingua erreicht eine Kompression um bis zu Faktor 20, bei minimalen Einbußen in der Qualität der Antworten. Ihr LLM bekommt weiterhin die wesentlichen Informationen und den Kontext, den es für genaue, passende Antworten braucht.

Stellen Sie sich einen langen Prompt mit Hintergrundinformationen, Beispielen und genauen Anweisungen vor. Diese Details liefern Kontext, kosten aber auch Tokens und damit Geld. LLMLingua analysiert den Prompt, entfernt das Unwesentliche und behält Kernaussage und Absicht bei. Heraus kommt ein komprimierter Prompt, dessen Verarbeitung weniger kostet.

Mit LLMLingua in Ihrem LLM-Workflow sinkt die Zahl der Tokens pro Anfrage, und damit sinken die Kosten und die Inferenz wird schneller. Als hätten Sie einen Assistenten, der Ihre Prompts im Hintergrund optimiert.

6. Das Modell quantisieren

Quantisierung verkleinert Ihr LLM, ohne allzu viel Leistung zu opfern. Dabei wird die Genauigkeit der Modellgewichte reduziert, sodass jedes Gewicht mit weniger Bits gespeichert wird. Das bedeutet weniger Speicherbedarf und schnellere Inferenz, also niedrigere Kosten.

Es gibt verschiedene Quantisierungsverfahren. Verbreitet ist die Post-Training-Quantisierung: Sie nehmen ein fertig trainiertes Modell und quantisieren seine Gewichte. Das ist vergleichsweise einfach und erfordert kein erneutes Training. Die Alternative ist Quantization-Aware Training, bei dem die Quantisierung schon Teil des Trainings ist. Das Modell passt sich dabei an die geringere Genauigkeit an, was zu besserer Leistung führen kann. (Wie weit sich das treiben lässt, zeigt unser Beitrag über BitNet, auf Englisch.)

Beim Quantisieren müssen Sie Modellgröße und Leistung gegeneinander abwägen. Quantisieren Sie zu aggressiv, kann die Genauigkeit deutlich sinken. Probieren Sie verschiedene Quantisierungsstufen aus und messen Sie die Auswirkungen auf Ihren Anwendungsfall. In vielen Fällen sparen Sie erheblich bei nur minimalem Qualitätsverlust.

Quantisierung betrifft vor allem selbst gehostete Modelle. Anbieter geschlossener Modelle wie OpenAI und Anthropic bieten keine quantisierten Versionen ihrer Modelle an. Bei Anbietern offener Modelle ist das anders: Together AI etwa nennt bei jedem Modell die Quantisierung (zum Beispiel FP8), und bei OpenRouter können Sie Anbieter nach Quantisierung filtern.

7. Das Modell feintunen

Fertige LLMs decken sehr viele Aufgaben ab, sind für Ihren Anwendungsfall aber nicht immer die effizienteste oder günstigste Lösung. Dafür gibt es Fine-Tuning.

Beim Fine-Tuning passen Sie ein vortrainiertes LLM an eine bestimmte Domäne oder Aufgabe an, indem Sie es mit einem kleineren, gezielten Datensatz weitertrainieren. Das Ergebnis ist ein angepasstes Modell, das besser zu Ihren Anforderungen passt, bessere Ergebnisse liefert und im Betrieb weniger kostet.

Wie spart das Geld? Nehmen wir an, Sie betreiben einen Support-Chatbot für ein Technologieunternehmen. Ein Allzweck-LLM beantwortet die gängigen Fragen, tut sich aber mit technischen oder produktspezifischen Fragen schwer. Die Folge sind längere Gespräche, mehr Hin und Her, längere und aufwendigere Prompts und am Ende höhere Kosten.

Trainieren Sie das Modell mit früheren Kundengesprächen und Ihrer Produktdokumentation nach, versteht und beantwortet der Chatbot technische Fragen besser. Anliegen sind schneller gelöst, jedes Gespräch braucht weniger Tokens, und die Gesamtkosten sinken.

Fine-Tuning erlaubt außerdem, kleinere, spezialisierte Modelle statt großer Allzweck-LLMs einzusetzen. Diese kleineren Modelle sind oft schneller und günstiger im Betrieb und liefern in ihrem Fachgebiet trotzdem sehr gute Ergebnisse. Unser Leitfaden zum Fine-Tuning von LLMs zeigt den Ablauf für ein offenes Modell, unser Beitrag zum Fine-Tuning von GPT-4o mini dasselbe für ein gehostetes Modell von OpenAI (beide auf Englisch).

8. Early Stopping einbauen

Early Stopping spart LLM-Kosten, weil das Modell keine unnötigen Tokens mehr erzeugt.

Mit Early Stopping beendet das Modell die Generierung, sobald eine brauchbare Antwort vorliegt, statt so lange Tokens zu erzeugen, bis die maximale Länge erreicht ist. Das kann die Zahl der Tokens pro Anfrage deutlich senken.

Dafür legen Sie Kriterien fest, ab wann eine Antwort als ausreichend gilt. Die Kriterien hängen von Ihrem Anwendungsfall und Ihren Anforderungen ab. Sie können zum Beispiel eine Mindestzahl an Zeichen oder Sätzen festlegen oder nach bestimmten Schlüsselwörtern oder Formulierungen suchen, die auf eine vollständige Antwort hindeuten.

Anschließend passen Sie Ihre LLM-Integration so an, dass sie den erzeugten Text nach jedem Token mit diesen Kriterien abgleicht. Sind die Kriterien erfüllt, stoppen Sie die Generierung und geben die Antwort an den Nutzer zurück.

Early Stopping bedeutet etwas zusätzlichen Entwicklungsaufwand und passt nicht zu jeder Anwendung. In vielen Fällen senkt es aber die Kosten, ohne die Qualität des erzeugten Textes merklich zu beeinträchtigen.

Chatbots sind ein sehr typischer Anwendungsfall. Geben Sie den Nutzern einen einfachen Stopp-Button, mit dem sie die Ausgabe beenden können, sobald sie zufrieden sind. Warum sollten sie das tun? Weil niemand darauf warten will, dass ein langsames LLM mehr Text schreibt als nötig. Die Nutzer haben ihre Antwort schneller, und Sie sparen LLM-Kosten.

9. Model Distillation nutzen

Bei der Model Distillation wird Wissen von einem großen, teuren Modell auf ein kleineres, effizienteres übertragen. Stellen Sie sich einen erfahrenen Lehrer (das große Modell) vor, der sein Wissen an einen Schüler (das kleinere Modell) weitergibt. Ziel ist ein kompaktes Modell, das bei Ihren Aufgaben weiterhin gut abschneidet, ohne den hohen Preis.

Am Anfang steht ein großes, leistungsfähiges LLM, das Sie auf einer breiten Datenbasis trainieren, oder Sie nehmen ein bestehendes Allzweckmodell wie ein großes GPT- oder Claude-Modell. Dieses Modell ist der "Lehrer". Dann erstellen Sie ein kleineres "Schüler"-Modell mit schlankerer Architektur. Der Schüler lernt, indem er das Verhalten des Lehrers nachahmt und versucht, dieselben Vorhersagen zu treffen. So übernimmt er das Wissen des Lehrers, ohne dasselbe aufwendige Training zu durchlaufen.

Das Schülermodell können Sie auf Ihre Bedürfnisse zuschneiden und auf die Aufgaben und Domänen ausrichten, die für Ihre Anwendung zählen. Sie profitieren vom großen Lehrermodell, ohne für dessen laufende Nutzung zu bezahlen.

Model Distillation erfordert einiges an technischem Know-how. Sie müssen die Architektur des Schülermodells entwerfen, die passenden Distillationsverfahren wählen und den Prozess abstimmen. Mit etwas Experimentieren und ein paar Iterationen erhalten Sie ein schlankes, kostengünstiges LLM, das mehr leistet, als seine Größe vermuten lässt.

Ein frühes Beispiel für Model Distillation ist Microsofts Orca-Modell. Neuere Beispiele sind die destillierten DeepSeek-R1-Modelle. Die 32B-Version läuft auf zwei GPUs mit je 24 GB, wie wir in unserem DeepSeek-R1-Setup mit SGLang (auf Englisch) zeigen.

10. RAG statt alles an das LLM schicken

Retrieval-Augmented Generation (RAG) spart Kosten, weil Sie nicht mehr bei jeder Anfrage den gesamten Kontext an das Sprachmodell schicken. RAG verbindet Informationssuche mit Textgenerierung. So nutzen Sie Wissen aus externen Datenbanken oder Dokumenten und verlassen sich nicht allein auf das LLM.

Stellt ein Nutzer eine Frage, durchsucht das RAG-System zuerst eine vorab indexierte Datenbank nach den passendsten Textstellen. Diese Textstellen gehen zusammen mit der ursprünglichen Frage an das LLM, das mit diesem Kontext eine besser informierte, genauere Antwort erzeugt. Angenommen, Sie möchten Fragen zu einem Buch stellen. Statt das ganze Buch an das LLM zu schicken, sucht RAG die Stellen heraus, die für Ihre aktuelle Frage relevant sind, und schickt nur diese.

Das senkt die Zahl der Tokens, die an das LLM gehen, weil die gefundenen Textstellen den Kontext liefern und Teile der Frage beantworten. Insgesamt werden weniger Tokens verarbeitet, und die Kosten sinken.

RAG kann außerdem die Qualität der Antworten verbessern, weil es relevante, aktuelle Informationen ergänzt, die womöglich nicht in den Trainingsdaten des Modells stecken. Das hilft besonders in Bereichen, die Spezialwissen erfordern oder in denen sich Informationen schnell ändern.

RAG erfordert zusätzlichen Aufwand für Einrichtung und Pflege. Für viele Unternehmen und Entwickler lohnt sich das wegen der Einsparungen und der besseren Antworten trotzdem.

11. Gespräche zusammenfassen

Ganze Chatverläufe an ein LLM zu schicken, wird teuer, besonders bei langen Gesprächen oder wenn Sie viele davon verarbeiten. Werkzeuge wie LangChain helfen hier mit einer Conversation-Memory-Schnittstelle, die das Gespräch zusammenfasst. An das LLM geht dann nur die Zusammenfassung statt des gesamten Verlaufs.

Eine Zusammenfassung hat weit weniger Tokens als das ganze Gespräch, was die Kosten senkt. Die wesentlichen Punkte und der Kontext bleiben erhalten, das LLM hat also weiterhin genug Informationen für eine sinnvolle Antwort.

So nutzen Sie die Conversation-Memory-Schnittstelle von LangChain, um Gespräche zusammenzufassen und LLM-Kosten zu sparen. (Aktuelle LangChain-Versionen erledigen das mit der SummarizationMiddleware, die in der Dokumentation zum Kurzzeitgedächtnis beschrieben ist.)

1. Binden Sie LangChain in die Anwendung oder das System ein, in dem die Gespräche stattfinden.

2. Verarbeiten und speichern Sie den Gesprächsverlauf während des Gesprächs mit LangChain.

3. Wenn Sie das Gespräch zur Weiterverarbeitung oder für eine Antwort an ein LLM schicken müssen, erstellen Sie mit der Conversation-Memory-Schnittstelle von LangChain eine Zusammenfassung des Gesprächs.

4. Schicken Sie dem LLM die Zusammenfassung statt des gesamten Verlaufs. Das LLM erzeugt seine Antwort dann auf Basis der wesentlichen Punkte und des Kontexts aus der Zusammenfassung.

5. Setzen Sie das Gespräch fort und wiederholen Sie die Schritte 2 bis 4 nach Bedarf.

So schicken Sie deutlich weniger Tokens an das LLM, ohne dass die Qualität des Gesprächs oder die Relevanz der Antworten leidet.

Ist ein selbst gehostetes LLM günstiger?

Warum steht das Self-Hosting eines vortrainierten Open-Source-LLMs nicht auf unserer Liste der Sparstrategien? Mit einem eigenen Modell fallen schließlich API-Aufrufe und Nutzungsgebühren weg. Die Idee ist verlockend, in der Praxis ist ein selbst gehostetes LLM aber selten kosteneffizient.

Da ist zunächst die Rechenleistung. Große Sprachmodelle haben oft Milliarden von Parametern. Um sie effizient zu betreiben, braucht es leistungsfähige Hardware mit GPUs oder TPUs, die in Anschaffung und Wartung teuer ist. Wenn Sie selbst hosten MÜSSEN, nutzen Sie Quantisierung, um die Hardwareanforderungen zu senken, wie oben beschrieben. Wie weit das geht, zeigt unsere Anleitung GLM-4.7-Flash lokal betreiben: Mit Q4-Quantisierung passt ein Coding-Modell mit 30B Parametern auf eine einzelne GPU mit 16 GB.

Zweitens braucht ein selbst gehostetes LLM viel technisches Fachwissen. Sie benötigen erfahrene Engineers, die das Modell für Ihren Anwendungsfall einrichten, konfigurieren und optimieren. Das kostet Zeit und Geld, vor allem wenn das Know-how nicht im Haus ist. Ob für ein konkretes Projekt eine API oder ein selbst gehostetes Modell besser passt, ist eine der Fragen, die wir mit unseren Kunden in der KI-Beratung klären.

Schließlich kommt die laufende Wartung dazu. Neue Modellversionen und Verbesserungen erscheinen regelmäßig. Ein selbst gehostetes Modell aktuell und performant zu halten, braucht ein eigenes Team, und das erhöht die Gesamtkosten.

In den meisten Fällen bekommen Sie bei einem kommerziellen LLM-Anbieter die nötige Skalierbarkeit, Zuverlässigkeit und Unterstützung zu planbaren Kosten. Self-Hosting sieht auf dem Papier gut aus, ist in der Praxis aber selten die wirtschaftlichste Wahl.

Fazit

LLM-Kosten hängen an Tokens und Modellgröße. Jede Strategie in dieser Liste schickt deshalb entweder weniger Tokens oder nutzt ein günstigeres Modell.

Prompt-Optimierung, Caching und Batching holen aus jedem Token das Meiste heraus. Quantisierung, Fine-Tuning und Distillation liefern kleinere, angepasste Modelle, die im Betrieb weniger kosten. RAG, die Gesprächszusammenfassungen von LangChain und LLMLingua senken die Zahl der Tokens, die Sie überhaupt erst verschicken.

Manche dieser Strategien erfordern technisches Können und echten Umsetzungsaufwand. Eine sinnvolle Reihenfolge: Beginnen Sie mit Caching und kürzeren Prompts, die schnell wirken. Danach prüfen Sie kleinere oder feingetunte Modelle für die Aufgaben mit dem größten Volumen. Jeder Euro, den Sie bei den LLM-Kosten sparen, steht für Ihr Geschäft oder Ihr nächstes KI-Projekt zur Verfügung.

Wenn Sie wissen möchten, wo in Ihren KI-Anwendungen das größte Sparpotenzial liegt, oder vor der Entscheidung zwischen API und eigenem Modell stehen, unterstützen wir Sie gern im Rahmen unserer KI-Beratung.

Weiterlesen

• Wie man Wissen mit LLMs verbindet (auf Englisch)
• RAG-Qualität messen mit RAGAS
• Eigenes LLM hosten, inklusive HTTPS

Sie möchten zuverlässige KI-Agenten-Systeme bauen?

Wir haben auf Basis aktueller Forschung einen ausführlichen Leitfaden (auf Englisch) erstellt, wie Sie robuste KI-Agenten-Systeme bauen, die auch im produktiven Betrieb funktionieren. Der Leitfaden behandelt:

• die 14 systematischen Fehlerquellen in Multi-Agenten-Systemen
• belegte Best Practices für das Design von Agenten
• strukturierte Kommunikationsprotokolle und Prüfmechanismen

Über den Autor

Andreas Nigg

Mitgründer, Pondhouse Data

Andreas entwickelt seit mehr als acht Jahren Datenanwendungen. Bei Pondhouse Data konzipiert und baut er KI-Systeme und integriert sie in komplexe, gewachsene Unternehmensumgebungen.

Sprechen Sie mit Andreas über Ihr ProjektAuf LinkedIn folgen