Azure OpenAI Inhaltsfilter richtig einstellen und Latenz senken

Inhalt

Wer regelmäßig mit den Sprachmodellen von Azure OpenAI arbeitet, dem sind wahrscheinlich zwei Merkwürdigkeiten aufgefallen. API-Aufrufe auf Azure dauern manchmal spürbar länger als mit genau demselben Modell auf der regulären OpenAI-Plattform. Und ab und zu kommen kryptische Fehler der Inhaltsfilterung zurück, selbst bei völlig harmlosen Geschäftsinhalten.

Beides ist kein Bug. Beides geht auf das eingebaute System zur Inhaltsfilterung von Azure OpenAI zurück. Unsere Empfehlung in Kurzform: Stellen Sie die Filter für die Schadenskategorien auf den großzügigsten Schwellenwert, lassen Sie Prompt Shields eingeschaltet und schalten Sie die Filter in den asynchronen Modus. Der Rest dieses Beitrags erklärt, warum, und zeigt, wie es geht.

Standardmäßig durchläuft jede Anfrage an Azure OpenAI mehrere Modelle zur Inhaltsklassifizierung, die sowohl Ihre Eingabe als auch die Ausgabe des Modells auf potenziell schädliche Inhalte prüfen. Diese zusätzlichen Sicherheitsschichten erklären sowohl die höhere Latenz als auch die gelegentlichen unerwarteten Ablehnungen.

Die Inhaltsfilterung hat einen echten Zweck, sie soll Missbrauch verhindern. In Geschäftsszenarien ist ihre Standardeinstellung aber oft frustrierend, manchmal geradezu absurd. Viele Entwickler fragen sich irgendwann:

• Warum werden völlig vernünftige Business-Prompts abgelehnt?

• Warum dauern API-Aufrufe länger als bei OpenAI direkt?

• Wie stellen wir das für den Produktivbetrieb richtig ein?

Dieser Leitfaden erklärt, was die Filter tatsächlich tun, warum sie für Ihren Anwendungsfall womöglich zu streng sind und wie ihr synchroner Aufbau die Performance bremst. Danach zeigen wir die Lösungen: niedrigere Filterschwellen und asynchrone Filterung.

Was sind die Inhaltsfilter von Azure OpenAI?

Die Inhaltsfilter von Azure OpenAI sind eine Reihe von KI-Klassifizierungsmodellen, die neben den eigentlichen Sprachmodellen (wie GPT-4.1 oder der GPT-5-Familie) laufen. Sie prüfen sowohl die Eingabe (Ihre Prompts) als auch die Ausgabe (die Antworten des Modells) auf potenziell schädliche oder unangemessene Inhalte.

Das Filtersystem besteht aus mehreren Komponenten.

Zentrale Klassifizierungsmodelle

• Hass und Fairness: erkennt diskriminierende Sprache oder Angriffe aufgrund von Identitätsmerkmalen
• Sexuelle Inhalte: erkennt explizit sexuelle oder unangemessene Inhalte
• Gewalt: erkennt gewalttätige Inhalte oder Drohungen
• Selbstverletzung: erkennt Inhalte zu Selbstverletzung oder Suizid

Optionale Erkennungsmodelle

• Geschütztes Material: erkennt urheberrechtlich geschützte Inhalte (etwa Songtexte) oder Code aus öffentlichen Repositorys
• Prompt Shields: erkennt Versuche, die Sicherheitsmechanismen des Modells zu umgehen
• Groundedness (in der deutschen Dokumentation "Verankerung"): prüft, ob Antworten auf dem bereitgestellten Quellmaterial beruhen (nur in bestimmten Regionen verfügbar)

Jede Kategorie hat vier Schweregrade: sicher, niedrig, mittel und hoch.

Standardmäßig laufen diese Filter synchron:

1. Ihr Prompt wird zuerst von den Inhaltsfiltern analysiert.
2. Ist er unbedenklich, geht er an das Sprachmodell.
3. Die Antwort des Modells wird dann noch einmal von den Filtern analysiert.
4. Erst wenn alle Prüfungen bestanden sind, bekommen Sie den Inhalt zurück.

Diese Abfolge ist der Grund, warum Aufrufe bei Azure OpenAI oft länger dauern als bei OpenAI direkt. An jeder Anfrage sind mehrere KI-Modelle beteiligt, nicht nur das Sprachmodell.

Das Sicherheitssystem hilft, Missbrauch zu verhindern, kann im Geschäftsumfeld aber übereifrig sein. Ein Prompt über "database killing" im IT-Betrieb wird womöglich als Gewalt markiert, oder eine Anwendung im Gesundheitswesen, die Krankheitsbilder bespricht, löst den Filter für Selbstverletzung aus.

So konfigurieren Sie die Inhaltsfilterung für Ihren Anwendungsfall

Wie sollten Sie die Inhaltsfilter also für Ihren Anwendungsfall einstellen?

Die offizielle Antwort: Analysieren Sie Ihren Anwendungsfall und passen Sie für jede Inhaltskategorie den Schwellenwert des Schweregrads an, von "Safe" bis "High". Testen Sie dann Ihre Anwendung, ergänzen Sie Logging und finden Sie heraus, wo die Filter noch zu restriktiv sind.

Die inoffizielle Antwort: Mit diesen Filtern zu arbeiten ist mühsam, und einen echten Nutzen bringen sie selten, mit einer Ausnahme: Prompt Shields. Unsere Strategie für den Moment: Stellen Sie alle Filter auf die großzügigste Stufe (damit nur die anstößigsten Prompts und Antworten blockiert werden), lassen Sie Prompt Shields aber eingeschaltet.

Die Filter bremsen außerdem die gesamte Inferenz-Pipeline und damit die Performance Ihrer Anwendungen. Auch das lässt sich einstellen: Statt die Filter synchron laufen zu lassen, schalten Sie sie in den asynchronen Modus. Dann laufen sie parallel, während die Antwort des LLM bereits an Ihre Anwendung gestreamt wird, und das beschleunigt die Sache meist deutlich. Da die Antwort eintrifft, während der Inhaltsfilter noch prüft, können Sie die Ergebnisse des Filters auch einfach ignorieren und seinen Einfluss so weiter verringern.

Warum die Inhaltsfilter im B2B-Umfeld Probleme machen

Unser Haupteinwand: Die Filter blockieren im Geschäftsumfeld zu viele legitime Prompts und Antworten, obwohl man dort Prüfungen auf KI-Sicherheit, Alignment oder Ethik oft gar nicht braucht. Unsere Prompts zu Richtlinien der Elektrotechnik wurden zum Beispiel wegen "Selbstverletzung" blockiert (die Filtermodelle dachten wohl, wir wollten uns selbst einen Stromschlag verpassen). Dieses Überblockieren ist ein echtes Problem, wenn Sie wiederholbare, testbare KI-Anwendungen bauen wollen, denn es fügt eine weitere, stark vom Zufall abhängige Variable hinzu, die Sie berücksichtigen müssen.

Prompt Shields dagegen hat sich in unseren Tests und Projekten bewährt. Prompt Injection zu erkennen ist schwierig, und Prompt Injection macht in Geschäftsanwendungen tatsächlich Probleme. Fehlalarme hatten wir mit Prompt Shields nie, deshalb lassen wir es eingeschaltet. (Eine selbst gehostete Alternative zu diesen Sicherheitsklassifikatoren beschreiben wir in unserem Beitrag über LLM-Sicherheit mit Llama Guard 2, auf Englisch.)

---

Bevor wir weitermachen...

Sie möchten zuverlässige KI-Agenten-Systeme bauen?

Wir haben auf Basis aktueller Forschung einen ausführlichen Leitfaden (auf Englisch) erstellt, wie Sie robuste KI-Agenten-Systeme bauen, die auch im produktiven Betrieb funktionieren. Der Leitfaden behandelt:

• die 14 systematischen Fehlerquellen in Multi-Agenten-Systemen
• belegte Best Practices für das Design von Agenten
• strukturierte Kommunikationsprotokolle und Prüfmechanismen

---

So konfigurieren Sie die Inhaltsfilter von Azure OpenAI

So stellen Sie die Filter auf den großzügigsten Schwellenwert und schalten sie in den asynchronen Modus:

1. Öffnen Sie Azure OpenAI Studio und wählen Sie die Azure-OpenAI-Ressource, die Sie konfigurieren möchten, oder legen Sie eine neue Ressource an.

   Eine Azure-OpenAI-Ressource in Azure OpenAI Studio auswählen

2. Wählen Sie im Dashboard der Ressource im linken Menü "Safety + security" und klicken Sie auf "Create content filter" (in der deutschen Oberfläche "Inhaltsfilter erstellen").

   Die Schaltfläche "Create content filter" auf der Seite Safety + security

3. Geben Sie einen Namen ein und klicken Sie auf "Next".

4. Auf der nächsten Seite legen Sie die Schwellenwerte der Eingabefilter fest, also der Filter, die Ihre Prompts prüfen. Stellen Sie alle Schieberegler auf "High" ("Allow Low and Medium / Block High"). Lassen Sie Prompt Shields für Jailbreak-Angriffe auf "Annotate and block".

   Schwellenwerte der Eingabefilter auf High, Prompt Shields auf Blockieren

5. Klicken Sie auf "Next". Es erscheint fast dieselbe Seite noch einmal, diesmal für die Ausgabefilter, die die Antworten des Modells prüfen. Stellen Sie wieder alle Schieberegler auf "High" und die übrigen Einstellungen auf "Off".

   Schwellenwerte der Ausgabefilter auf High, Filter für geschütztes Material ausgeschaltet

6. Klicken Sie noch nicht auf "Next". Scrollen Sie nach unten und stellen Sie den "Streaming mode" (Streamingmodus) auf "Asynchronous Filter".

   Streamingmodus auf Asynchronous Filter gestellt

7. Klicken Sie auf "Next". Wählen Sie auf der letzten Seite die Modellbereitstellungen (Deployments) aus, die den neuen Filter verwenden sollen. Haben Sie noch keine Bereitstellungen, überspringen Sie diesen Schritt. Klicken Sie auf "Next" und dann auf "Create".

   Den neuen Inhaltsfilter Modellbereitstellungen zuweisen

Das war's. Ihre Bereitstellungen in Azure OpenAI verwenden jetzt den neuen Inhaltsfilter, der deutlich schneller ist und viel weniger blockiert.

Bei neuen Bereitstellungen wählen Sie den Filter direkt beim Anlegen der Bereitstellung aus.

Den Inhaltsfilter beim Anlegen einer neuen Bereitstellung auswählen

Die Filtereinstellungen sind eines von vielen Details, die darüber entscheiden, ob eine Geschäftsanwendung auf Azure OpenAI im Alltag funktioniert. Planen Sie ein solches Projekt, beginnt unsere KI-Beratung mit einer zweitägigen Analyse, an deren Ende ein konkreter Umsetzungsplan steht.

Weiterlesen

• RAG-Qualität messen mit Ragas
• Advanced RAG: Recursive Retrieval with llamaindex (auf Englisch)
• DSPy: Automatic prompt tuning and creating (auf Englisch)
• Kostenlose Open-Source-Alternative zu ChatGPT: LibreChat
• RAG mit Azure AI Search: ein Schritt-für-Schritt-Tutorial
• KI-Agenten mit dem Microsoft Agent Framework

Über den Autor

Andreas Nigg

Mitgründer, Pondhouse Data

Andreas entwickelt seit mehr als acht Jahren Datenanwendungen. Bei Pondhouse Data konzipiert und baut er KI-Systeme und integriert sie in komplexe, gewachsene Unternehmensumgebungen.

Sprechen Sie mit Andreas über Ihr ProjektAuf LinkedIn folgen