KI-Blog: RAG, KI-Agenten und LLMs in der Praxis | Pondhouse Data

Konstruktionszeichnungen durchsuchbar machen: KI-Suche im Zeichnungsarchiv nach dem Vorbild Kuken

Wed, 11 Nov 2026 00:00:00 GMT

Wie Kuken 70 Jahre Zeichnungen per KI durchsuchbar macht und wie Sie das Prinzip mit Vision-Modell, Postgres und Bildsuche selbst bauen.

Das Wichtigste in Kürze

Kuken findet Zeichnungen im Probebetrieb im Schnitt in 4,5 Minuten. Die 90 % weniger Suchaufwand pro Jahr sind eine Hochrechnung.
Die Zeichnungsnummer bleibt der wichtigste Suchschlüssel. Normalisierte Schreibweisen hoben die Trefferquote bei uns von 0 auf 100 %.
Ein Vision-Modell liest ein Schriftfeld für rund 0,6 Cent pro Seite, verwechselt aber Felder, wenn es das Layout nicht kennt.
Bildähnlichkeit mit DINOv2 fand die richtige Bauteilart in 87 % der Fälle, das richtige Bauteil nur in 27 %.
Die KI-Prüfung sagte im Test nie ja zu einer falschen Zeichnung. Die Entscheidung bleibt trotzdem beim Menschen.

Text-to-SQL mit semantischer Schicht: NVIDIA Auto Ontology im Praxistest

Thu, 05 Nov 2026 00:00:00 GMT

Wie NVIDIA Auto Ontology Text-to-SQL mit einer automatisch erzeugten semantischen Schicht absichert, was im Test funktioniert hat und wo es noch hakt.

Das Wichtigste in Kürze

Auto Ontology erzeugt aus Datenbank-Metadaten automatisch Begriffe, Join-Pfade und SQL-Ausdrücke, die ein Text-to-SQL-Agent nutzt.
Aus den 51 Tabellen der Beispieldatenbank entstand die Ontologie in acht bis zehn Minuten, ganz ohne manuelle Modellierung.
Mit den gehosteten NVIDIA-Modellen lief es erst nach drei kleinen Anpassungen im Code, die wir unten zeigen.
Zwei von vier Antworten hatten falsches SQL, das man der Antwort nicht ansah. Die Freigabe durch Fachleute ist deshalb Pflicht.
Verbinden Sie den Agenten nur mit einem Datenbankbenutzer, der ausschließlich lesen darf.

Confluence ablösen: Ein KI-Firmenwiki, das sich selbst pflegt

Tue, 11 Aug 2026 00:00:00 GMT

Wie wir 310 Confluence-Seiten in ein Firmenwiki auf Git-Basis umgezogen haben, das ein LLM-Agent pflegt, verlinkt und prüft. Jede Änderung gibt ein Mensch frei.

Das Wichtigste in Kürze

Wir haben 310 Confluence-Seiten und 720 Anhänge in ein Git-Repository umgezogen, das ein LLM-Agent pflegt.
Der erste Durchlauf ergab rund 160 aktive und 90 archivierte Seiten.
Die Originalquellen liegen unveränderlich in raw/, die kuratierten Seiten in wiki/ pflegt der Agent.
Jede aktive Seite nennt eine verantwortliche Person, das Datum der letzten Prüfung, ihre Quellen und einen Vertrauensstatus.
Der Agent schlägt Änderungen als ein prüfbares Change-Set vor. Erst wenn ein Mensch zustimmt, wird es übernommen.

SharePoint-Listen als Wissensquelle in Copilot Studio nutzen

Mon, 09 Feb 2026 00:00:00 GMT

Copilot Studio lädt SharePoint-Listen nur komplett. Zwei Agent-Flows lösen das: Einer liest die Spaltennamen, der andere holt per OData nur passende Einträge.

Das Wichtigste in Kürze

Copilot Studio lädt eine SharePoint-Liste immer als Ganzes. Große Listen überfluten deshalb den Kontext des Agenten oder werden abgeschnitten.
Ein Agent-Flow kann eine Liste über die SharePoint-REST-API mit OData-Filtern abfragen und nur die passenden Elemente zurückgeben.
Ein erstes Tool liest die internen Spaltennamen über den Endpunkt fields, damit keine Spalten-IDs fest im Flow stehen.
Weil das Abrufen der IDs und das Abrufen der Daten zwei getrennte Tools sind, kann der Agent es mit einer anderen OData-Abfrage erneut versuchen.
Weisen Sie den Agenten an, breite, unscharfe Filter zu bevorzugen und bei Textspalten kein eq zu verwenden, damit keine relevanten Einträge verloren gehen.

GLM-4.7-Flash lokal betreiben: Coding-Modell mit OpenCode

Thu, 22 Jan 2026 00:00:00 GMT

GLM-4.7-Flash, ein 30B-MoE-Coding-Modell, auf einer 16-GB-GPU: llama.cpp für NVIDIA oder AMD bauen, das Q4-GGUF bereitstellen und mit OpenCode verbinden.

Das Wichtigste in Kürze

GLM-4.7-Flash ist ein Mixture-of-Experts-Modell mit 30B Parametern, davon rund 3B aktiv, mit offenen Gewichten unter MIT-Lizenz.
Auf SWE-bench Verified erreicht es 59,2 %, gegenüber 22,0 % für Qwen3-30B-A3B-Thinking und 34,0 % für GPT-OSS-20B.
Mit dem Quant UD-Q4_K_XL braucht GLM-4.7-Flash etwa 12 bis 14 GB VRAM und läuft auf einer 16-GB-GPU.
llama-server lädt das GGUF mit dem Flag -hf von Hugging Face und stellt eine OpenAI-kompatible API bereit.
In der opencode.json muss die Modell-ID mit dem --alias übereinstimmen, den Sie llama-server übergeben.

KI-Workflows mit dem Microsoft Agent Framework orchestrieren

Wed, 19 Nov 2025 00:00:00 GMT

Graphbasierte Workflows im Microsoft Agent Framework mit Python: eine vierstufige IT-Ticket-Pipeline, die DevUI und bedingte Kanten für dringende Tickets.

Das Wichtigste in Kürze

Ein ChatAgent passt für offene Gespräche, ein Workflow für bekannte, wiederholbare und nachvollziehbare Prozesse mit mehreren Schritten.
Ein Workflow ist ein Graph aus Executors, die über Kanten verbunden sind. Sie definieren ihn mit der WorkflowBuilder-API.
Executors geben Daten mit ctx.send_message weiter und veröffentlichen Endergebnisse mit ctx.yield_output.
Bedingte Kanten schicken Tickets mit hoher Priorität an einen Alarm-Knoten und alle anderen in die normale Ticketanlage.
Die eingebaute DevUI zeigt den Graphen des Workflows, führt ihn aus und macht Ein- und Ausgaben jedes Knotens sichtbar.

KI-Agenten mit dem Microsoft Agent Framework: Praxisleitfaden

Wed, 05 Nov 2025 00:00:00 GMT

So funktioniert das Microsoft Agent Framework: Tools, Workflows, Zustand und Checkpointing. Dazu ein IT-Helpdesk-Agent in Python mit Dev UI, FastAPI und Docker.

Das Wichtigste in Kürze

Das Microsoft Agent Framework vereint die Multi-Agent-Muster von AutoGen mit den Enterprise-Funktionen von Semantic Kernel, für Python und C#.
Es besteht aus vier Kernkomponenten: KI-Agenten, typisierte Tools, graphbasierte Workflows und Zustandsverwaltung über den AgentThread.
Checkpointing speichert den Zustand eines Workflows dauerhaft, damit Agenten auf Freigaben warten und später weiterlaufen können.
Die eingebaute Dev UI zeigt während der Entwicklung im Browser, welche Tools ein Agent aufruft und was er antwortet.
Für den Produktivbetrieb verpacken Sie den Agenten in einen FastAPI-Endpunkt, liefern ihn als Docker-Container aus und ergänzen eine Persistenzschicht.

BigQuery MCP-Server: Remote-Server und MCP Toolbox im Test

Mon, 30 Jun 2025 00:00:00 GMT

KI-Agenten per MCP mit BigQuery verbinden: Googles Remote-Server und MCP Toolbox 1.16 im Vergleich, mit Einrichtung, Schutzmechanismen, Kosten und Agenten-Test.

Das Wichtigste in Kürze

Google betreibt einen verwalteten BigQuery-MCP-Server unter bigquery.googleapis.com/mcp. Er ist aktiv, sobald die BigQuery API aktiviert ist.
MCP Toolbox 1.16 bietet, was dem Remote-Server fehlt: Dataset-Allowlist, Nur-Lese-Modus und eine Obergrenze für abgerechnete Bytes pro Abfrage.
Mit klaren Anweisungen beantwortete unser Agent über den Remote-Server 7 von 7 Fragen richtig, über die Toolbox 6 von 7.
Nach einer blockierten Abfrage erfand der Agent einmal eine Zahl. Weisen Sie ihn an, Tool-Fehler zu melden statt zu schätzen.
Geben Sie dem Agenten ein eigenes Dienstkonto mit BigQuery Job User und Data Viewer nur auf einzelnen Datasets, dazu kurzlebige Tokens statt Schlüsseldateien.

RAGFlow 1.0 Tutorial: Installation, PDF-Parsing und Praxistest

Fri, 20 Jun 2025 00:00:00 GMT

RAGFlow 1.0 mit Docker installiert und mit einem 147-seitigen PDF getestet: Einrichtung, OpenAI-Modelle, DeepDoc gegen Vision-LLM, RAM-Bedarf, Antworten.

Das Wichtigste in Kürze

RAGFlow 1.0 ist eine Neuentwicklung in Go. Der Standard-Stack lief nach 17 Sekunden und brauchte im Leerlauf 5,8 GiB RAM.
Mit Infinity statt Elasticsearch als Dokument-Engine sank der RAM-Bedarf im Leerlauf in unserem Test auf rund 1,5 GiB.
DeepDoc hat den Großteil unseres 147-seitigen Statistikberichts zu Buchstabensalat gemacht; nur 2 von 5 Testfragen wurden beantwortet.
Mit gpt-4.1-mini als PDF-Parser ergab dasselbe Dokument saubere Markdown-Tabellen und 5 von 5 richtige Antworten.
Prüfen Sie die Chunk-Ansicht an einigen Beispielseiten, bevor Sie einem Parser eine neue Dokumentart anvertrauen.

LLM Sampling with FastMCP: Using Client LLMs for Scalable AI Workflows in your MCP

Mon, 19 May 2025 00:00:00 GMT

How MCP sampling lets a FastMCP server hand its LLM calls to the client: ctx.sample on the server, a sampling handler on the client, with code.

Key takeaways

With MCP sampling, a server tool asks the client's LLM for a completion instead of calling its own LLM.
The client runs the LLM inference and pays for it, so the MCP server stays lightweight as users grow.
In FastMCP, a tool requests a completion with ctx.sample, passing messages, a system prompt, temperature and max tokens.
FastMCP injects the Context object into any tool function that has a parameter type-hinted as Context.
The client must implement a sampling handler that receives the sampling request and returns the generated text.

MCP-Server automatisch erstellen: aus OpenAPI und FastAPI

Sun, 04 May 2025 00:00:00 GMT

So erzeugen Sie mit FastMCP einen MCP-Server aus einer OpenAPI-Spezifikation oder FastAPI-App: Route-Mapping, Timeouts, Parameter und Codebeispiele.

Das Wichtigste in Kürze

FastMCP.from_openapi macht aus einer OpenAPI-Spezifikation mit wenigen Zeilen Python einen MCP-Server.
FastMCP.from_fastapi wandelt eine FastAPI-App in einen MCP-Server um und spricht direkt über den ASGI-Transport mit ihr.
Vor FastMCP 2.8.0 wurden GET-Routen standardmäßig zu Resources oder Resource Templates und alle anderen Methoden zu Tools. Neuere Versionen machen aus jeder Route ein Tool.
Eigene RouteMap-Objekte überschreiben das Standard-Mapping und werden vor den Standardregeln angewendet.
Query-Parameter mit None oder leerem String fallen weg, fehlende Path-Parameter lösen einen ValueError aus.

MCP-Server mit FastMCP erstellen: Python-Anleitung mit Beispielen

Sun, 27 Apr 2025 00:00:00 GMT

Was ein MCP-Server ist, worin er sich von einer API unterscheidet und wie Sie mit FastMCP in Python einen bauen: Resources, Tools, Fortschritt und Client.

Das Wichtigste in Kürze

Ein MCP-Server ist eine standardisierte API, über die LLM-Clients Ihre Tools und Daten finden und nutzen.
FastMCP macht aus Python-Funktionen per Decorator MCP-Resources und -Tools und erzeugt die Schemas aus Type Hints und Docstrings.
Für lokale Tools wie Claude Desktop nutzen Sie STDIO, für entfernte MCP-Server einen HTTP-Transport. Dieser Beitrag verwendet SSE, das inzwischen durch Streamable HTTP ersetzt wurde.
Resource Templates wie data://user-profile/{user_id} übergeben dynamische Werte an eine MCP-Resource.
Eine normale Python-Exception in einem FastMCP-Tool kommt beim Client als MCP-Fehlerantwort an.

Langfuse: LLM Observability, Kosten und Qualität überwachen

Mon, 14 Apr 2025 00:00:00 GMT

Langfuse mit Docker Compose selbst hosten und damit OpenAI-Aufrufe tracen, zu Sessions bündeln, Antworten bewerten und Prompts versionieren.

Das Wichtigste in Kürze

Langfuse ist eine LLM-Engineering-Plattform unter MIT-Lizenz für Tracing, Evaluierung, Datasets und Prompt-Management.
Wer das OpenAI-SDK über langfuse.openai importiert, protokolliert jeden Aufruf samt Latenz und Kosten.
Der Decorator @observe fasst alle LLM-Aufrufe einer Funktionshierarchie zu einem verschachtelten Trace zusammen.
Session- und User-IDs bündeln Traces zu Gesprächsverläufen und zu Kostenübersichten pro Benutzer.
Selbst gehostet mit Docker Compose laufen sechs Dienste, darunter ClickHouse, MinIO, Redis und Postgres.

n8n mit Open WebUI verbinden: Integration per Webhook und Pipe

Sun, 30 Mar 2025 00:00:00 GMT

So verbinden Sie Open WebUI mit n8n: ein Webhook-Workflow und eine Python-Pipe-Funktion, damit Chatnachrichten n8n-Workflows starten. Mit vollem Code.

Das Wichtigste in Kürze

Eine Pipe-Funktion in Open WebUI schickt jede Chatnachricht an einen n8n-Webhook und zeigt die Antwort von n8n im Chat an.
Der Webhook-Node in n8n nutzt POST, Header Auth und einen Respond-to-Webhook-Node, der die Antwort zurückgibt.
Ein zusätzlicher Chat-Trigger neben dem Webhook-Trigger macht den n8n-Workflow auch für sich allein testbar.
In den Valves der Pipe stehen die Webhook-URL, das Bearer-Token und die Feldnamen für Eingabe und Antwort.
Die gesamte Logik liegt im n8n-Workflow, die Pipe in Open WebUI ist nur die Brücke.

Zuverlässige KI-Agenten: Best Practices für Multi-Agenten-Systeme

Sun, 23 Mar 2025 00:00:00 GMT

Warum Multi-Agenten-Systeme mit LLMs scheitern, laut einer Studie zu 14 Fehlerarten, und mit welchen Design-Regeln KI-Agenten zuverlässiger werden.

Das Wichtigste in Kürze

Multi-Agenten-Systeme mit LLMs schneiden in Benchmarks oft kaum besser ab als ein gut gebauter einzelner Agent.
Eine Studie zu fünf Multi-Agenten-Frameworks und über 150 Aufgaben fand 14 verschiedene Fehlerarten.
Die Fehlerarten fallen in drei Gruppen: Spezifikation, fehlende Abstimmung zwischen Agenten sowie Prüfung und Abschluss von Aufgaben.
Jede Ausgabe eines Agenten sollte geprüft werden, durch Selbstprüfung, gegenseitige Prüfung oder einen eigenen Prüf-Agenten.
Beginnen Sie mit dem einfachsten System, das die Kernaufgabe löst, und fügen Sie Agenten nur hinzu, wenn sie einen einzelnen Agenten nachweislich übertreffen.

Building Powerful AI Agents with smolagents: A Minimalist Approach

Sat, 15 Mar 2025 00:00:00 GMT

smolagents is Hugging Face's minimal agent library: code agents that act in Python, sandboxed execution, support for any LLM and tips for better agents.

Key takeaways

smolagents is a minimal agent library from Hugging Face whose agent logic fits in about 1,000 lines of code.
Its CodeAgent writes actions as Python code instead of JSON tool calls, which has been shown to need 30% fewer steps.
Agent code runs in a restricted Python interpreter by default, with E2B or Docker sandboxes as alternatives.
Group tools and prefer deterministic functions to cut LLM calls, cost, latency and error risk.
Tool docstrings should spell out input formats, because the LLM only knows what you tell it.

DeepSeek R1 On-Prem Setup: Run Advanced AI Models on Your Hardware with SGLang

Sat, 22 Feb 2025 00:00:00 GMT

Run DeepSeek-R1-Distill-Qwen-32B on two 24GB GPUs with SGLang: install, model download, Docker setup and OpenAI-compatible API calls in Python.

Key takeaways

DeepSeek-R1-Distill-Qwen-32B scores 72.6% on AIME 2024 and a Codeforces rating of 1691, versus 9.3% and 759 for GPT-4o.
The 32B distilled model runs on two 24GB GPUs such as the RTX 3090, with 32GB RAM and 100GB of NVMe storage.
SGLang serves the model with an OpenAI-compatible API on port 30000, so the OpenAI Python client works unchanged.
SGLang supports JSON schema structured output and streaming through the same chat completions endpoint.

Building Better AI Applications with LLM Tracing using Opik

Wed, 12 Feb 2025 00:00:00 GMT

Self-host Opik, Comet's open-source LLM tracing tool, trace OpenAI, PydanticAI and LangChain calls, track costs and score traces with an LLM judge.

Key takeaways

Opik is an open-source, Apache-2 licensed LLM tracing and evaluation platform created by Comet.
You can self-host Opik with Docker Compose or a Helm chart, but it has no built-in authentication.
Wrapping the OpenAI client with track_openai traces every call, including prompt, response, tokens and latency.
Opik tracks costs automatically for OpenAI and Gemini models; token usage and latency are always tracked.
Online evaluation rules let an LLM judge score every production trace, for example for hallucination.

KI-Agenten mit n8n bauen: Postgres-Tools, Memory und Freigabe

Mon, 10 Feb 2025 00:00:00 GMT

So bauen Sie einen selbst gehosteten KI-Agenten in n8n 2.46: Bestellabfragen in Postgres, Chat-Memory und E-Mail-Entwürfe mit Freigabe. Mit Kosten.

Das Wichtigste in Kürze

Der AI-Agent-Node in n8n 2.46 ist eine Tool-Schleife aus Chat-Modell, optionalem Memory und beliebig vielen Tools.
Geben Sie dem Agenten feste, parametrisierte SQL-Abfragen und eine Datenbankrolle, die nur lesen darf, statt das Modell SQL schreiben zu lassen.
Die Freigabe für Tools hält den Lauf an, bis jemand zustimmt. Im n8n-Chat braucht sie den Response Mode Using Response Nodes.
Wandeln Sie Postgres-DATE-Spalten in Text um, sonst verschiebt eine Zeitzone wie Europe/Vienna sie auf den Vortag.
Ein Gespräch mit vier Nachrichten kostete mit gpt-5.4-mini rund 3.600 Input-Token, also deutlich unter einem Cent.

Enhancing Self-Made Agent with Memory: Keeping Context for Better Conversations

Sat, 01 Feb 2025 00:00:00 GMT

Add PostgreSQL-backed memory to a self-made Python AI agent: store every interaction, summarize long histories with GPT-4o and feed context into the prompt.

Key takeaways

The memory-enabled agent stores every user input, agent response and tool call in a PostgreSQL table.
Once 20 interactions have piled up since the last summary, GPT-4o is asked to summarize them in under 2,000 words.
Before each query, the latest summary and all newer interactions are added to the prompt as a system message.
Single-turn Q&A, one-off lookups and privacy-sensitive use cases are often better served by a stateless agent.
MemoryAgent subclasses the multi-step agent, so the tools and the iteration loop stay the same.