Pondhouse Data Blog

Open WebUI ist eine kostenlose, selbst gehostete Chat-Oberfläche wie ChatGPT. Wir haben v0.13.0 installiert und RAG, MCP, Websuche und die Lizenz geprüft.

Ein Text-to-SQL-Agent für BigQuery in Python: GPT-4o schreibt das SQL, korrigiert Fehler selbst, und RAG wählt die passenden Spalten aus. Mit Code.

Text und Tabellen aus komplexen PDFs mit einem Open-Source-Vision-LLM auslesen: Seiten als Bild rendern, MiniCPM-Llama3-V 2.5 prompten. Mit Python-Code.

Elf Wege, LLM-Kosten zu senken: kürzere Prompts, semantisches Caching, Batch-APIs, Quantisierung, Distillation, RAG und Zusammenfassungen. Womit Sie anfangen.

Ein Open-Source-LLM mit dem OpenAI-kompatiblen Docker-Image von vLLM bereitstellen, mit Caddy als Reverse Proxy und automatischem HTTPS über Let's Encrypt.

RAG-Pipelines mit Ragas evaluieren: Testset aus eigenen Dokumenten erzeugen, dann Faithfulness, Answer Relevancy, Context Recall und Precision messen.

How MCP sampling lets a FastMCP server hand its LLM calls to the client: ctx.sample on the server, a sampling handler on the client, with code.

smolagents is Hugging Face's minimal agent library: code agents that act in Python, sandboxed execution, support for any LLM and tips for better agents.

Run DeepSeek-R1-Distill-Qwen-32B on two 24GB GPUs with SGLang: install, model download, Docker setup and OpenAI-compatible API calls in Python.

Self-host Opik, Comet's open-source LLM tracing tool, trace OpenAI, PydanticAI and LangChain calls, track costs and score traces with an LLM judge.