Local Chat
ChatGPT-Komfort, ohne dass ein Wort das Haus verlässt
Aus der Praxis →Der rzfz.ai Stack
Der rzfz.ai Stack — der integrierte Open-Source-Stack für lokale KI-Infrastruktur — bündelt kuratierte Open-Source-Module als Docker-Compose-Container, hinter Caddy als einzigem extern erreichbaren Eintrittspunkt und Authentik SSO, auf der rzfz.ai Box, Ihren eigenen Ubuntu-26.04-Servern oder in der Cloud.
StackMap
Die Stack Map
Vom Reverse Proxy bis zu den Agents — der komplette rzfz.ai Stack live aus den Daten, gruppiert nach Layer. Kachel anklicken, fokussieren oder darauf tippen für Details.
- von razzfazz.ai GmbH entwickelt
- Experimentell
Agentic AI
Agent Manager
ExperimentellDer Agent-Manager ist eine von rzfz.ai entwickelte Verwaltungsoberfläche, über die Nutzer ihre eigenen persistenten Agent-Instanzen — Hermes, Moltis, Coding Agents — starten, überwachen und wieder stoppen. Er legt pro Nutzer eigene Container und Volumes an, registriert deren Routen bei Caddy und stellt sie nach einem Neustart automatisch wieder her. Derzeit als experimentelles Modul enthalten.
MCP Manager
ExperimentellDer MCP-Manager ist eine von rzfz.ai entwickelte Verwaltungsoberfläche, über die Nutzer eigene MCP-Integrationen mit ihren persönlichen Zugangsdaten anlegen — verschlüsselt in einem AES-256-GCM-Tresor gespeichert und in einem eigenen Proxy-Container pro Nutzer isoliert. Der MCP-Manager verdrahtet die Integration automatisch mit den eigenen Hermes-, Moltis- oder Coding-Agents des Nutzers. Derzeit als experimentelles Modul enthalten.
Hermes
ExperimentellBasis: Hermes von Nous Research — von razzfazz.ai GmbH als Container für den Stack gebaut.
Hermes ist ein selbstverbessernder Python-Agent von Nous Research, den rzfz.ai als Container mit persistentem Gedächtnis, über 30 Werkzeugen und einem MCP-Client betreibt. Im Stack provisioniert jeder Nutzer über den Agent-Manager seine eigene Hermes-Instanz samt Hermes-Workspace-Oberfläche zum Durchsuchen von Gedächtnis und Skills. Derzeit als experimentelles Modul enthalten.
Moltis
ExperimentellBasis: Moltis — von razzfazz.ai GmbH als Container für den Stack gebaut.
Moltis ist ein in Rust geschriebener persönlicher Agent-Server mit Anbindung an Matrix, Telegram und Discord sowie sandboxed Code-Ausführung, den rzfz.ai als Container betreibt. Im Stack provisioniert jeder Nutzer über den Agent-Manager seine eigene Moltis-Instanz mit persistentem Gedächtnis. Derzeit als experimentelles Modul enthalten.
OpenHands
ExperimentellOpenHands ist ein autonomer Coding-Agent, der Code plant, schreibt, ausführt und testet — dazu startet er projektbezogene Sandbox-Container. Im Stack ist es an Gitea für Repositories und Pull Requests sowie an GPUStack für Inferenz angebunden und benötigt Zugriff auf den Docker-Socket. Derzeit als experimentelles Modul enthalten.
Paperclip
ExperimentellBasis: Paperclip — von razzfazz.ai GmbH als Container für den Stack gebaut.
Paperclip ist ein Agent-Orchestrator, den rzfz.ai als Container betreibt: Er verteilt Rollen und Ziele an Teams von Agents, weist Aufgaben zu und führt Budgets und ein Audit-Log. Im Stack bindet es Gitea, Infisical und GPUStack ein und befindet sich noch in einem frühen Entwicklungsstadium. Derzeit als experimentelles Modul enthalten.
Codex
ExperimentellCodex ist ein von OpenAI entwickelter, quelloffener Coding-Agent fürs Terminal. Im Stack läuft er als ein Sandbox per-Nutzer-Container im persistenten Coding-Agents-Workspace, vorverdrahtet gegen das lokale GPUStack-Modell. Derzeit als experimentelles Modul enthalten.
Use-Cases, die diesen Baustein nutzen
OpenCode
ExperimentellOpenCode ist ein quelloffener KI-Coding-Agent fürs Terminal. Im Stack läuft er als ein Sandbox per-Nutzer-Container im persistenten Coding-Agents-Workspace, vorverdrahtet gegen das lokale GPUStack-Modell. Derzeit als experimentelles Modul enthalten.
Use-Cases, die diesen Baustein nutzen
gsd-pi
Experimentellgsd-pi ist ein quelloffenes Werkzeug für spezifikationsgetriebene Entwicklung. Es ist kein eigenes gebautes Image mehr, sondern eine von rzfz.ai empfohlene nutzerdefinierte Installation (`npm i -g @opengsd/gsd-pi`) im persistenten Coding-Agents-Workspace. Derzeit als experimentelles Modul enthalten.
Use-Cases, die diesen Baustein nutzen
User Defined Coding Agents
ExperimentellDer Coding-Agents-Workspace bündelt neben Codex und OpenCode auch eine „User Defined"-Variante: ein eigener, von rzfz.ai entwickelter Container mit Terminal und geschützter Sandbox, in dem Nutzer einen beliebigen Coding-Agent ihrer Wahl installieren — etwa Gemini CLI oder Claude Code — und zentral rund um die Uhr betreiben, statt eines vorkonfigurierten Werkzeugs. Neu in 2026.07-ga. Derzeit als experimentelles Modul enthalten.
Daten & Dokumente
Gotenberg konvertiert HTML, Markdown und Office-Dokumente per Chromium und LibreOffice in PDF über eine REST-API. Im Stack dient es als Konvertierungs-Backend für Paperless-ngx und ist auch aus Dify-Workflows heraus nutzbar; es läuft rein intern.
Docling
ExperimentellDocling vereinfacht die Dokumentenverarbeitung: Es parst unterschiedlichste Formate — einschließlich fortgeschrittenem PDF-Verständnis — und fügt sich nahtlos in das generative-KI-Ökosystem ein. Es unterstützt unter anderem PDF, DOCX, PPTX, XLSX, HTML sowie Bildformate als Eingabe und exportiert nach Markdown, HTML oder JSON. Für agentische KI bringt es Plug-and-play-Integrationen mit LangChain, LlamaIndex, CrewAI und Haystack mit und läuft als API- oder MCP-Server. Derzeit als experimentelles Modul enthalten.
Use-Cases, die diesen Baustein nutzen
Presidio
ExperimentellPresidio ist ein ursprünglich von Microsoft gestartetes, inzwischen an die Data Privacy Stack-Organisation übergegangenes Werkzeug zur PII-Erkennung: Analyzer, Anonymizer und Image Redactor erkennen und schwärzen über 30 Arten personenbezogener Daten in Text und Bildern. Im Stack läuft es rein intern als Vorverarbeitungsschritt, bevor Dokumente an andere Module weitergereicht werden. Derzeit als experimentelles Modul enthalten.
Use-Cases, die diesen Baustein nutzen
Apache Tika
ExperimentellApache Tika extrahiert Text, Metadaten und Sprache aus über tausend Dateiformaten. Im Stack läuft es rein intern als Extraktions-Backend für Paperless-ngx. Derzeit als experimentelles Modul enthalten.
Stirling PDF
ExperimentellStirling PDF ist eine leistungsfähige, quelloffene PDF-Bearbeitungsplattform, die als Desktop-App, im Browser oder auf eigenen Servern mit privater API läuft. Sie bringt über 50 PDF-Werkzeuge für Bearbeiten, Zusammenführen, Teilen, Signieren, Schwärzen, Konvertieren, OCR und Komprimieren mit sowie Enterprise-Funktionen wie Single Sign-on und Auditing. Derzeit als experimentelles Modul enthalten.
Crawl4AI
ExperimentellCrawl4AI ist ein auf LLMs zugeschnittener Web-Crawler, der Seiteninhalte per Chromium/Playwright abruft und als sauberes Markdown oder JSON aufbereitet. Im Stack liefert es die inhaltliche Vertiefung von Webinhalten für LightRAG, Cognee, Onyx und Dify — anders als SearXNGs reine URL-Recherche. Derzeit als experimentelles Modul enthalten.
Onyx
ExperimentellOnyx ist eine Unternehmenssuche mit semantischer Suche und LLM-Antworten über mehr als 40 Konnektoren, mit eigenem Vespa-Suchindex und eigenen Embedding-Servern. Im Stack kann es Gitea und Paperless-ngx als Datenquellen anbinden und ist mit sechs Containern das ressourcenintensivste Modul des Stacks. Derzeit als experimentelles Modul enthalten.
Paperless-ngx
ExperimentellPaperless-ngx macht aus physischen Dokumenten ein durchsuchbares Online-Archiv — kurz: weniger Papier. Es ist der offizielle Nachfolger früherer Paperless-Versionen und wird community-getrieben weiterentwickelt. Derzeit als experimentelles Modul enthalten.
Standardanwendungen & Security
Open WebUI ist eine erweiterbare, funktionsreiche und benutzerfreundliche, selbst gehostete KI-Plattform, die vollständig offline arbeitet. Sie unterstützt verschiedene LLM-Runner wie Ollama und OpenAI-kompatible APIs und bringt eine eigene RAG-Inferenz-Engine mit. Dazu kommen granulare Zugriffskontrollen, Echtzeit-Zusammenarbeit über Channels, persistentes Gedächtnis sowie Sprach- und Video-Funktionen — im Stack ergänzt um Speaches für Spracheingabe und -ausgabe und SearXNG für die Websuche.
Use-Cases, die diesen Baustein nutzen
Dify ist eine Open-Source-Plattform zur Entwicklung von LLM-Anwendungen, die mehrere Fähigkeiten in einer Oberfläche bündelt: einen visuellen Workflow-Editor, eine Prompt-IDE, RAG-Pipelines für Dokumenten-Ingestion, Agent-Funktionen mit über 50 eingebauten Werkzeugen sowie LLMOps zur Überwachung produktiver Anwendungen. Sie unterstützt hunderte proprietäre und quelloffene Sprachmodelle; im Stack läuft die selbst gehostete Community Edition gegen das lokale GPUStack-Backend.
Use-Cases, die diesen Baustein nutzen
SearXNG ist eine Metasuchmaschine, die Ergebnisse mehrerer Suchdienste zusammenführt, ohne Nutzer zu verfolgen oder zu profilieren. Im Stack dient sie der Webrecherche, zum Beispiel in Open WebUI und in Dify. SearXNG ist quelloffen und steht unter der AGPL-3.0-Lizenz.
Gitea ist eine in Go geschriebene, selbst gehostete Software-Entwicklungsplattform für einen unkomplizierten All-in-one-Entwicklungsdienst. Sie bündelt Git-Hosting, Code-Review, Issue-Tracking, ein Kanban-Board, Wiki, Team-Zusammenarbeit, eine Paket-Registry sowie CI/CD-Funktionen über Gitea Actions, die GitHub-Actions-Workflows wiederverwenden können. Dank Go läuft Gitea auf zahlreichen Plattformen und Architekturen, von Linux und macOS bis Windows, FreeBSD und OpenBSD.
Use-Cases, die diesen Baustein nutzen
Matrix
ExperimentellMatrix ist ein offenes Netzwerk und ein offener Standard für sichere, dezentrale und interoperable Echtzeitkommunikation. Synapse, die im Stack eingesetzte Server-Implementierung, wird von Element als quelloffener Matrix-Homeserver entwickelt und gepflegt. Derzeit als experimentelles Modul enthalten.
Vaultwarden
ExperimentellVaultwarden ist eine alternative, in Rust geschriebene Server-Implementierung der Bitwarden-Client-API, kompatibel mit den offiziellen Bitwarden-Clients und für den Selbstbetrieb ausgelegt. Sie unterstützt nahezu alle wesentlichen Bitwarden-Funktionen, darunter persönliche Tresore, Organisationen, Zwei-Faktor-Authentifizierung und administrative Werkzeuge. Das Projekt wird von der Community gepflegt und ist nicht offiziell mit Bitwarden, Inc. verbunden. Derzeit als experimentelles Modul enthalten.
Infisical
ExperimentellInfisical ist ein Secrets-Management-Dienst für Entwicklerinnen und Entwickler mit Projekt-/Umgebungs-Scoping über CLI und REST-API. Im Stack nutzen ihn unter anderem KI-Coding-Agents wie OpenHands, um Zugangsdaten zur Laufzeit abzurufen, abgesichert über Authentik-SSO. Derzeit als experimentelles Modul enthalten.
Betrieb
Basis: docker-volume-backup von Offen — von razzfazz.ai GmbH als Container für den Stack gebaut.
Der Backup-Dienst wird von rzfz.ai als Container gebaut, das eigentliche Werkzeug — docker-volume-backup — stammt von Offen. Es sichert nachts automatisiert und GPG-verschlüsselt alle Datenbanken und Volumes des Stacks, legt vor dem Volume-Snapshot einen Datenbank-Dump an und hält Backups nach einer konfigurierbaren Aufbewahrungsfrist vor.
Das Config-Portal ist die von rzfz.ai entwickelte zentrale Oberfläche zur Konfiguration des Stacks: Module ein- und ausschalten, Einstellungen und Secrets verwalten, TLS-Zertifikate hochladen, Backups anstoßen und einen Factory-Reset auslösen. Es schreibt Änderungen direkt in die Docker-Compose-Konfiguration und wendet sie an.
Das Help-Center ist eine von rzfz.ai entwickelte, lokal gehostete Dokumentations-Oberfläche für den Stack. Sie rendert die mitgelieferten Anleitungen und Referenzseiten, sodass Support-Inhalte auch ohne Internetverbindung verfügbar sind.
Das Start-Portal ist eine von rzfz.ai entwickelte Landingpage nach dem Login: Es liest die aktivierten Module aus der Compose-Konfiguration aus und verlinkt direkt auf jede freigeschaltete Anwendung.
Licenses ist die von rzfz.ai entwickelte Lizenzübersicht des Stacks: Sie zeigt Aktivierungsstatus und Umfang der freigeschalteten Module und Bundles.
Autoheal überwacht die Docker-Health-Checks aller Container und startet fehlerhafte Container automatisch neu. Im Stack ist es gezielt für die GPUStack-Familie und den Presidio-Analyzer aktiviert, deren Worker-Prozesse gelegentlich hängen bleiben.
Komodo ist ein Dashboard für Container-Gesundheit, Logs und Neustart-Steuerung. Im Stack überwacht es alle Docker-Compose-Stacks über eine eigene, vom Hauptsystem getrennte Datenbank.
LLMs & RAG
GPUStack ist ein quelloffener GPU-Cluster-Manager für KI-Modell-Serving und GPU-Instanz-Bereitstellung. Es orchestriert Inferenz-Engines wie vLLM, SGLang und TensorRT-LLM über lokale Server, Kubernetes und Cloud-Umgebungen hinweg und deckt ein breites Hardware-Ökosystem ab, von NVIDIA- und AMD-GPUs bis zu Ascend-, Hygon- und weiteren Beschleunigern. Zu den Kernfunktionen zählen automatisierte Engine-Konfiguration, „Day-0"-Unterstützung neu erschienener Modelle sowie Monitoring und Zugriffskontrollen. Im rzfz.ai Stack wird die Inferenz über ein llama.cpp-Backend mit Vulkan (GGUF-Modelle) betrieben.
Use-Cases, die diesen Baustein nutzen
- KI-gestützte Jahresabschlussprüfung & Dokumentation
- Support-E-Mail-Klassifikation im IT-Betrieb
- Zentrale RAG-Knowledgebase für die Produktionssteuerung
- Lokale Bildanalyse in der Patientenversorgung
- Framework für Digitalisierungs-Consulting
- Risikoassessment von Anforderungen
- TARIC-Warencodes per RAG finden
Speaches ist ein Speech-to-Text- und Text-to-Speech-Dienst, der Audio lokal über eine OpenAI-kompatible API transkribiert und synthetisiert. Im Stack liefert es Spracheingabe und -ausgabe für Open WebUI und läuft rein intern.
Cognee
ExperimentellCognee baut aus Dokumenten und Datenquellen einen Wissensgraphen und beantwortet Fragen per GraphRAG — präziser als reine Vektorsuche. Im Stack dient es als zentrales „Company Brain", auf das Chat, Workflows und Agents über die MCP-Registry zugreifen. Derzeit als experimentelles Modul enthalten.
Use-Cases, die diesen Baustein nutzen
LightRAG
ExperimentellLightRAG ist ein zweistufiges GraphRAG-Framework, das Entitäten und Beziehungen für präzisere Retrieval-Antworten verknüpft. Im Stack nutzt es GPUStack für Embeddings und Graph-Aufbau und dient als leichtgewichtige Alternative zu Cognee für kleinere Wissensbasen. Derzeit als experimentelles Modul enthalten.
Use-Cases, die diesen Baustein nutzen
Observability
ExperimentellObservability (OpenLIT + ClickHouse) misst Kosten, Latenz, Token-Verbrauch und Prompts für jeden LLM-Aufruf, der durch die Chat-Pipeline läuft. Im Stack ist der Zugriff über eine eigene Authentik-Gruppe beschränkt, und ein PII-Filter schwärzt Prompt- und Antworttext standardmäßig. Derzeit als experimentelles Modul enthalten.
Core
Caddy ist der Reverse Proxy des Stacks und sein einziger externer Eintrittspunkt: Alle Anfragen laufen über die Ports 80/443, TLS-Zertifikate verwaltet Caddy automatisch. Ein Rate-Limit-Plugin schützt die Login-Endpunkte.
PostgreSQL mit der pgvector-Erweiterung ist die relationale Datenbank des Stacks — eine Instanz mit einer eigenen Datenbank pro Modul. Sie speichert die Daten von Open WebUI, Dify, Authentik, GPUStack und weiteren Modulen und liefert zugleich die Vektor-Suche für RAG.
Authentik ist der Identity Provider des Stacks: Single Sign-on, rollenbasierte Zugriffskontrolle und Multi-Faktor-Authentifizierung. Er sitzt als Forward-Auth-Gate hinter Caddy vor jedem Modul und entscheidet anhand von Gruppenmitgliedschaften, wer welche Anwendung erreichen darf.
Valkey ist ein Redis-kompatibler In-Memory-Datenstruktur-Store für Caching und Message-Queues. Im Stack teilen sich mehrere Module eine gemeinsame Instanz, jedes über einen eigenen Datenbank-Index getrennt.
Der SMTP-Relay ist ein Postfix-Mailserver für ausgehende Systemnachrichten. Er läuft ausschließlich intern und versendet Benachrichtigungen und Passwort-Resets für Module wie Authentik und Dify, entweder über einen externen Provider oder direkt per MX-Versand.
Der Docker-Socket-Proxy ist ein gefilterter Zugriffspunkt auf die Docker-API. Module, die Container verwalten müssen — etwa Config-Portal, Backup-Dienst, Agent-Manager oder Authentik — sprechen ausschließlich über diesen Proxy mit Docker, niemals über den ungeschützten Host-Socket.
- von razzfazz.ai GmbH entwickelt
- Experimentell
Agenten-Architektur — pro Benutzer, sandboxed, alles lokal
Der Agent-Manager gibt jedem Benutzer einen eigenen, sandboxed Agenten — erreichbar von jeder lokalen Chat-Oberfläche, ganz ohne Cloud.
Lokal auf Ihrer Box · keine Cloud
Zugang — nativ, überall lokal
Open WebUI
Web-Terminal (OpenCode)
Matrix
Hermes · Moltis persönliche Agenten
Agent-Manager provisioniert · pro Benutzer · sandboxed
Pro Benutzer: sandboxed Agent-Instanzen
Sandbox
Agent · Benutzer A
Sandbox
Agent · Benutzer B
Gemeinsame lokale Dienste
Local LLM Inferenz
RAG / Wissen Cognee · LightRAG
Dokumente Docling · Tika
Tools via MCP MCP-Manager → Gitea · Websuche
Was der Stack für Sie tut
Sieben Kernfähigkeiten, sofort einsatzbereit auf Ihrer eigenen Hardware — jede davon bereits im Einsatz bei echten Anwendungsfällen.
Local Workflow Automation
Geschäftsprozesse mit KI automatisieren — auf eigener Hardware
Aus der Praxis →Local Knowledgegraph Brain
Ein zentrales Company Brain für Agents, Chat und Workflows
Aus der Praxis →Local Personal Agents
Persönliche KI-Agenten pro Mitarbeiter — ohne Telegram, ohne WhatsApp
Local Coding Agents
Kein Code verlässt die Box
Aus der Praxis →Document OCR & Interpretation
Von PDF zu strukturierten Daten — lokal
Aus der Praxis →PII Redaction
Personenbezogene Daten erkennen und schwärzen — in Text und Bild
Aus der Praxis →Features
Der rzfz.ai Stack — der integrierte Open-Source-Stack für lokale KI-Infrastruktur — deckt sieben Kernszenarien end-to-end ab. Jedes Feature kombiniert mehrere Module zu einem fertigen Anwendungsfall, komplett auf Ihrer eigenen Hardware.
Local Chat
ChatGPT-Komfort, ohne dass ein Wort das Haus verlässt
Open WebUI ist die zentrale Chat-Oberfläche für alle Modelle auf der Box — mit Retrieval-Augmented Generation, Websuche und Sprachein-/ausgabe in einer Oberfläche. Im Hintergrund übernimmt GPUStack mit llama.cpp die Inferenz auf der eigenen GPU, sodass jede Anfrage lokal beantwortet wird. Weil Modell, Vektorsuche und Oberfläche auf derselben Infrastruktur laufen, verlässt kein Prompt und keine Antwort das Haus — ganz ohne externe API-Anbindung. In der Praxis dient Open WebUI als Frontend für zentrale Wissensdatenbanken und branchenspezifische RAG-Anwendungen, von der Produktionssteuerung bis zum Außenhandel.
Module: Open WebUI, GPUStack + llama.cpp
Aus der Praxis: Zentrale RAG-Knowledgebase für die Produktionssteuerung , TARIC-Warencodes per RAG finden
Local Workflow Automation
Geschäftsprozesse mit KI automatisieren — auf eigener Hardware
Dify orchestriert Geschäftsprozesse als visuelle Workflows — von einfacher Klassifikation bis zu mehrstufigen Dokument-Pipelines mit Freigabeschritten. Jede Node im Workflow läuft gegen die lokalen Modelle des Stacks, sodass sich Automatisierungen ohne Programmierkenntnisse zusammenklicken und direkt gegen echte Geschäftsdaten testen lassen. Weil Orchestrierung und Inferenz auf derselben Box laufen, bleiben sensible Mandanten- und Kundendaten während der gesamten Verarbeitung im Haus. Im Einsatz klassifiziert Dify so bereits Support-E-Mails bei einem IT-Dienstleister, unterstützt Buchhaltungsprozesse in der Steuerberatung und strukturiert Digitalisierungsprojekte im Consulting.
Module: Dify
Aus der Praxis: Support-E-Mail-Klassifikation im IT-Betrieb , KI-gestützte Jahresabschlussprüfung & Dokumentation , Framework für Digitalisierungs-Consulting
Local Knowledgegraph Brain
Ein zentrales Company Brain für Agents, Chat und Workflows
Cognee baut einen Wissensgraphen über Ihre Dokumente und Systeme auf und beantwortet Fragen per GraphRAG statt reiner Stichwortsuche — präziser bei komplexen Zusammenhängen und über Dokumentgrenzen hinweg. Im Stack dient es als gemeinsames Gedächtnis, auf das Chat, Workflows und Agents über die MCP-Registry zugreifen, statt dass jedes Modul sein eigenes Wissen vorhält. Weil der Wissensgraph vollständig auf der eigenen Hardware entsteht, bleiben interne Dokumente und Prozesswissen im Haus — Cognee ist derzeit als experimentelles Modul enthalten und wird laufend weiterentwickelt. Bei einem Produktionsbetrieb bündelt es bereits Anleitungen, Störfall-Historie und Prozessdokumentation zu einer zentralen Wissensbasis, die Mitarbeitende einfach per Chat abfragen.
Module: Cognee
Aus der Praxis: Zentrale RAG-Knowledgebase für die Produktionssteuerung
Local Personal Agents
Persönliche KI-Agenten pro Mitarbeiter — ohne Telegram, ohne WhatsApp
Jeder Mitarbeiter provisioniert über den Agent Manager seine eigenen persönlichen Agenten — Hermes als Python-Agent mit persistentem Gedächtnis und über 30 Werkzeugen, Moltis als in Rust geschriebener Agent-Server mit Matrix-Anbindung. Angesprochen werden sie ganz normal über Open WebUI, ohne dass dafür Telegram, WhatsApp oder ein anderer externer Messenger nötig wäre. Weil Agent Manager, Hermes und Moltis auf derselben Box laufen wie die Modelle, bleiben Gedächtnisinhalte und Konversationen vollständig lokal — alle drei Module sind derzeit als experimentelle Bausteine des Stacks enthalten. Damit lassen sich persönliche Assistenten aufbauen, die sich an frühere Anfragen erinnern und eigenständig Aufgaben übernehmen, ohne dass Daten je die eigene Infrastruktur verlassen.
Module: Agent Manager, Hermes, Moltis
Local Coding Agents
Kein Code verlässt die Box
Coding-Agenten laufen im geschützten Container-Terminal auf Box oder Master — mit Zugriff auf das lokale Gitea und die On-Box-Coding-Modelle. Sie übernehmen abgegrenzte Aufgaben wie Testabdeckung erhöhen, Refactorings oder Spezifikations-getriebene Implementierung und stellen ihre Ergebnisse als Merge Requests. Weil Modelle, Code und Git-Server auf derselben Infrastruktur liegen, braucht es weder externe API-Keys noch verlässt eine Zeile Code das Haus. Bei Kunden läuft so bereits ein Agent, der rund um die Uhr die Unit-Test-Coverage erhöht.
Module: Codex, OpenCode, gsd-pi, Gitea, OpenHands
Aus der Praxis: 24×7-Dev-Agent erhöht die Testabdeckung , Lokales Coding mit On-Box-Modellen
Document OCR & Interpretation
Von PDF zu strukturierten Daten — lokal
Docling, Tika und Gotenberg lesen, konvertieren und interpretieren Dokumente jeder Art — von PDFs und Office-Dateien bis zu gescannten Belegen mit Layout-Analyse. Vision-Modelle auf der eigenen GPU übernehmen die Bilderkennung, während Stirling PDF als Werkzeugkasten für Zusammenführen, Teilen und Konvertieren bereitsteht. Weil die gesamte Pipeline — Erkennung, Konvertierung und Vision-Inferenz — auf derselben Infrastruktur läuft, verlassen Rechnungen, Verträge und andere sensible Dokumente nie das Haus; Docling, Tika und Stirling PDF sind derzeit als experimentelle Module enthalten. Im Einsatz liest diese Pipeline bereits Belege für die Vorverarbeitung in der Steuerberatung und extrahiert eingehende Kundendokumente, bevor sensible Daten geschwärzt werden.
Module: Docling, Apache Tika, Gotenberg, Stirling PDF
Aus der Praxis: KI-gestützte Jahresabschlussprüfung & Dokumentation , Dokumentenextraktion und Schwärzung sensibler Daten
PII Redaction
Personenbezogene Daten erkennen und schwärzen — in Text und Bild
Microsoft Presidio erkennt und anonymisiert personenbezogene Daten in Dokumenten-Pipelines, bevor sie an andere Module weitergereicht werden — über 30 Kategorien, in Text ebenso wie in Bildern. Der Analyzer identifiziert sensible Stellen, der Anonymizer schwärzt oder ersetzt sie, und der Image Redactor übernimmt dieselbe Aufgabe für Fotos und Scans. Presidio läuft rein intern als Vorverarbeitungsschritt auf derselben Box wie die übrigen Module — personenbezogene Daten werden also geschwärzt, bevor sie überhaupt an ein Sprachmodell gehen; das Modul ist derzeit als experimenteller Baustein des Stacks enthalten. Eingesetzt wird es bereits, um eingehende Kundendokumente zu schwärzen und um bei der Bildanalyse in der Patientenversorgung sensible Gesundheitsdaten vollständig in der Einrichtung zu behalten.
Module: Presidio
Aus der Praxis: Dokumentenextraktion und Schwärzung sensibler Daten , Lokale Bildanalyse in der Patientenversorgung
Der Stack in Aktion
Management-UI
Alles zentral verwalten
Die von rzfz.ai entwickelte Management-UI steuert den gesamten Stack — Backup & Restore, Updates, Secrets, Nutzerverwaltung. Keine Shell nötig.
Agenten
Persönliche & Coding-Agenten
Der Agent-Manager gibt jedem Nutzer eigene, persistente Agenten. Coding-Agenten arbeiten in einer Sandbox im Stack — der Quellcode verlässt dabei nie die Box.
Lokales LLM
Modelle laufen lokal — GPUStack
GPUStack betreibt die Sprachmodelle auf Ihrer eigenen Hardware — keine Anfrage geht an eine Cloud.
Datenschutz
Personenbezogene Daten bleiben geschwärzt
Presidio erkennt und schwärzt personenbezogene Daten, bevor ein Dokument weiterverarbeitet wird — automatisiert, lokal und nachvollziehbar.
Wissensgraph
Das Gedächtnis Ihrer Organisation
Cognee verwandelt Ihre Dokumente in einen lebenden Wissensgraphen — Entitäten, Beziehungen und Zusammenfassungen, über die Ihre Agenten wie über ein gemeinsames Gedächtnis schließen. Alles lokal auf Ihrer Box.
Von rzfz.ai entwickelt
Der Stack ist mehr als die Summe seiner Open-Source-Teile: diese Bausteine entwickeln wir selbst — die First-Party-Schicht, die aus loser OSS ein Produkt macht.
Config-UI
Die Management-UI: der ganze Betrieb, eine Oberfläche
Die von rzfz.ai entwickelte Management-UI ist die Schaltzentrale des Stacks — kein reines Backup-Werkzeug, sondern ein vollständiges Betriebs-Cockpit: Module ein- und ausschalten, Secrets verwalten, Updates einspielen, Backups anstoßen, Zertifikate hochladen und im Ernstfall einen Factory-Reset auslösen.
Ein Dashboard, viele Ansichten — Module, Modulkonfiguration, Help Center und Lizenzen darunter.
Start-Portal
Start-Portal: ein Klick zu jedem Modul
Nach dem Login landen Nutzer im von rzfz.ai entwickelten Start-Portal — einer Landingpage, die automatisch alle freigeschalteten Module verlinkt. Kein Lesezeichen-Wirrwarr, keine Suche nach der richtigen URL.
Agent-Manager
Agent-Manager: persönliche & Coding-Agenten verwalten
Der Agent-Manager gibt jedem Nutzer eigene, persistente Agenten — inklusive Coding-Agenten, die in einer Sandbox im Stack arbeiten. Der MCP-Manager verdrahtet dazu passende Integrationen automatisch mit den Agenten.
Eigener Coding-Agent
Ihr eigenes Coding-Agent-Werkzeug einbinden
Wer sein eigenes Coding-Agent-Werkzeug bevorzugt, installiert es als nutzerdefinierten Coding-Agenten im persistenten Workspace — direkt über den Agent-Manager konfiguriert.
Alle sieben Bausteine im Überblick
Config Portal
Config-Portal — zentrale Oberfläche zur Konfiguration des rzfz.ai Stacks
Help Center
Help-Center — lokal gehostete Dokumentation und Support-Artikel für den Stack
Start Portal
Start-Portal — Landingpage mit Links zu allen freigeschalteten Modulen des Stacks
Licenses
Lizenzverwaltung — Aktivierung und Status der freigeschalteten Module und Bundles
Agent Manager
Agent-Manager — Verwaltung und Überwachung aller im Stack laufenden Agents
MCP Manager
MCP-Manager — Registrierung und Freigabe von MCP-Servern für Agents
User Defined Coding Agents
Nutzerdefinierte Coding-Agents — freie Auswahl des eigenen Coding-Agent-Werkzeugs im persistenten Workspace
"Nothing leaves the box unless a module is explicitly configured to reach out."
Härtung & Compliance
Der rzfz.ai Stack — der integrierte Open-Source-Stack für lokale KI-Infrastruktur — ist für den Unternehmenseinsatz gehärtet: Identität, Netzwerk und Compliance sind von Grund auf mitgedacht, nicht nachgerüstet.
Identität & Zugriff
Authentik steht vor jedem Modul — kein Dienst ist ohne Anmeldung erreichbar. Rollenbasierte Zugriffskontrolle (RBAC) und Multi-Faktor-Authentifizierung (MFA) sind Standard, nicht Zusatzoption.
Netzwerkhärtung
- Caddy ist der einzige extern erreichbare Eintrittspunkt — mit Rate-Limiting gegen Missbrauch.
- Der Docker-Daemon ist nie direkt exponiert; ein Docker-Socket-Proxy vermittelt jeden Zugriff.
- Ein SSRF-Proxy filtert ausgehende HTTP-Aufrufe aus Workflows, bevor sie das Netzwerk verlassen.
- Alle Dienst-Ports sind auf localhost gebunden — nichts lauscht auf einer öffentlichen Schnittstelle.
Compliance
Die Security-Dokumentation enthält Mapping-Tabellen zu NIS2 und ISO 27001 sowie eine Einordnung nach dem OWASP LLM Top 10. Jedes Release wird mit SBOM und Security-Assessment ausgeliefert.
Secrets & Backups
Rotations-Tooling für Secrets und GPG-verschlüsselte Backups gehören zum Standardbetrieb — keine Klartext-Zugangsdaten, keine unverschlüsselten Sicherungen.
Kommerzieller Betrieb
Community-Version, rzfz.ai Subscription und die separat buchbaren Dienstleistungen sind auf der Enterprise-Seite im Detail beschrieben — inklusive Preisen und dem, was ausdrücklich nicht enthalten ist.
Releases
Der rzfz.ai Stack — der integrierte Open-Source-Stack für lokale KI-Infrastruktur — wird nach CalVer versioniert und erscheint aktuell in einem monatlichen Release-Zyklus. Die folgende Liste zeigt alle Releases, neueste zuerst.
Roadmap
2026.09 und darüber hinaus
Richtungsweisend — geplante Funktionen, Änderungen vorbehalten.
Kommt in 2026.09
- LLM Manager — eine Konsole für die gesamte Inferenz-Flotte: Worker-Verwaltung, Modell-Deployment direkt aus dem HuggingFace-Katalog, Live-Dashboards, Playground sowie Nutzungs- und Kostenübersicht pro API-Key.
- Verwaltete Worker-Nodes — zusätzliche Inferenz-Knoten per Kommando anbinden; Runner-Images werden zentral vom Master verteilt, aktualisiert und bei Fehlern zurückgerollt.
- Vereinheitlichtes Agenten-Portal — alle persönlichen Agenten (Coding-Tools, Hermes, Moltis) in einer Oberfläche mit Multi-Pane-Ansicht.
- Stack-weite LLM-Observability — Chat, Workflows und Agenten liefern Kosten-, Latenz- und Token-Metriken in ein gemeinsames Dashboard.
- Plattform-Aktualität — Open WebUI 0.11, Dify 1.16.1 und ein Basis-Image-Refresh über den gesamten Stack.
Am Horizont
- Log- und Metrik-Export in kundeneigene SIEM- und Monitoring-Systeme.
- Unterstützung neuer Modellarchitekturen und schnellere Inferenz durch spekulatives Decoding.
- GRC-Bausteine für Security-Monitoring und ISMS-Unterstützung (in Evaluierung).
-
v2026.08-ga
Offline- & Air-Gapped-Betrieb: die Box läuft, installiert und aktualisiert komplett ohne Internet.
- Offline & Air-Gapped — Installation, Updates und Modul-Betrieb ohne Internetzugang: Offline-Pakete inkl. aller Images, Vollständigkeits-Prüfung vor jedem Neustart, optionale Kernel-seitige Egress-Versiegelung des Hosts.
- Apple-Silicon-Inferenz — Mac-Rechner dienen als lokale Inferenz-Knoten und werden über ein Gateway nahtlos in die Box integriert.
- rzfz.ai ShortCuts — kuratierte Mini-Apps für Fachanwender, verwaltet über das Start-Portal.
- Enterprise-Dokumentationsportal — zugriffsgeschützte Kundendokumentation unter docs.rzfz.ai.
- Domänenwechsel per Klick — ein geänderter Box-Domainname zieht jetzt vollständig durch: SSO-Provider, Login-URLs und alle Dienste folgen automatisch.
- Passwort-Manager gehärtet — Vaultwarden speichert in PostgreSQL (Teil des Standard-Backups), SSO-Login-Probleme behoben, Kompatibilität mit aktuellen Bitwarden-Clients.
- Sicherheits- und Aktualitäts-Sweep — u. a. kritischer Gitea-Hotfix (CVE-2026-59774), Updates für Matrix, LightRAG, Valkey und Basis-Images; vier gehärtete interne Auth-Pfade.
- Kontinuierlich gehärtet über 15 Patch-Releases; öffentliche Downloads jetzt auf GitHub (github.com/rzfz-ai/rzfz-ai-service-stack).
-
v2026.07-ga
Open-Core-Lizenzmodell wird öffentlich: Apache-2.0-Community, rzfz.ai Subscription und Coding-Agent-Workspaces
- Open-Core-Lizenzmodell veröffentlicht — freie Apache-2.0-Community-Stufe, quellverfügbare BUSL-1.1-Stufe unter der rzfz.ai Subscription, Lizenzübersicht unter license.<domain>, öffentlicher GitHub-Mirror und Community-Wiki
- Coding-Agent-Workspaces — persönliche Coding-Agents jetzt als sandboxte Container je Typ (OpenCode, Codex, nutzerdefiniert) mit Live-Preview der Web-App sowie persönlichen MCP-Integrationen und Memory
- Dify 1.15.0 — der doppelte SSO-Login-Prompt entfällt
-
v2026.06-ga
Ein Default-Modell: qwen3.6 mit 1M Kontext für Chat, Coding und Vision
- qwen3.6 als einziges Standardmodell für Chat, Coding, allgemeine Aufgaben und Vision bei 1M Kontext — kein Modell-Jonglieren je Rolle mehr
- Dokumenten-Q&A funktioniert direkt — Reranker- und Chunking-Defaults für RAG sind vorkonfiguriert
- Stabilere Upgrades — Standard- und 2026.04-Upgradepfad validiert, mit Self-Healing und Journaling für den Upgrade-Prozess
- USB-Image für unbeaufsichtigte Installation — ein bootbares USB-Medium installiert Ubuntu 26.04 unbeaufsichtigt und bereitet den Stack für den ersten Start vor
- Audit-ready Compliance-Tabellen — strukturierte NIS2 (EU 2022/2555) und ISO/IEC-27001:2022-Nachweise im Security-Handbuch
-
v2026.05-ga
Personal Agents pro Benutzer: Hermes, Moltis und Coding Agents im „My Agents"-Drawer
- rzfz.ai Start Portal — Kachel-Launcher mit per-User-Pinning
- Neues Modul Crawl4AI und Observability-Profil (OpenLIT + ClickHouse)
- Open WebUI ↔ Dify Manifold Pipe
-
v2026.04-GA
Ein Befehl von Grundinstallation zu vollständig konfiguriertem Stack: razzfazz-post-install.sh
- razzfazz-post-install.sh automatisiert GPUStack-Modell-Deployment sowie Open-WebUI- und Dify-Einrichtung in einem Schritt
- Zwei experimentelle RAG-Module: LightRAG (graph-basiert) und Cognee mit FalkorDB
- Verschlüsselte .env-Snapshots vor jeder Konfigurationsänderung; Fix für AMD-GPU-Inferenz
Systemvoraussetzungen
Der rzfz.ai Stack — der integrierte Open-Source-Stack für lokale KI-Infrastruktur — unterstützt ausschließlich Ubuntu 26.04 LTS als Betriebssystem. Für jedes Einsatzprofil gilt derselbe Anspruch: Wir nennen die Grenzen, bevor Sie sie finden.
rzfz.ai Box
AMD Strix Halo (Ryzen AI MAX+), 128 GB Unified Memory
32 GB Container-Budget + 96 GB VRAM (auf 110 GB erweiterbar)
Voraussetzungen
- Ubuntu 26.04 LTS (vorinstalliert)
- Netzwerkzugang, Ports 22/80/443
Einschränkungen
- Nur AMD-Inferenz — kein NVIDIA/CUDA-Pfad auf der Box
- vLLM auf Strix Halo derzeit nicht unterstützt (Produktion: llama.cpp via Vulkan)
- Das 32-GB-Container-Budget begrenzt, wie viele Module gleichzeitig laufen
- Eine intensive Agent-Loop zur Zeit — Richtwert ~1 Box je 6–10 Mitarbeiter
Eigener Server / VM ohne GPU
Beliebiger Ubuntu-26.04-Host, ~16–24 GB RAM
Voraussetzungen
- Ubuntu 26.04 LTS, Kernel 7.x
- Docker Engine + Compose v2
Einschränkungen
- CPU-Inferenz ist langsam — geeignet für leichte oder Batch-Workloads, nicht für interaktive Agents
- Als Steuerzentrale delegiert er die Inferenz an GPU-Worker (Boxen oder Cloud)
NVIDIA/CUDA-Server
Ubuntu-26.04-Host mit NVIDIA-GPUs — eigene Hardware oder GPU-Cloud
Voraussetzungen
- Ubuntu 26.04 LTS
- CUDA-fähige NVIDIA-GPU(s)
- Docker Engine + Compose v2
Einschränkungen
- Inferenz via llama.cpp auf CUDA, Modelle im GGUF-Format
- VRAM-Obergrenze ist eine Budget-, keine Architekturfrage
Cloud-Instanz
Jede Ubuntu-26.04-Cloud-Instanz — mit GPU als Worker, ohne GPU als Steuerzentrale
Voraussetzungen
- Ubuntu 26.04 LTS
- Docker Engine + Compose v2
Einschränkungen
- Datensouveränität hängt vom Cloud-Anbieter ab — für streng lokale Szenarien Box oder eigene Hardware wählen
Gemischte Flotten
Viele Teams kombinieren Profile statt sich auf eines festzulegen: eine Steuerzentrale ohne eigene GPU orchestriert mehrere rzfz.ai Boxen als lokale Inferenz-Worker und zieht bei Bedarf zusätzliche Cloud-GPU-Worker für Lastspitzen hinzu. So bleibt der Kernbetrieb lokal — für Spitzenlast werden aus der Cloud Ressourcen dazugebucht, ohne allerdings die Datensouveränität aufgeben zu müssen. Passende Kombinationen finden Sie unter Bundles.
Was brauchen Sie? Welches System haben Sie?
Tippen Sie eine Aufgabe oder Ihr System — wir sagen ehrlich, wie es zum Stack passt.
Wie Integration bei uns funktioniert
Vorverdrahtet
Ein Modul im Stack deckt es bereits ab — sofort einsatzbereit, ohne Zusatzaufwand.
Dify-Plugin
Der Dify Marketplace deckt es ab — der Stack erbt es automatisch. für Techniker
REST / MCP
Spricht Ihr System REST oder MCP, ist es direkt anbindbar — ohne Umweg.
Custom · von uns gebaut
Lokale, nischige Branchensoftware, die in keinem Katalog steht — genau dafür bauen wir die Integration.
-
Chat / Assistent
VorverdrahtetVorverdrahtet — Open WebUI liefert ChatGPT-Komfort, vollständig lokal.
Passende Use-Cases: Zentrale RAG-Knowledgebase für die Produktionssteuerung , TARIC-Warencodes per RAG finden
-
Wissensdatenbank / RAG
VorverdrahtetVorverdrahtet — cognee/LightRAG bauen ein lokales Company-Brain über Ihre Dokumente.
Passende Use-Cases: Zentrale RAG-Knowledgebase für die Produktionssteuerung , TARIC-Warencodes per RAG finden
-
Dokumentenanalyse / OCR
VorverdrahtetVorverdrahtet — Docling liest und strukturiert PDFs & Scans, inkl. OCR.
Passende Use-Cases: KI-gestützte Jahresabschlussprüfung & Dokumentation , Dokumentenextraktion und Schwärzung sensibler Daten
-
Datenschwärzung / PII
VorverdrahtetVorverdrahtet — Presidio erkennt und schwärzt personenbezogene Daten automatisch.
Passende Use-Cases: Dokumentenextraktion und Schwärzung sensibler Daten , Lokale Bildanalyse in der Patientenversorgung
-
Workflow-Automation
VorverdrahtetVorverdrahtet — Dify orchestriert Ihre KI-Workflows lokal.
Passende Use-Cases: Support-E-Mail-Klassifikation im IT-Betrieb , KI-gestützte Jahresabschlussprüfung & Dokumentation , Framework für Digitalisierungs-Consulting
-
Spracherkennung
VorverdrahtetVorverdrahtet — lokale Sprach-zu-Text-Verarbeitung, ohne Cloud.
-
E-Mail
REST / MCPÜber REST/MCP oder ein Dify-Plugin angebunden — IMAP/SMTP/Graph sprechen Standardprotokolle.
Passende Use-Cases: Support-E-Mail-Klassifikation im IT-Betrieb
-
MS Office / SharePoint
REST / MCPÜber die Microsoft-Graph-API (REST) oder ein Dify-Plugin angebunden.
-
Google Workspace
REST / MCPÜber die Google-Workspace-REST-APIs oder ein Dify-Plugin angebunden.
-
SAP
REST / MCPSAP spricht REST/OData — direkt anbindbar; komplexe Szenarien bauen wir als Custom-Integration.
-
BMD (Buchhaltung)
Custom · von uns gebautLokale Branchensoftware wie BMD steht in keinem Katalog — wir binden sie für Sie an.
Passende Use-Cases: KI-gestützte Jahresabschlussprüfung & Dokumentation
-
Sage DPW (HR)
Custom · von uns gebautHR-Systeme wie Sage DPW binden wir als Custom-Integration an — auch ohne offenen Katalog-Connector.
-
ERP / Warenwirtschaft
REST / MCPSpricht Ihr ERP REST/MCP, ist es direkt anbindbar; sonst bauen wir die Brücke.
-
Lokale / Branchen-Software
Custom · von uns gebautDie lokale, nischige Software, die in keinem Katalog steht — genau das ist unsere Stärke: wir binden sie an.
-
Beliebiges System mit API
REST / MCPAlles, was REST oder MCP spricht, integriert sich sofort.
-
Dify-Marketplace-Tool
Dify-PluginAlles aus dem Dify Marketplace erbt der Stack automatisch — für Techniker.
Kein Treffer — aber wenn es REST oder MCP spricht, binden wir es an. Fragen Sie uns.