Der rzfz.ai Stack

Der rzfz.ai Stack — der integrierte Open-Source-Stack für lokale KI-Infrastruktur — bündelt kuratierte Open-Source-Module als Docker-Compose-Container, hinter Caddy als einzigem extern erreichbaren Eintrittspunkt und Authentik SSO, auf der rzfz.ai Box, Ihren eigenen Ubuntu-26.04-Servern oder in der Cloud.

Die Stack Map

Vom Reverse Proxy bis zu den Agents — der komplette rzfz.ai Stack live aus den Daten, gruppiert nach Layer. Kachel anklicken, fokussieren oder darauf tippen für Details.

  • von razzfazz.ai GmbH entwickelt
  • Experimentell — neu im Stack und noch nicht lange im Feldeinsatz: funktionsfähig, aber möglicherweise noch fehlerhaft

Agentic AI

Daten & Dokumente

Standardanwendungen & Security

Betrieb

LLMs & RAG

Core

Ein Stack. Viele Formen.

Leertaste pausiert, Pfeiltasten springen zwischen den Szenen — sobald der Player den Fokus hat.

Text zum Film
  1. Auftakt

    Ein Stack. Viele Formen. rzfz.ai: lokale KI auf der Hardware Ihrer Wahl

  2. Eine Box: Schwärzung

    Alles auf einer Box. Docling liest, Presidio und das lokale LLM finden personenbezogene Daten. Nichts verlässt das Haus.

  3. Wissens-Chat

    Chatten mit Ihrem eigenen Wissen. Vektorsuche plus Wissensgraph, den das lokale LLM aufbaut. Alle Modelle laufen lokal.

  4. Team wächst

    Mehr Mitarbeitende? Mehr Boxen. Faustregel für Chat: eine Box je 4–15 Personen. Neue Boxen melden sich selbst an.

    Hunderte Support-Mails am Tag? Ein lokaler Workflow sortiert jede: Störung, Anfrage oder Rauschen.

  5. Master auf VM

    Den Master auf eine VM legen. Mehr CPU-Kerne und RAM für Dify, Open WebUI, Docling, Cognee und die Datenbank. Die Boxen übernehmen die Inferenz.

  6. Cloud: Kapazität oder Master

    Lastspitze? EU-Cloud-GPUs dazunehmen. Der LLM Manager auf Ihrer VM verteilt die Last auf Boxen und Cloud-GPUs (S, M oder L = 1, 2 oder 4).

    Oder den Master in der Cloud betreiben. Die Cloud-Instanz übernimmt die Steuerung und orchestriert Ihre Boxen als Worker.

  7. Entwickler

    NVIDIA-Leistung dazunehmen. Ihr eigener RTX-PRO-6000-Server oder eine GB10 kommt als Worker dazu.

    Entwickler verbinden ihre IDE. Jeder OpenAI-kompatible Client spricht mit llm.<domain>/v1, mit eigenem rzfz-sk-Key.

  8. Coding-Agent 24×7

    Ein Coding-Agent, der rund um die Uhr arbeitet. Agent Manager am Master: Harness, lokales Modell und Ihr Gitea. Er schreibt Tests und stellt Pull-Requests.

  9. Ihr eigener Mac

    Schon einen Mac Studio? Einfach anschließen. Ihre Hardware: unterstützt, nicht von uns verkauft. Der LLM Manager stellt seine Ollama-Modelle bereit.

  10. Eine Flotte

    Unsere, Ihre oder beides. Eine Flotte. Jede App spricht mit einer Tür. Der LLM Manager entscheidet, wo jede Anfrage läuft.

    Alles innerhalb der roten Linie läuft in Ihrer eigenen IT. Nur die optionale EU-Cloud läuft außerhalb.

  11. Abspann

    Lokal. Open Source. Unabhängig. Sicher. Lokale KI auf der Hardware Ihrer Wahl.

LLM-Manager — eine Konsole für alle Sprachmodelle Ihrer Box

Der LLM-Manager ist die Kontrollebene für die Sprachmodelle Ihrer Box. Er beantwortet an einer Stelle, welches Modell wo läuft, wer es aufrufen darf und was es verbraucht — und stellt Anwendungen einen einzigen OpenAI-kompatiblen Endpunkt bereit. Seit 2026.09 ist er die Vorderseite jeder Box für Inferenz; was die Modelle tatsächlich serviert, sitzt dahinter.

Eine Konsole für Ihre Modelle

Modelle aus einem kuratierten Katalog oder direkt aus einer Hugging-Face-Suche bereitstellen — auf dem Worker, der dafür passt. Vor dem Start prüft eine Zulassungskontrolle den tatsächlichen Speicher-Spielraum des Ziels: Was nicht hineinpasst, wird sofort abgelehnt, statt Minuten später zu scheitern.

Eine Flotte, nicht eine Box

Weitere Rechner treten mit einem Einzeiler bei, der den Zertifikats-Fingerabdruck Ihres Masters trägt — der neue Worker prüft kryptografisch, mit wem er spricht, bevor er irgendetwas sendet. Für Wartung stilllegen, Engine-Laufzeiten je Knoten aktualisieren (mit Rollback) und Schlüssel rotieren: alles aus der Konsole.

Souverän gebaut

Ihre Box trägt ihre eigene Registry. Modellgewichte und Engine-Laufzeiten erreichen die Worker von dort, bei der Auslieferung gegen ihren Digest geprüft — eine beschädigte oder veränderte Datei wird abgelehnt statt ausgeliefert. Ein Worker ohne eigenen Internetzugang bezieht alles vom Master.

Nachvollziehbar

Jede Anfrage wird in Tokens erfasst — Eingabe, Ausgabe, gecacht — je API-Schlüssel und Kostenstelle. Eine Währung gibt es im Produkt bewusst nicht: Sie sehen den Verbrauch, Ihre Preise bleiben in Ihrer Buchhaltung.

Agenten-Architektur — pro Benutzer, sandboxed, alles lokal

Der Agent-Manager gibt jedem Benutzer einen eigenen, sandboxed Agenten — erreichbar von jeder lokalen Chat-Oberfläche, ganz ohne Cloud.

Lokal auf Ihrer Box · keine Cloud

Zugang — nativ, überall lokal

Open WebUI
Web-Terminal (OpenCode)
Matrix
Hermes · Moltis persönliche Agenten
Agent-Manager provisioniert · pro Benutzer · sandboxed

Pro Benutzer: sandboxed Agent-Instanzen

Sandbox

Agent · Benutzer A

Sandbox

Agent · Benutzer B

Gemeinsame lokale Dienste

Local LLM Inferenz
RAG / Wissen Cognee · LightRAG
Dokumente Docling · Tika
Tools via MCP MCP-Manager → Gitea · Websuche

Neu in 2026.09: das Agenten-Portal

Die persönlichen Agenten jedes Benutzers — Coding-Agents, Assistenten, selbst definierte — liegen in einer einzigen Ansicht: Live-Status und Öffnen mit einem Klick, für Coding-Agents dazu die Vorschau des laufenden Entwicklungsservers. Ein Pane öffnet dabei auf der Oberfläche des Agenten selbst, nicht auf einem rohen Terminal; das Terminal bleibt als letzter Zugang eine Ebene tiefer erreichbar. Administratoren sehen und steuern die Agenten aller Nutzer — starten, stoppen, Speicher begrenzen — mit Prüfpfad, und die Agentenklassen laufen hinter einem optionalen Egress-Proxy, der ausgehende Verbindungen standardmäßig verweigert. Der Agent-Manager ist derzeit als experimentelles Modul enthalten.

Was der Stack für Sie tut

7 Kernfähigkeiten, sofort einsatzbereit auf Ihrer eigenen Hardware — jede davon bereits im Einsatz bei echten Anwendungsfällen.

Local Workflow Automation

Geschäftsprozesse mit KI automatisieren — auf eigener Hardware

Aus der Praxis →

Local Knowledgegraph Brain

Ein zentrales Company Brain für Agents, Chat und Workflows

Aus der Praxis →

Local Personal Agents

Persönliche KI-Agenten pro Mitarbeiter — ohne Telegram, ohne WhatsApp

PII Redaction

Personenbezogene Daten erkennen und schwärzen — in Text und Bild

Aus der Praxis →

Features

Der rzfz.ai Stack — der integrierte Open-Source-Stack für lokale KI-Infrastruktur — deckt 7 Kernszenarien end-to-end ab. Jedes Feature kombiniert mehrere Module zu einem fertigen Anwendungsfall, komplett auf Ihrer eigenen Hardware.

Local Chat

ChatGPT-Komfort, ohne dass ein Wort das Haus verlässt

Open WebUI ist die zentrale Chat-Oberfläche für alle Modelle auf der Box — mit Retrieval-Augmented Generation, Websuche und Sprachein-/ausgabe in einer Oberfläche. Im Hintergrund nimmt der LLM-Manager jede Anfrage entgegen und lässt sie auf der eigenen GPU beantworten — wo das Legacy-Profil aktiv ist, über GPUStack mit llama.cpp —, sodass jede Anfrage lokal beantwortet wird. Weil Modell, Vektorsuche und Oberfläche auf derselben Infrastruktur laufen, verlässt kein Prompt und keine Antwort das Haus — ganz ohne externe API-Anbindung. In der Praxis dient Open WebUI als Frontend für zentrale Wissensdatenbanken und branchenspezifische RAG-Anwendungen, von der Produktionssteuerung bis zum Außenhandel.

Module: Open WebUI, GPUStack 0.7.1 (optional legacy backend)

Aus der Praxis: Zentrale RAG-Knowledgebase für die Produktionssteuerung , TARIC-Warencodes per RAG finden

Local Workflow Automation

Geschäftsprozesse mit KI automatisieren — auf eigener Hardware

Dify orchestriert Geschäftsprozesse als visuelle Workflows — von einfacher Klassifikation bis zu mehrstufigen Dokument-Pipelines mit Freigabeschritten. Jede Node im Workflow läuft gegen die lokalen Modelle des Stacks, sodass sich Automatisierungen ohne Programmierkenntnisse zusammenklicken und direkt gegen echte Geschäftsdaten testen lassen. Weil Orchestrierung und Inferenz auf derselben Box laufen, bleiben sensible Mandanten- und Kundendaten während der gesamten Verarbeitung im Haus. Im Einsatz klassifiziert Dify so bereits Support-E-Mails bei einem IT-Dienstleister, unterstützt Buchhaltungsprozesse in der Steuerberatung und strukturiert Digitalisierungsprojekte im Consulting.

Module: Dify

Aus der Praxis: Support-E-Mail-Klassifikation im IT-Betrieb , KI-gestützte Jahresabschlussprüfung & Dokumentation , Framework für Digitalisierungs-Consulting

Local Knowledgegraph Brain

Ein zentrales Company Brain für Agents, Chat und Workflows

Cognee baut einen Wissensgraphen über Ihre Dokumente und Systeme auf und beantwortet Fragen per GraphRAG statt reiner Stichwortsuche — präziser bei komplexen Zusammenhängen und über Dokumentgrenzen hinweg. Im Stack dient es als gemeinsames Gedächtnis, auf das Chat, Workflows und Agents über die MCP-Registry zugreifen, statt dass jedes Modul sein eigenes Wissen vorhält. Weil der Wissensgraph vollständig auf der eigenen Hardware entsteht, bleiben interne Dokumente und Prozesswissen im Haus — Cognee ist derzeit als experimentelles Modul enthalten und wird laufend weiterentwickelt. Bei einem Produktionsbetrieb bündelt es bereits Anleitungen, Störfall-Historie und Prozessdokumentation zu einer zentralen Wissensbasis, die Mitarbeitende einfach per Chat abfragen.

Module: Cognee

Aus der Praxis: Zentrale RAG-Knowledgebase für die Produktionssteuerung

Local Personal Agents

Persönliche KI-Agenten pro Mitarbeiter — ohne Telegram, ohne WhatsApp

Jeder Mitarbeiter provisioniert über den Agent Manager seine eigenen persönlichen Agenten — Hermes als Python-Agent mit persistentem Gedächtnis und über 30 Werkzeugen, Moltis als in Rust geschriebener Agent-Server mit Matrix-Anbindung. Angesprochen werden sie ganz normal über Open WebUI, ohne dass dafür Telegram, WhatsApp oder ein anderer externer Messenger nötig wäre. Weil Agent Manager, Hermes und Moltis auf derselben Box laufen wie die Modelle, bleiben Gedächtnisinhalte und Konversationen vollständig lokal — alle drei Module sind derzeit als experimentelle Bausteine des Stacks enthalten. Damit lassen sich persönliche Assistenten aufbauen, die sich an frühere Anfragen erinnern und eigenständig Aufgaben übernehmen, ohne dass Daten je die eigene Infrastruktur verlassen.

Module: Agent Manager, Hermes, Moltis

Local Coding Agents

Kein Code verlässt die Box

Coding-Agenten laufen im geschützten Container-Terminal auf Box oder Master — mit Zugriff auf das lokale Gitea und die On-Box-Coding-Modelle. Sie übernehmen abgegrenzte Aufgaben wie Testabdeckung erhöhen, Refactorings oder Spezifikations-getriebene Implementierung und stellen ihre Ergebnisse als Merge Requests. Weil Modelle, Code und Git-Server auf derselben Infrastruktur liegen, braucht es weder externe API-Keys noch verlässt eine Zeile Code das Haus. Bei Kunden läuft so bereits ein Agent, der rund um die Uhr die Unit-Test-Coverage erhöht.

Module: Codex, OpenCode, gsd-pi, Gitea, OpenHands

Aus der Praxis: 24×7-Dev-Agent erhöht die Testabdeckung , Lokales Coding mit On-Box-Modellen

Document OCR & Interpretation

Von PDF zu strukturierten Daten — lokal

Docling, Tika und Gotenberg lesen, konvertieren und interpretieren Dokumente jeder Art — von PDFs und Office-Dateien bis zu gescannten Belegen mit Layout-Analyse. Vision-Modelle auf der eigenen GPU übernehmen die Bilderkennung, während Stirling PDF als Werkzeugkasten für Zusammenführen, Teilen und Konvertieren bereitsteht. Weil die gesamte Pipeline — Erkennung, Konvertierung und Vision-Inferenz — auf derselben Infrastruktur läuft, verlassen Rechnungen, Verträge und andere sensible Dokumente nie das Haus; Docling, Tika und Stirling PDF sind derzeit als experimentelle Module enthalten. Im Einsatz liest diese Pipeline bereits Belege für die Vorverarbeitung in der Steuerberatung und extrahiert eingehende Kundendokumente, bevor sensible Daten geschwärzt werden.

Module: Docling, Apache Tika, Gotenberg, Stirling PDF

Aus der Praxis: KI-gestützte Jahresabschlussprüfung & Dokumentation , Dokumentenextraktion und Schwärzung sensibler Daten

PII Redaction

Personenbezogene Daten erkennen und schwärzen — in Text und Bild

Microsoft Presidio erkennt und anonymisiert personenbezogene Daten in Dokumenten-Pipelines, bevor sie an andere Module weitergereicht werden — über 30 Kategorien, in Text ebenso wie in Bildern. Der Analyzer identifiziert sensible Stellen, der Anonymizer schwärzt oder ersetzt sie, und der Image Redactor übernimmt dieselbe Aufgabe für Fotos und Scans. Presidio läuft rein intern als Vorverarbeitungsschritt auf derselben Box wie die übrigen Module — personenbezogene Daten werden also geschwärzt, bevor sie überhaupt an ein Sprachmodell gehen; das Modul ist derzeit als experimenteller Baustein des Stacks enthalten. Eingesetzt wird es bereits, um eingehende Kundendokumente zu schwärzen und um bei der Bildanalyse in der Patientenversorgung sensible Gesundheitsdaten vollständig in der Einrichtung zu behalten.

Module: Presidio

Aus der Praxis: Dokumentenextraktion und Schwärzung sensibler Daten , Lokale Bildanalyse in der Patientenversorgung

Der Stack in Aktion

OpenCode-Coding-Agent im Web-Terminal des rzfz.ai Stack, in einer Sandbox ausgeführt

Agenten

Persönliche & Coding-Agenten

Der Agent-Manager gibt jedem Nutzer eigene, persistente Agenten. Coding-Agenten arbeiten in einer Sandbox im Stack — der Quellcode verlässt dabei nie die Box.

Das Dashboard der LLM-Manager-Konsole: Knoten, bereitgestellte Modelle, Instanzen, Token-Verbrauch der letzten 24 Stunden und API-Schlüssel, darunter Anfragen, Latenz, Failover und die Auslastung der Worker

Lokales LLM

Modelle laufen lokal

Der LLM-Manager betreibt die Sprachmodelle auf Ihrer eigenen Hardware — wo das Legacy-Profil aktiv ist, auch über GPUStack. Keine Anfrage geht an eine Cloud.

PII-Redaktion mit Presidio im rzfz.ai Stack: links das Originaldokument, rechts dieselbe Seite mit geschwärzten personenbezogenen Daten

Datenschutz

Personenbezogene Daten bleiben geschwärzt

Presidio erkennt und schwärzt personenbezogene Daten, bevor ein Dokument weiterverarbeitet wird — automatisiert, lokal und nachvollziehbar.

Von rzfz.ai entwickelt

Der Stack ist mehr als die Summe seiner Open-Source-Teile: diese Bausteine entwickeln wir selbst — die First-Party-Schicht, die aus loser OSS ein Produkt macht.

Settings-Portal des rzfz.ai Stacks: links die Navigation mit Modul-Zähler, Backup, Governance, Log-Snapshots, Netzwerk und Sicherheit; rechts das grüne Statusband mit der Zahl der laufenden Container, darunter Kennzahlen zu CPU, RAM, GPU-Auslastung und VRAM sowie Speicherverbrauch je Modulprofil, Stand der letzten Sicherung und der Abgleich der Container-Versionen mit dem Manifest

Config-UI

Die Management-UI: der ganze Betrieb, eine Oberfläche

Die von rzfz.ai entwickelte Management-UI ist die Schaltzentrale des Stacks — kein reines Backup-Werkzeug, sondern ein vollständiges Betriebs-Cockpit: Module ein- und ausschalten, Secrets verwalten, Updates einspielen, Backups anstoßen, Zertifikate hochladen und im Ernstfall einen Factory-Reset auslösen.

Start-Portal des rzfz.ai Stack mit den für den angemeldeten Nutzer freigeschalteten Modulen, als Kacheln nach Kategorien gruppiert

Start-Portal

Start-Portal: ein Klick zu jedem Modul

Nach dem Login landen Nutzer im von rzfz.ai entwickelten Start-Portal — einer Landingpage, die automatisch alle freigeschalteten Module verlinkt. Kein Lesezeichen-Wirrwarr, keine Suche nach der richtigen URL.

Agent-Manager im rzfz.ai Stack: links die Liste der verfügbaren Agenten nach Typ — Codex, Hermes, Moltis, OpenCode, OpenHands, Paperclip und selbst definierte Agenten, laufende grün markiert — rechts eine leere Arbeitsfläche, in die sich ein Agent per Auswahl oder Ziehen starten lässt

Agent-Manager

Agent-Manager: persönliche & Coding-Agenten verwalten

Der Agent-Manager gibt jedem Nutzer eigene, persistente Agenten — inklusive Coding-Agenten, die in einer Sandbox im Stack arbeiten. Im MCP-Manager legt jeder Nutzer daneben eigene MCP-Integrationen an und gibt sie für seine Agenten frei.

Terminal-Workspace eines nutzerdefinierten Coding-Agenten im rzfz.ai Stack, darüber der Dialog „Suggested agent installers“ mit Installationsbefehlen für Coding-Agents wie Claude Code und Pi, die Nutzer selbst in ihre Sitzung kopieren

Eigener Coding-Agent

Ihr eigenes Coding-Agent-Werkzeug einbinden

Wer sein eigenes Coding-Agent-Werkzeug bevorzugt, installiert es als nutzerdefinierten Coding-Agenten im persistenten Workspace — direkt über den Agent-Manager konfiguriert.

Alle 9 Bausteine im Überblick

Settings Portal

Settings-Portal — zentrale Oberfläche zur Konfiguration des rzfz.ai Stacks

Help Center

Help-Center — lokal gehostete Dokumentation und Support-Artikel für den Stack

Start Portal

Start-Portal — Landingpage mit Links zu allen freigeschalteten Modulen des Stacks

Licenses

Lizenzverwaltung — Aktivierung und Status der freigeschalteten Module und Bundles

LLM Manager

LLM-Manager — eine Konsole für alle Sprachmodelle der Box: bereitstellen, überwachen, Verbrauch erfassen

LLM Worker-Agent

Worker-Agent — startet und überwacht die Inferenz-Engines auf jedem Rechner der Flotte

Agent Manager

Agenten-Portal — persönliche KI-Agenten in einer Ansicht starten, öffnen und überwachen

MCP Manager

MCP-Manager — Registrierung und Freigabe von MCP-Servern für Agents

User Defined Coding Agents

Nutzerdefinierte Coding-Agents — freie Auswahl des eigenen Coding-Agent-Werkzeugs im persistenten Workspace

"Nothing leaves the box unless a module is explicitly configured to reach out."

Härtung & Compliance

Der rzfz.ai Stack — der integrierte Open-Source-Stack für lokale KI-Infrastruktur — ist für den Unternehmenseinsatz gehärtet: Identität, Netzwerk und Compliance sind von Grund auf mitgedacht, nicht nachgerüstet.

Identität & Zugriff

Authentik steht vor jedem Modul — kein Dienst ist ohne Anmeldung erreichbar. Rollenbasierte Zugriffskontrolle (RBAC) und Multi-Faktor-Authentifizierung (MFA) sind Standard, nicht Zusatzoption.

Netzwerkhärtung

  • Caddy ist der einzige extern erreichbare Eintrittspunkt — mit Rate-Limiting gegen Missbrauch.
  • Der Docker-Daemon ist nie direkt exponiert; ein Docker-Socket-Proxy vermittelt jeden Zugriff.
  • Ein SSRF-Proxy filtert ausgehende HTTP-Aufrufe aus Workflows, bevor sie das Netzwerk verlassen.
  • Alle Dienst-Ports sind auf localhost gebunden — nichts lauscht auf einer öffentlichen Schnittstelle.

Compliance

Die Security-Dokumentation enthält Mapping-Tabellen zu NIS2 und ISO 27001 sowie eine Einordnung nach dem OWASP LLM Top 10. Jedes Release wird mit SBOM und Security-Assessment ausgeliefert.

Secrets & Backups

Rotations-Tooling für Secrets und GPG-verschlüsselte Backups gehören zum Standardbetrieb — keine Klartext-Zugangsdaten, keine unverschlüsselten Sicherungen.

Kommerzieller Betrieb

Community-Version, rzfz.ai Subscription und die separat buchbaren Dienstleistungen sind auf der Enterprise-Seite im Detail beschrieben — inklusive Preisen und dem, was ausdrücklich nicht enthalten ist.

Subscription & Dienstleistungen im Detail →

Releases

Der rzfz.ai Stack — der integrierte Open-Source-Stack für lokale KI-Infrastruktur — wird nach CalVer versioniert und erscheint aktuell in einem monatlichen Release-Zyklus. Die folgende Liste zeigt alle Releases, neueste zuerst.

Roadmap

2026.10 und darüber hinaus

Richtungsweisend — geplante Funktionen, Änderungen vorbehalten.

Kommt in 2026.10

  • Gruppen- und Berechtigungs-Sync von Authentik zu Open WebUI — Zugriffsrechte im Chat folgen automatisch den Gruppen im zentralen Verzeichnis, statt ein zweites Mal gepflegt zu werden.
  • Geprüfter Modell-Katalog — jedes kuratierte Modell auf eine feste Hugging-Face-Revision gepinnt, deren Digest bei der Aufnahme festgehalten wird; ein Modell außerhalb des geprüften Bestands zeigt beim Bereitstellen sein Risiko und muss ausdrücklich bestätigt werden.
  • Agenten-Typen und Vorlagen zentral verwalten — zusammen mit dem Lebenszyklus einer Instanz, so wie jede andere Anwendung der Box, statt als Sonderfall daneben.
  • Single Sign-on mit automatisch angelegten Konten — eine neue Kollegin meldet sich einmal an und findet ihre Zugänge in den Modulen vor, statt dass jemand sie einzeln anlegt.

Am Horizont

  • Log- und Metrik-Export in kundeneigene SIEM- und Monitoring-Systeme.
  • Unterstützung neuer Modellarchitekturen und spekulatives Decoding für weitere Modelle.
  • GRC-Bausteine für ISMS-Unterstützung (in Evaluierung).
  1. 2026.09-ga

    , GA seit 21. September 2026 · Patch 2026.09-ga.1 vom 22. September 2026 — Aktuelles stabiles Release

    Ihre Modelle, gemanagt

    • LLM-Manager und Konsole — Sprachmodelle aus einer Web-Konsole bereitstellen: aus dem kuratierten Katalog oder direkt über die Hugging-Face-Suche, dazu eine Flottenseite für Worker und Nodes, der Modell-Hub, API-Schlüssel mit Limits und Token-Metering je Schlüssel, ein Playground für Chat, Embeddings und Rerank — und ein Dashboard, dessen Kurven den Messwerten folgen.
    • Ein OpenAI-kompatibler Endpunkt — GPUStack ist nicht länger das Produkt, sondern ein Backend dahinter. Die Adresse, die Sie schon verwenden, antwortet weiter — jetzt aus dem LLM-Manager, mit dessen eigenen Schlüsseln.
    • Agent-Manager — die vierte App der Ein-Identitäts-Familie: ein Agenten-Portal je Nutzer, das Instanzen statt Typen zeigt, auf der eigenen Oberfläche des Agenten öffnet und Nutzern erlaubt, ihre Agenten zu benennen; Administratoren steuern Start, Stopp und Speicher aller Agenten mit Prüfpfad.
    • Start-Portal neu — Shortcuts ausgebaut: Favoriten und Kategorien in der Leiste, Kacheln für jedes neue Modul, und kuratierte Ein-Klick-Kacheln: eine Chat-Persona mit voreingestelltem Modell und Prompt, eine Dify-App oder ein externer Assistent mit vorbefülltem Prompt — einmal definiert, auf Authentik-Gruppen zugeschnitten.
    • Settings-Portal neu — unter eigener Adresse, mit dem informationsorientierten Layout der LLM-Konsole, einem Master-Detail-Bereich für Einstellungen und Schaltern für die neuen Modulprofile.
    • Help-Center und Lizenzübersicht neu — zweistufige Navigation, lokale Volltextsuche und gespiegelte Upstream-Dokumentation für jedes Modul, dazu eigene Anleitungen für LLM- und Agent-Manager; die Lizenzseite zeigt Tier-Karten, Lizenzfamilien und die vollständigen Lizenztexte, die jetzt im Produkt mitgeliefert werden.
    • Ein Erscheinungsbild über alle Apps — dieselbe Signatur und dieselbe dunkle Navigationsleiste in Start-Portal, Settings, Lizenzen, Help-Center, LLM-Konsole und Agent-Manager.
    • Wazuh und OpenUEM — beide experimentell, standardmäßig aus: SIEM/XDR mit Dateiintegritätsüberwachung, Log-Korrelation und Compliance-Zuordnungen; Endpunkt-Inventar, Software-Verteilung und Fernunterstützung für die Flotte.
    • Chat und Workflows auf neuem Stand — Open WebUI 0.11 mit überarbeiteter Oberfläche, Werkzeugfreigabe durch den Menschen und Sub-Agenten; Dify 1.17 mit datensatzbezogenen Knowledge-API-Schlüsseln, Rückfragen aus Workflows an Menschen und Skill-Verwaltung. Dazu Sicherheitsaktualisierungen für Authentik, Gitea, Valkey, Crawl4AI, Element Web und Vaultwarden.
    • Erst-Installation robuster (2026.09-ga.1) — ein abgebrochener Modell-Download wird fortgesetzt statt neu gestartet, die Nachinstallation sagt früher, wenn ein Modell endgültig gescheitert ist, statt ihr volles Zeitbudget abzuwarten, und die Bereitschaftsprüfung versteht eine Box mit Internetanbindung.
    • Vor dem Upgrade — Alles, was die Modell-API Ihrer Box nutzt — den OpenAI-kompatiblen Endpunkt für Sprachmodelle —, braucht nach dem Upgrade einen neuen Schlüssel. Die Adresse, die Sie schon verwenden, funktioniert weiter; nur der Schlüssel ändert sich. Je Verbraucher einen Schlüssel in der LLM-Manager-Konsole erzeugen und eintauschen.
  2. v2026.08-ga

    , aktuell v2026.08-ga.15 vom 21. August 2026 — Vorheriges Release

    Offline- & Air-Gapped-Betrieb: die Box läuft komplett ohne Internet; Installation und Updates ohne Internet mit der rzfz.ai Subscription.

    • Offline & Air-Gapped — Modul-Betrieb ohne Internetzugang, Installation und Updates ohne Internet mit der rzfz.ai Subscription: alles, was die Box dafür braucht, liegt vollständig lokal vor, mit Vollständigkeits-Prüfung vor jedem Neustart und optionaler Kernel-seitiger Egress-Versiegelung des Hosts.
    • Apple-Silicon-Inferenz (optional) — Mac-Rechner lassen sich über ein Gateway als zusätzliche Inferenz-Knoten anbinden.
    • rzfz.ai Shortcuts — kuratierte Mini-Apps für Fachanwender, verwaltet über das Start-Portal.
    • Enterprise-Dokumentationsportal — zugriffsgeschützte Kundendokumentation unter docs.rzfz.ai.
    • Domänenwechsel per Klick — ein geänderter Box-Domainname zieht jetzt vollständig durch: SSO-Provider, Login-URLs und alle Dienste folgen automatisch.
    • Passwort-Manager gehärtet — Vaultwarden speichert in PostgreSQL (Teil des Standard-Backups), SSO-Login-Probleme behoben, Kompatibilität mit aktuellen Bitwarden-Clients.
    • Sicherheits- und Aktualitäts-Sweep — u. a. kritischer Gitea-Hotfix (CVE-2026-59774), Updates für Matrix, LightRAG, Valkey und Basis-Images; vier gehärtete interne Auth-Pfade.
    • Kontinuierlich gehärtet über 15 Patch-Releases; öffentliche Downloads jetzt auf GitHub (github.com/rzfz-ai/rzfz-ai-service-stack).
  3. v2026.07-ga

    Open-Core-Lizenzmodell wird öffentlich: Apache-2.0-Community, rzfz.ai Subscription und Coding-Agent-Workspaces

    • Open-Core-Lizenzmodell veröffentlicht — freie Apache-2.0-Community-Stufe, quellverfügbare BUSL-1.1-Stufe unter der rzfz.ai Subscription, Lizenzübersicht unter license.<domain>, öffentlicher GitHub-Mirror und Community-Wiki
    • Coding-Agent-Workspaces — persönliche Coding-Agents jetzt als sandboxte Container je Typ (OpenCode, Codex, nutzerdefiniert) mit Live-Preview der Web-App sowie persönlichen MCP-Integrationen und Memory
    • Dify 1.15.0 — der doppelte SSO-Login-Prompt entfällt
  4. v2026.06-ga

    Ein Default-Modell: qwen3.6 mit 1M Kontext für Chat, Coding und Vision

    • qwen3.6 als einziges Standardmodell für Chat, Coding, allgemeine Aufgaben und Vision bei 1M Kontext — kein Modell-Jonglieren je Rolle mehr
    • Dokumenten-Q&A funktioniert direkt — Reranker- und Chunking-Defaults für RAG sind vorkonfiguriert
    • Stabilere Upgrades — Standard- und 2026.04-Upgradepfad validiert, mit Self-Healing und Journaling für den Upgrade-Prozess
    • Audit-ready Compliance-Tabellen — strukturierte NIS2 (EU 2022/2555) und ISO/IEC-27001:2022-Nachweise im Security-Handbuch
  5. v2026.05-ga

    Personal Agents pro Benutzer: Hermes, Moltis und Coding Agents im „My Agents"-Drawer

    • rzfz.ai Start Portal — Kachel-Launcher mit per-User-Pinning
    • Neues Modul Crawl4AI und Observability-Profil (OpenLIT + ClickHouse)
    • Open WebUI ↔ Dify Manifold Pipe
  6. v2026.04-GA

    Ein Befehl von Grundinstallation zu vollständig konfiguriertem Stack: razzfazz-post-install.sh

    • razzfazz-post-install.sh automatisiert GPUStack-Modell-Deployment sowie Open-WebUI- und Dify-Einrichtung in einem Schritt
    • Zwei experimentelle RAG-Module: LightRAG (graph-basiert) und Cognee mit FalkorDB
    • Verschlüsselte .env-Snapshots vor jeder Konfigurationsänderung; Fix für AMD-GPU-Inferenz

Systemvoraussetzungen

Der rzfz.ai Stack — der integrierte Open-Source-Stack für lokale KI-Infrastruktur — unterstützt ausschließlich Ubuntu 26.04 LTS als Betriebssystem. Für jedes Einsatzprofil gilt derselbe Anspruch: Wir nennen die Grenzen, bevor Sie sie finden.

Unterstützte Einsatzprofile des rzfz.ai Stacks rzfz.ai Box Primär unterstützt AMD Strix Halo (Ryzen AI MAX+), 128 GB Unified Memory Eigener Server / VM ohne GPU Unterstützt Beliebiger Ubuntu-26.04-Host, ~16–24 GB RAM NVIDIA/CUDA-Server Unterstützt Ubuntu-26.04-Host mit NVIDIA-GPUs — eigene Hardware oder GPU-Cloud Cloud-Instanz Unterstützt Jede Ubuntu-26.04-Cloud-Instanz — mit GPU als Worker, ohne GPU als Steuerzentrale

rzfz.ai Box

AMD Strix Halo (Ryzen AI MAX+), 128 GB Unified Memory

32 GB Container-Budget + 96 GB VRAM (auf 110 GB erweiterbar)

Voraussetzungen

  • Ubuntu 26.04 LTS (vorinstalliert)
  • Netzwerkzugang, Ports 22/80/443

Einschränkungen

  • Nur AMD-Inferenz — kein NVIDIA/CUDA-Pfad auf der Box
  • vLLM auf Strix Halo derzeit nicht unterstützt (Produktion: llama.cpp via Vulkan)
  • Das 32-GB-Container-Budget begrenzt, wie viele Module gleichzeitig laufen
  • Eine intensive Agent-Loop zur Zeit — Richtwert ~1 Box je 6–10 Mitarbeiter

Eigener Server / VM ohne GPU

Beliebiger Ubuntu-26.04-Host, ~16–24 GB RAM

Voraussetzungen

  • Ubuntu 26.04 LTS, Kernel 7.x
  • Docker Engine + Compose v2

Einschränkungen

  • CPU-Inferenz ist langsam — geeignet für leichte oder Batch-Workloads, nicht für interaktive Agents
  • Als Steuerzentrale delegiert er die Inferenz an GPU-Worker (Boxen oder Cloud)

NVIDIA/CUDA-Server

Ubuntu-26.04-Host mit NVIDIA-GPUs — eigene Hardware oder GPU-Cloud

Voraussetzungen

  • Ubuntu 26.04 LTS
  • CUDA-fähige NVIDIA-GPU(s)
  • Docker Engine + Compose v2

Einschränkungen

  • Inferenz via llama.cpp auf CUDA, Modelle im GGUF-Format
  • VRAM-Obergrenze ist eine Budget-, keine Architekturfrage

Cloud-Instanz

Jede Ubuntu-26.04-Cloud-Instanz — mit GPU als Worker, ohne GPU als Steuerzentrale

Voraussetzungen

  • Ubuntu 26.04 LTS
  • Docker Engine + Compose v2

Einschränkungen

  • Datensouveränität hängt vom Cloud-Anbieter ab — für streng lokale Szenarien Box oder eigene Hardware wählen

Gemischte Flotten

Viele Teams kombinieren Profile statt sich auf eines festzulegen: eine Steuerzentrale ohne eigene GPU orchestriert mehrere rzfz.ai Boxen als lokale Inferenz-Worker und zieht bei Bedarf zusätzliche Cloud-GPU-Worker für Lastspitzen hinzu. So bleibt der Kernbetrieb lokal — für Spitzenlast werden aus der Cloud Ressourcen dazugebucht, ohne allerdings die Datensouveränität aufgeben zu müssen. Passende Kombinationen finden Sie unter Bundles.

Was brauchen Sie? Welches System haben Sie?

Tippen Sie eine Aufgabe oder Ihr System — wir sagen ehrlich, wie es zum Stack passt.

Wie Integration bei uns funktioniert

Vorverdrahtet

Ein Modul im Stack deckt es bereits ab — sofort einsatzbereit, ohne Zusatzaufwand.

Dify-Plugin

Der Dify Marketplace deckt es ab — der Stack erbt es automatisch. für Techniker

REST / MCP

Spricht Ihr System REST oder MCP, ist es direkt anbindbar — ohne Umweg.

Custom · von uns gebaut

Lokale, nischige Branchensoftware, die in keinem Katalog steht — genau dafür bauen wir die Integration.

Schreiben Sie uns

Ihre Angaben gehen direkt an uns — ohne Weitergabe an Dritte außerhalb unserer Auftragsverarbeiter. Wir nutzen sie ausschließlich zur Bearbeitung Ihrer Anfrage.