Zum Inhalt

Expert-Templates

Expert-Templates definieren, welche LLMs in welcher Konfiguration für welche Aufgabenkategorie eingesetzt werden. Sie sind das zentrale Steuerungsinstrument des MoE-Routings.

Übersicht

Ein Expert-Template legt fest:

  • Welche LLM-Modelle für welche Experten-Kategorie zuständig sind
  • Ob ein Modell verpflichtend (Required) oder optional (Two-Tier-Fallback) ist
  • Optionale System-Prompts pro Kategorie
  • Ein optionales Planner-LLM für Routing-Entscheidungen
  • Ein optionales Judge/Merger-LLM für die Antwort-Synthese

Template-Verwaltung (/templates)

Template-Karten

Jedes Template wird als Karte angezeigt mit:

  • Name und Beschreibung
  • Kategorie-Badges (welche Experten-Kategorien konfiguriert sind)
  • Badge Planner (wenn Planner-LLM gesetzt)
  • Badge Judge (wenn Judge-LLM gesetzt)
  • Aktionen: Bearbeiten, Kopieren als Vorlage, Löschen

Template erstellen / bearbeiten

Grunddaten:

Feld Beschreibung
Name Eindeutiger Anzeigename
Beschreibung Optionaler Freitext

Experten-Konfiguration (pro Kategorie):

  1. Kategorie aktivieren (Checkbox)
  2. LLMs hinzufügen (eine oder mehrere Zeilen):
  3. LLM@Node: Modell und Inferenz-Server (Format: modell:tag@server)
  4. Verpflichtend (Required): Modell muss verfügbar sein; fehlt es, schlägt die Anfrage fehl
  5. Optional (Two-Tier): Wird nur genutzt, wenn das Required-Modell nicht antwortet
  6. Optional: System-Prompt für diese Kategorie aktivieren und editieren

Orchestrierungs-Prompts (optional):

Bereich Beschreibung
Planner-LLM Modell für Routing-Entscheidungen (überschreibt globales PLANNER_MODEL)
Planner-Prompt System-Prompt für das Planner-LLM
Judge/Merger-LLM Modell für Antwort-Synthese (überschreibt globales JUDGE_MODEL)
Judge-Prompt System-Prompt für das Judge-LLM

Standard-Experten-Kategorien

Kategorie-ID Anzeigename Einsatzbereich
general Allgemein Allgemeine Anfragen
code_reviewer Code-Review Code-Analyse und Reviews
technical_support Technischer Support IT-Probleme, Debugging
data_analyst Daten-Analyse Statistik, CSV, Daten
creative_writer Kreatives Schreiben Texte, Ideen, Storytelling
medical_consult Medizin Medizinische Fragen
legal_advisor Recht Juristische Fragestellungen
math Mathematik Berechnungen, Beweise
science Wissenschaft Naturwissenschaften
reasoning Reasoning Logik, Schlussfolgerungen
translation Übersetzung Sprachübersetzungen
vision Vision Bildanalyse
financial_advisor Finanzen Finanzberatung
security_expert Sicherheit IT-Security, Pen-Testing

Eigene Kategorien können per Texteingabe hinzugefügt werden.

Zuweisung an User

Templates werden über Freigaben (resource_type: expert_template) an User vergeben:

Admin → User bearbeiten → Tab Freigaben → Sektion Expert-Template → Template auswählen → +

Der User sieht das freigegebene Template dann im User-Portal unter Meine Experten-Konfiguration.

Import / Export

Alle Admin-Templates können als JSON exportiert und wieder importiert werden.

Export

Admin → Expert-Templates → Export-Button

Lädt expert_templates.json herunter. Siehe Import & Export für das vollständige Schema.

Import

Es gibt zwei Wege zum Importieren von Templates:

Option A – Datei hochladen:

Admin → Expert-Templates → Import JSON → JSON-Datei auswählen

Option B – JSON-Code direkt einfügen:

Admin → Expert-Templates → Import Code → JSON einfügen → Importieren

Import-Modi:

Modus Verhalten
merge Templates mit gleichem Namen werden übersprungen
replace Templates mit gleichem Namen werden überschrieben

Ergebnis-Anzeige: X importiert, Y übersprungen

Auswirkungen auf den Cluster

Aktion Auswirkung
Template erstellen Sofort in Freigaben-Verwaltung verfügbar
Template bearbeiten Läuft beim nächsten Request des Users mit dem Template
Template löschen Alle Freigaben für dieses Template werden invalidiert
Template einem User zuweisen Nächste API-Anfrage des Users nutzt das Template

User-eigene Templates

User mit der Rolle expert können im User-Portal eigene Templates erstellen. Diese sind nur für den jeweiligen User sichtbar. Admins können alle User-Templates unter /user-content einsehen und bei Bedarf löschen.