Expert-Templates¶
Expert-Templates definieren, welche LLMs in welcher Konfiguration für welche Aufgabenkategorie eingesetzt werden. Sie sind das zentrale Steuerungsinstrument des MoE-Routings.
Übersicht¶
Ein Expert-Template legt fest:
- Welche LLM-Modelle für welche Experten-Kategorie zuständig sind
- Ob ein Modell verpflichtend (Required) oder optional (Two-Tier-Fallback) ist
- Optionale System-Prompts pro Kategorie
- Ein optionales Planner-LLM für Routing-Entscheidungen
- Ein optionales Judge/Merger-LLM für die Antwort-Synthese
Template-Verwaltung (/templates)¶
Template-Karten¶
Jedes Template wird als Karte angezeigt mit:
- Name und Beschreibung
- Kategorie-Badges (welche Experten-Kategorien konfiguriert sind)
- Badge Planner (wenn Planner-LLM gesetzt)
- Badge Judge (wenn Judge-LLM gesetzt)
- Aktionen: Bearbeiten, Kopieren als Vorlage, Löschen
Template erstellen / bearbeiten¶
Grunddaten:
| Feld | Beschreibung |
|---|---|
| Name | Eindeutiger Anzeigename |
| Beschreibung | Optionaler Freitext |
Experten-Konfiguration (pro Kategorie):
- Kategorie aktivieren (Checkbox)
- LLMs hinzufügen (eine oder mehrere Zeilen):
- LLM@Node: Modell und Inferenz-Server (Format:
modell:tag@server) - Verpflichtend (Required): Modell muss verfügbar sein; fehlt es, schlägt die Anfrage fehl
- Optional (Two-Tier): Wird nur genutzt, wenn das Required-Modell nicht antwortet
- Optional: System-Prompt für diese Kategorie aktivieren und editieren
Orchestrierungs-Prompts (optional):
| Bereich | Beschreibung |
|---|---|
| Planner-LLM | Modell für Routing-Entscheidungen (überschreibt globales PLANNER_MODEL) |
| Planner-Prompt | System-Prompt für das Planner-LLM |
| Judge/Merger-LLM | Modell für Antwort-Synthese (überschreibt globales JUDGE_MODEL) |
| Judge-Prompt | System-Prompt für das Judge-LLM |
Standard-Experten-Kategorien¶
| Kategorie-ID | Anzeigename | Einsatzbereich |
|---|---|---|
general |
Allgemein | Allgemeine Anfragen |
code_reviewer |
Code-Review | Code-Analyse und Reviews |
technical_support |
Technischer Support | IT-Probleme, Debugging |
data_analyst |
Daten-Analyse | Statistik, CSV, Daten |
creative_writer |
Kreatives Schreiben | Texte, Ideen, Storytelling |
medical_consult |
Medizin | Medizinische Fragen |
legal_advisor |
Recht | Juristische Fragestellungen |
math |
Mathematik | Berechnungen, Beweise |
science |
Wissenschaft | Naturwissenschaften |
reasoning |
Reasoning | Logik, Schlussfolgerungen |
translation |
Übersetzung | Sprachübersetzungen |
vision |
Vision | Bildanalyse |
financial_advisor |
Finanzen | Finanzberatung |
security_expert |
Sicherheit | IT-Security, Pen-Testing |
Eigene Kategorien können per Texteingabe hinzugefügt werden.
Zuweisung an User¶
Templates werden über Freigaben (resource_type: expert_template) an User vergeben:
Der User sieht das freigegebene Template dann im User-Portal unter Meine Experten-Konfiguration.
Import / Export¶
Alle Admin-Templates können als JSON exportiert und wieder importiert werden.
Export¶
Lädt expert_templates.json herunter. Siehe Import & Export für das vollständige Schema.
Import¶
Es gibt zwei Wege zum Importieren von Templates:
Option A – Datei hochladen:
Option B – JSON-Code direkt einfügen:
Import-Modi:
| Modus | Verhalten |
|---|---|
merge |
Templates mit gleichem Namen werden übersprungen |
replace |
Templates mit gleichem Namen werden überschrieben |
Ergebnis-Anzeige: X importiert, Y übersprungen
Auswirkungen auf den Cluster¶
| Aktion | Auswirkung |
|---|---|
| Template erstellen | Sofort in Freigaben-Verwaltung verfügbar |
| Template bearbeiten | Läuft beim nächsten Request des Users mit dem Template |
| Template löschen | Alle Freigaben für dieses Template werden invalidiert |
| Template einem User zuweisen | Nächste API-Anfrage des Users nutzt das Template |
User-eigene Templates¶
User mit der Rolle expert können im User-Portal eigene Templates erstellen. Diese sind nur für den jeweiligen User sichtbar. Admins können alle User-Templates unter /user-content einsehen und bei Bedarf löschen.