Znuny-LLM: Von der Installation bis zur ersten Zusammenfassung in sechs Schritten

Kurzfassung

Znuny-LLM richtet sich in sechs Wizard-Schritten ein – keine manuelle Konfiguration, kein Durchsuchen der Systemkonfiguration – und funktioniert mit Ollama, OpenAI, Azure oder jedem OpenAI-kompatiblen Endpunkt. Wählen Sie Ihren Anbieter aus, fügen Sie eine URL ein, testen Sie die Verbindung, wählen Sie Ihre Modelle und Funktionen aus, klicken Sie auf Anwenden. Fertig in weniger als zehn Minuten.

Schritt 1 - Wilkommen

Der erste Bildschirm zeigt, was der Assistent von Ihnen benötigt, bevor Sie beginnen: die URL Ihres LLM-Anbieters, einen API-Schlüssel, falls Sie einen gehosteten Dienst verwenden, und die Namen der Modelle, die Sie verwenden möchten. Das ist die gesamte Liste der Voraussetzungen. Wenn Sie bereits eine Olama-Instanz laufen lassen, benötigen Sie möglicherweise nicht einmal den API-Schlüssel.

Der Wizard kennzeichnet auch eine wichtige Einschränkung gleich zu Beginn an: Es werden nur nicht-logische Modelle unterstützt. Modelle, die intern Denk-Tokens erzeugen – o1-ähnliche oder *-denkende Varianten – erzeugen leere oder fehlgeformte Ergebnisse und sollten nicht verwendet werden

Schritt 2 – Anbieter auswählen

Auf dem Provider-Bildschirm wählt man, wie die Znuny-Instanz mit dem LLM kommuniziert. Es stehen vier Optionen zur Verfügung:

Ollama ist die Standardwahl für Teams, die eine lokale oder selbstgehostete Instanz betreiben. Es erfordert keine Authentifizierung und funktioniert direkt mit der Standard-Docker-Konfiguration.

OpenAI verbindet sich mit api.openai.com mit der gehosteten API und benötigt einen API-Schlüssel.

Azure OpenAI zielt auf eine verwaltete Azure-Bereitstellung ab und benötigt eine Ressourcen-URL, einen API-Schlüssel, einen Bereitstellungsnamen und eine API-Version.

OpenAI-kompatibel (andere) umfasst jeden Endpunkt, der das OpenAI-Protokoll verwendet – etwa LiteLLM, vLLM, Together, Groq und Ähnliche. Der Inhaberschlüssel ist optional./v1

Die meisten Teams, die einen selbstgehosteten Stack betreiben, wählen Ollama. Teams mit einer bestehenden Azure-OpenAI-Vereinbarung können direkt auf ihren Tenant verweisen, ohne eine Zwischenschicht.

Freiheit der Wahl

Die Breite dieser Liste ist bewusst gewählt. Znuny basierte schon immer auf der Idee, dass Werkzeuge für einen arbeiten sollten, nicht umgekehrt. Wir wollen weder vorgeben noch entscheiden, welcher KI-Anbieter für Ihr Unternehmen der richtige ist, und haben kein Interesse daran, Sie an einen solchen zu binden. Wenn Sie heute mit einer lokalen Ollama-Instanz starten und später zu einem anderen Modell oder Anbieter wechseln möchten, aktualisieren Sie die Endpunkt-URL und sind dann fertig. Keine Migration, keine Vertragsverhandlungen, keine Abhängigkeit von einer SaaS-Schicht, die ihre Preise ändern oder verschwinden könnte. Das gleiche Znuny-LLM-Paket funktioniert mit unterschiedlichen Providern.

Zurück am Anfang

Jederzeit können Sie den Assistenten neu starten, indem Sie dieses Modul in der Verwaltungsübersicht besuchen. Dies kann auch in der Systemkonfiguration deaktiviert oder auf eine spezielle Admin-Gruppe beschränkt werden, um Ihre Installation vor einer versehentlichen Neuinitialisierung zu schützen.

Schritt 3 — Endpunkt & Authentifizierung

Sobald Sie einen Anbieter ausgewählt haben, fragt der Assistent nach den Verbindungsdetails. Für Ollama ist das nur eine Basis-URL. Der Standardwert ist vorgefüllt und funktioniert sofort, wenn Ollama über Docker zusammen mit Znuny installiert ist.http://host.docker.internal:11434

Für eine entfernte Ollama-Instanz – oder jeden anderen Endpunkt – geben Sie die URL direkt ein. Der Wizard fügt anbieterspezifische Pfade automatisch hinzu, sodass man nur die Basisadresse braucht./v1/chat/completions

Eine Schaltfläche "Verbindung jetzt testen" ermöglicht es, den Endpunkt zu überprüfen, bevor man weitermacht. Wenn die Verbindung erfolgreich ist, listet der Assistent jedes Modell auf, das er am Endpunkt erkannt hat. Diese Liste setzt sich im nächsten Schritt fort.

Schritt 4 — Modelle

Znuny-LLM verwendet zwei Modelle für verschiedene Aufgaben. Das Einbettungsmodell wandelt Ticketinhalte und Vorlagen in Vektoren um, die für semantische Abgleich verwendet werden – um die ähnlichste FAQ oder Vorlage für ein bestimmtes Ticket zu finden. Das Chatmodell übernimmt alles, was eine Textgenerierung erfordert: Zusammenfassungen, Klassifikationen, extrahierte Werte und Umschreibungen von Antworten.

Sie geben die Modellnamen in die beiden Felder ein oder verwenden die Schaltfläche "Probe endpoint for available models", der den Endpunkt abfragt und das Verfügbare anzeigt. Im obigen Beispiel ist das Embedding-Modell und verwaltet den Chat. Beide wurden im vorherigen Schritt automatisch erkannt.nomic-embed-textllama3.1:8b

Plugability für die Zukunft

• Ticket-Zusammenfassung: Erstellt eine kurze, sachliche Zusammenfassung der gesamten Ticketkommunikation in 2–4 Sätzen. Diese können individuell modifiziert werden. Sie werden automatisch aktualisiert, sobald ein neuer Artikel erscheint. Zusammenfassungen werden pro Sprache gespeichert und in der bevorzugten Sprache des Agenten dargestellt, sodass ein mehrsprachiges Team das Ticket unabhängig davon lesen kann, in welcher Sprache der Kunde es verfasst hat. Znuny-LLM schreibt zudem eingehende E-Mail-Themen in kurze, beschreibende Titel in der jeweiligen Sprache des Kunden um. Telefon- und interne Tickets bleiben unberührt.
• Routing / Klassifikation: Liest die erste Kundennachricht und definiert Queue, Tickettyp, Service und SLA anhand der von der Znuny-Instanz tatsächlich für dieses Ticket zulässigen Werte. Die Daten erscheinen außerdem in einem Seitenleisten-Widget in der Ticket-Detailansicht. Die Agenten können die Klassifizierung dann mit Daumen hoch oder Daumen runter bewerten. Die Bewertungen werden gespeichert und in nachfolgenden Klassifizierungsaufrufen als Beispiele zurückgegeben, sodass sich das Modell an Ihren tatsächlichen Routingentscheidungen orientiert.
• Die Extraktion in dynamische Felder: Ermöglich bestimmte Inhalte aus dem Ticket anhand einer sprachlichen Beschreibung zu extrahieren und in einem dynamischen Feld zu speichern. Das kann eine Bestellnummer, eine Seriennummer, ein Produktname sein – und das LLM schreibt den extrahierten Wert in das gewünschte dynamische Feld bei jedem neuen Artikel. Keine komplizierten regulären Ausdrücke mehr, kein separater Parser pro Format. Der Admin-Bildschirm der Extraktionsregeln ist direkt von der Setup-Abschlussseite verlinkt.
• Template-Empfehlungen: Ordnet Ihre vorhandenen Standardvorlagen nach semantischer Ähnlichkeit zum gerade beantworteten Artikel und zeigt beim Beantworten die nächstgelegenen Übereinstimmungen an. Vorlagen werden automatisch eingebettet, sobald sie erstellt oder bearbeitet werden, sodass die Vorschläge ohne manuelle Indexierung aktuell bleiben. Agenten können auch einen Textabschnitt markieren, während sie eine Antwort verfassen, und das LLM kann diese sofort entsprechend dem Prompt und der erkannten Sprache umformulieren bzw. ergänzen.
• FAQ-Matching und FAQ-Entwürfe bewirken zwei Dinge. Erstens werden die FAQ-Einträge, die semantisch am ehesten dem Ticket entsprechen, zusammen mit den Vorlagenvorschlägen angezeigt. Das ermöglicht es den Agenten, relevante Wissensartikel zu verlinken oder zu zitieren, ohne sie manuell suchen zu müssen. Zweitens ermöglicht es Administratoren, einen Entwurf eines FAQ-Artikels direkt aus einer gelösten Ticket-Konversation zu erstellen – mit ähnlichen bestehenden FAQs im Prompt, um Duplikate zu vermeiden – und ihn als neues FAQ-Element zu veröffentlichen, das optional mit dem Ticket verknüpft werden kann.

Schritt 5 – Funktionen

Im Funktionsbildschirm können Sie auswählen, welche LLM-Funktionen Sie sofort aktivieren möchten. Alle vier Hauptfunktionen sind standardmäßig aktiviert. FAQ-Abstimmung und Wissensentwürfe erfordern das Znuny-FAQ-Paket und bleiben ausgegraut, wenn es nicht installiert ist. Jede Funktion kann deaktiviert werden, wenn man eine gezielte Einführung bevorzugt, können Funktionen später in der Systemkonfiguration auch nachträglich aktiviert werden.

Schritt 5 – Zusammenfassung und Start

Der Abschlussbildschirm listet einige weitere Schritte auf, die vor dem Go-Live zu ausgeführt werden sollten. Am wichtigsten ist es, die Vektorindizes zu erzeugen, damit bestehende Vorlagen und FAQ-Elemente eingebettet und für Vorschläge verfügbar sind. Zwei CLI-Befehle übernehmen dies:

bin/znuny.Console.pl Maint::LLM::StandardTemplateVectorRebuild
bin/znuny.Console.pl Maint::LLM::FAQVectorRebuild

Der Bildschirm führt außerdem direkt zum LLM-Prompt-Admin – wo Sie die Standardsystem-Prompts für die einzelnen Funktionen überprüfen und anpassen können –, zum Extraktionsregel-Admin und zur LLM-Audit-Ansicht, um das Klassifikationsfeedback über die Zeit hinweg zu überprüfen.

Wie sieht es in der Praxis aus?

Sobald der Znuny-Daemon die neue Konfiguration übernommen hat, beginnen die LLM-Funktionen sofort mit der Bearbeitung eingehender Tickets. Das Zusammenfassungs-Widget erscheint in TicketZoom und wird aktualisiert, sobald neue Artikel eintreffen, sodass die Agenten stets eine aktuelle Zusammenfassung des gesamten Gesprächs ohne Scrollen erhalten. Klassifizierungsvorschläge erscheinen in der Seitenleiste und verbessern sich, wenn die Agenten sie regelmässig bewerten. Der gesamte Prozess – von der Installation des Pakets bis zur Übersicht über das erste Ticket – dauert weniger als zehn Minuten, wenn der LLM-Endpunkt bereits läuft.

Zusammenfassung

Znuny-LLM fügt Ihrem Service Desk KI-gesteuerte Ticketzusammenfassungen, automatische Routing-Vorschläge, Datenextraktion und Vorlagenempfehlungen hinzu – alles läuft auf Ihrer eigenen Infrastruktur. Es braucht kein Anbieterabonnement, keine Daten verlassen Ihre Umgebung und keine Bindung an einen bestimmten KI-Anbieter. Wenn sich die LLM-Strategie ändert, tauscht man die Endpunkt-URL aus und macht weiter. Das Setup erfordert keine Beteiligung des Entwicklers; ein Administrator kann es in einer einzigen Sitzung über die Znuny-Oberfläche abschließen.