Chat Insights

Chat Insights bietet Administratoren ein umfassendes Analytics-Dashboard zur Analyse aller KI-Chat-Konversationen innerhalb des Accounts. Mit detaillierten Statistiken, Sentiment-Analyse und Interaktions-Insights erhalten Sie wertvolle Einblicke in die KI-Nutzung Ihres Teams.

Übersicht

Das Chat Insights Dashboard zeigt Ihnen auf einen Blick, wie Ihr Team hermine.ai nutzt. Es umfasst KPI-Karten, interaktive Diagramme, Stimmungsanalysen, Themen-Wordclouds und eine sortierbare Konversationstabelle – ideal, um Nutzungsmuster zu erkennen, die Qualität der KI-Antworten zu bewerten und die KI-Adoption im Unternehmen messbar zu machen.

Kernfunktionen

KPI-Übersicht – Gesamtzahl der Konversationen, Nachrichten, durchschnittliche Antwortlänge und Unterhaltungsdauer auf einen Blick
Performance-Metriken – Fehlerrate, Anfragen pro Tag, Kosten pro Nachricht und aktive Nutzer pro Tag
LLM-Modell-Verteilung – Welche Sprachmodelle (GPT-4o, Claude, etc.) am häufigsten genutzt werden
Sprachverteilung – In welchen Sprachen die Konversationen geführt werden
Agenten-Nutzung – Welche KI-Agenten am meisten eingesetzt werden
Sentiment-Analyse – Automatische Stimmungsbewertung (positiv, neutral, negativ) aller Konversationen
Interaktions-Insights – KI-generierte Erkenntnisse aus positiven, neutralen und negativen Konversationen mit Lernpotenzial
Themen-Wordcloud – Visuelle Darstellung der meistbesprochenen Themen
Nutzungszeiten – Heatmap der Nutzung nach Tageszeit
Täglich aktive Nutzer – Verlaufsdiagramm der täglichen Nutzeraktivität
Nachrichten pro Tag – Zeitlicher Verlauf des Nachrichtenaufkommens
Konversationstabelle – Durchsuchbare und filterbare Liste aller externen Chatbot-Konversationen mit Detailansicht

Erste Schritte

Voraussetzungen

Ein aktives hermine.ai-Konto mit aktiviertem Chat Insights Feature
Account-Administrator- oder Manager-Berechtigung

Chat Insights aktivieren

Navigieren Sie zu Einstellungen › Erweiterungen
Aktivieren Sie Chat Insights Dashboard
Nach der Aktivierung erscheint „Chat Insights" in der Navigation unter Apps

Hinweis: Nur Account-Administratoren können Chat Insights aktivieren. Zugriff haben Nutzer mit der Berechtigung „Account verwalten".

Dashboard nutzen

Filter & Zeitraum

Über die Filterleiste am oberen Rand können Sie die Auswertung präzise eingrenzen:

Zeitraum – Wählen Sie zwischen Woche, Monat oder Jahr
Konkreter Zeitraum – Wählen Sie die gewünschte Woche, den Monat oder das Jahr aus
Workspace – Filtern Sie nach einem bestimmten Workspace (nur Workspaces mit zugewiesenen Agenten werden angezeigt)
Agent – Filtern Sie nach einem bestimmten KI-Agenten

Klicken Sie auf Anwenden, um die Filter zu aktivieren, oder auf das X, um alle Filter zurückzusetzen.

Hinweis: Für aussagekräftige Statistiken werden mindestens 10 Konversationen im gewählten Zeitraum benötigt. Bei weniger Daten erscheint ein entsprechender Hinweis.

KPI-Karten

Die oberen Statistikkarten zeigen die wichtigsten Kennzahlen:

Gesamtkonversationen – Anzahl aller Konversationen im Zeitraum
Gesamtnachrichten – Anzahl aller KI-generierten Nachrichten
Ø Nachrichtenlänge – Durchschnittliche Wortanzahl der KI-Antworten
Ø Unterhaltungsdauer – Durchschnittliche Dauer einer Konversation (mm:ss)

Performance-Metriken

Darunter finden Sie operative Kennzahlen:

Fehlerrate – Prozentualer Anteil fehlerhafter Nachrichten
Anfragen pro Tag – Durchschnittliche Konversationen pro Werktag
Kosten pro Nachricht – Durchschnittliche Kosten je KI-Nachricht
Aktive Nutzer pro Tag – Durchschnittliche Anzahl aktiver Nutzer pro Werktag

Verteilungsdiagramme

Drei nebeneinander angeordnete Diagramme zeigen:

LLM-Modell-Verteilung – Welche Sprachmodelle genutzt werden (z. B. GPT-4o, Claude Sonnet)
Sprachverteilung – In welchen Sprachen Konversationen geführt werden
Agenten-Nutzung – Welche KI-Agenten am meisten genutzt werden (Top 8)

Sentiment-Analyse

Die Sentiment-Analyse bewertet automatisch die Stimmung jeder Konversation. Ein Balkendiagramm zeigt die Verteilung in:

Positiv – Konversationen mit positivem Verlauf
Neutral – Sachliche oder neutrale Konversationen
Negativ – Konversationen mit negativem Feedback oder Problemen

Interaktions-Insights

Konversationen mit Lernpotenzial werden KI-gestützt analysiert und nach Sentiment kategorisiert dargestellt. Jeder Insight enthält:

Einen kurzen Analysetext
Eine Zusammenfassung der Konversation
Datum und Titel

So können Sie gezielt aus positiven Erfahrungen lernen und problematische Interaktionen identifizieren.

Themen-Wordcloud

Die Wordcloud visualisiert die Top-50-Themen aus allen analysierten Konversationen. Häufiger besprochene Themen erscheinen größer – eine schnelle Möglichkeit, die Hauptanwendungsbereiche der KI zu erkennen.

Zeitliche Diagramme

Nutzungszeiten – Balkendiagramm der Nachrichtenverteilung nach Tageszeit (0–23 Uhr, Zeitzone Europa/Berlin)
Täglich aktive Nutzer – Verlaufsdiagramm der eindeutigen aktiven Nutzer pro Tag
Nachrichten pro Tag – Verlaufsdiagramm des Nachrichtenaufkommens pro Tag

Konversationstabelle

Am unteren Ende des Dashboards finden Sie eine Tabelle aller externen Konversationen (von öffentlichen Chatbots):

Filter – Alle anzeigen, nur ungelesene, nur gelesene oder nur markierte
Suche – Volltextsuche über alle Konversationen
Sortierung – Klicken Sie auf Spaltenüberschriften zum Sortieren nach Titel, Nachrichtenanzahl, Identifier, IP-Adresse, Datum, Feedback, Themen oder Stimmung
Detailansicht – Klicken Sie auf eine Konversation, um den gesamten Chatverlauf einzusehen
Markieren – Kennzeichnen Sie wichtige Konversationen für spätere Analyse

Datenschutz

Chat Insights respektiert die Datenschutzeinstellungen Ihres Accounts:

Nur Administratoren und Account-Manager haben Zugriff
Die Daten verlassen nicht Ihren Account
Ephemere (temporäre) Konversationen werden von der Analyse ausgeschlossen
Nur persistente und sichtbare Konversationen fließen in die Statistiken ein

Tipp: Nutzen Sie die Interaktions-Insights, um erfolgreiche Prompt-Strategien zu identifizieren und problematische Antwortmuster frühzeitig zu erkennen.

Menu