Ein KI-Pilotprojekt mit internen Dokumenten muss prüfen, ob Nutzer die richtigen Informationen finden, ob Antworten zugelassene Quellen verwenden und ob das System Situationen erkennt, in denen es nicht antworten kann. Die Kriterien werden vor dem Test gemeinsam mit Prozessverantwortung und IT-Team festgelegt.
Eine Vorführung mit wenigen Fragen kann die Oberfläche zeigen. Eine Umsetzungsentscheidung erfordert jedoch repräsentative Fragen, reale Dokumente und ein einheitliches Bewertungsverfahren. Das Pilotprojekt muss sowohl Nutzen als auch Betriebsaufwand klären.
Wählen Sie einen hinreichend präzisen Umfang
Definieren Sie, wer den Assistenten für welche Tätigkeit nutzt. Der Zugriff auf Arbeitsverfahren, die Suche nach Produktinformationen und die Prüfung technischer Dokumentation sind verschiedene Ziele mit eigenen Anforderungen.
Legen Sie fest, welche Fragen getestet werden und welche Themen ausgeschlossen bleiben. Ein begrenzter Kreis von Dokumenten und Nutzern hilft dem Team zunächst zu verstehen, warum eine Antwort hilfreich oder falsch ist.
Beschreiben Sie auch die heutige Alternative. Sucht der Nutzer in Ordnern, öffnet er ein Portal oder fragt er einen Kollegen? Ohne diesen Vergleich ist schwer einzuschätzen, ob das neue Werkzeug die Arbeit verbessert.
Bereiten Sie Dokumente und Zugriffsrechte vor
Ermitteln Sie freigegebene Dokumente, deren Verantwortliche und den Aktualisierungsrhythmus. Mehrere Versionen desselben Verfahrens können widersprüchliche Antworten erzeugen, wenn das System keine Regel zur Auswahl der relevanten Version hat.
Prüfen Sie, welche Personen welche Informationskategorien sehen dürfen. Eine Anmeldung in der Anwendung allein erlaubt nicht den Zugriff auf sämtliche Dokumente. Der Zugang zu Suchergebnissen muss entsprechend der gewählten Architektur mit Identität und Berechtigungen des Nutzers verknüpft sein. Die Microsoft-Dokumentation zum Zugriff auf Ergebnisse behandelt diese Unterscheidung für Azure AI Search.
Klären Sie außerdem, wo Daten verarbeitet werden, welche Dienste sie erhalten und welche Aufbewahrungsbedingungen gelten. Die Antworten hängen von Konfiguration und Verträgen der verwendeten Lösung ab. Die Bezeichnung „KI für Unternehmen“ bestätigt diese Bedingungen nicht automatisch.
Erstellen Sie einen Satz realer Fragen
Sammeln Sie Fragen aus dem Teamalltag und lassen Sie Fachleute die richtige Antwort oder die benötigte Quelle beschreiben. Berücksichtigen Sie unterschiedliche Formulierungen für dieselbe Absicht sowie Fälle mit unvollständigem Nutzerkontext.
Der Satz muss auch Fragen ohne Antwort in den Dokumenten, veraltete Informationen und zugriffsbeschränkte Themen enthalten. Diese Fälle prüfen wichtige Grenzen für den täglichen Einsatz.
Halten Sie einen Teil der Fragen für die abschließende Evaluation zurück und verwenden Sie ihn nicht zur Anpassung der Lösung. Sonst zeigt das Ergebnis möglicherweise eher die Anpassung an bekannte Beispiele als den künftigen Nutzen im Alltag.
Legen Sie vom Team überprüfbare Kriterien fest
| Kriterium | Bewertungsfrage |
|---|---|
| Richtigkeit | Gibt die Antwort die freigegebenen Informationen wieder? |
| Quellenbezug | Belegen die genannten Textstellen die Antwort? |
| Aktualität | Verwendet das System die gültige Version? |
| Zugriff | Erhält der Nutzer nur erlaubte Informationen? |
| Umgang mit Grenzen | Fragt das System bei Bedarf nach oder lehnt eine Antwort ab? |
| Nutzen | Kann der Nutzer seine Tätigkeit fortsetzen? |
| Betrieb | Sind Antwortzeit und Kosten akzeptabel? |
Nicht alle Fehler sind gleich wichtig. Eine unvollständige Formulierung und die Offenlegung geschützter Informationen erfordern unterschiedliche Maßnahmen. Legen Sie fest, welche Fehlerarten den Start verhindern und welche Probleme in einer späteren Phase verbessert werden können.
Eine Architektur, die Dokumente durchsucht und gefundene Textstellen für Antworten nutzt, kann den Bezug zu Unternehmensinformationen stärken. Dieser Ansatz ersetzt keine Evaluation. Sowohl Suche als auch Antwortformulierung können in bestimmten Situationen scheitern.
Vergleichen Sie das Ergebnis mit dem Betriebsaufwand
Beobachten Sie, wie lange die Prüfung einer Antwort dauert und wie viel Arbeit beim Nutzer verbleibt. Eine schnelle Antwort, die umfangreiche Kontrollen erfordert, kann weniger nützlich sein, als die Geschwindigkeit der Oberfläche vermuten lässt.
Das Budget muss Dokumentenpflege, Bewertung von Änderungen, Support und die Nutzung technischer Dienste berücksichtigen. Legen Sie fest, wer diese Aufgaben nach dem Pilotprojekt übernimmt. Ohne Verantwortliche für Inhalte kann sich die Qualität mit den Unternehmensverfahren verändern.
Beenden Sie das Pilotprojekt mit einer dokumentierten Entscheidung
Der Abschlussbericht muss zeigen, was getestet wurde, welche Ergebnisse die einzelnen Fragekategorien lieferten und welche Grenzen beobachtet wurden. Die Empfehlung kann lauten: mit begrenztem Umfang fortsetzen, Daten verbessern, den Ansatz ändern oder die Initiative beenden.
Bei einer Fortsetzung definieren Sie die Produktionsbedingungen: Zugriff, Monitoring, Eskalation an Menschen, Support und erneute Evaluation bei Änderungen der Lösung. Dauer und Kosten des Pilotprojekts werden nach Abgrenzung des Umfangs vereinbart.
Die Fallstudie BRD, veröffentlicht von UP2DATE, beschreibt einen Assistenten mit Anbindung an Bankinformationen und Übergabe an Mitarbeitende. Für Dokumente und Nutzer eines anderen Unternehmens muss die Leistung separat geprüft werden.
Mit seinen Leistungen für KI-Beratung und -Lösungen definiert und implementiert UP2DATE Assistenten mit Anbindung an Unternehmensdokumente und -systeme. Kontaktieren Sie uns für ein erstes 30-minütiges Gespräch – kostenlos, zu Anforderungen, Integration und Projektschritten.
