Eine KI-Implementierung braucht mehr als eine überzeugende Demonstration. Bewerten Sie den unterstützten Arbeitsablauf, die zugänglichen Informationen und die Entscheidungen, die Menschen weiterhin treffen müssen. Fordern Sie Nachweise, die zum behaupteten Ergebnis und zu den tatsächlichen Betriebsbedingungen passen.
Beginnen Sie mit der tatsächlich gelieferten Funktion
Das BRD-Projekt zeigt einen Assistenten, der an eine Wissensdatenbank einer Bank angebunden ist. Der Abruf liefert Material für eine Antwort, garantiert aber weder ihre Vollständigkeit noch ihre Richtigkeit. Prüfen Sie unter anderem, ob das richtige Dokument gefunden wurde, ob es die Antwort stützt und wie sich das System bei fehlenden Informationen verhält.
Definieren Sie, was als Ergebnis zählt
Eine Lösungsquote benötigt eine Bezugsgröße, einen Zeitraum und eine Definition der gelösten Anfrage. Zeitersparnisse erfordern eine vergleichbare Ausgangsbasis. Prüfen Sie, wer das Ergebnis gemessen hat und welche Nutzer und Aufgaben einbezogen wurden. Eine Umsetzungsbeschreibung und ein gemessenes Geschäftsergebnis sind unterschiedliche Arten von Nachweisen; fordern Sie den für Ihre Entscheidung benötigten Nachweis an.
Testen Sie Fehlerfälle und Grenzen
- Fragen, zu denen keine verlässliche Quelle vorliegt.
- Widersprüchliche oder veraltete Dokumente.
- Anfragen außerhalb der Zugriffsrechte des Nutzers.
- Ausfälle externer Dienste und unerwartete Kosten.
- Fälle, die an einen Menschen weitergegeben werden müssen.
Verwenden Sie Fragen aus dem tatsächlichen Arbeitsablauf und vereinbaren Sie Abnahmekriterien vor dem Pilotprojekt. Testen Sie erneut, wenn sich Modell, Quellen oder Abrufverfahren ändern.
Vereinbaren Sie Zuständigkeiten für die Zeit nach dem Start
Legen Sie fest, wer Quellen aktualisiert, Fehler prüft, die Nutzung überwacht und Änderungen freigibt. Integrationen, Zugriffskontrollen und Support gehören zum laufenden System und dürfen nicht unbegrenzt aufgeschoben werden.
Informieren Sie sich über KI-Entwicklung oder darüber, wann eine einfachere Lösung geeigneter sein kann. Ein sinnvoller erster Schritt ist eine klar begrenzte Bewertung mit einer dokumentierten Entscheidung über die nächste Investition.
