Ο χειριστής ΓΕ σε εσωτερικά έγγραφα επαληθεύει εάν οι χρήστες βρίσκουν τις σωστές πληροφορίες, εάν οι απαντήσεις χρησιμοποιούν εγκεκριμένες πηγές και αν το σύστημα αναγνωρίζει καταστάσεις στις οποίες δεν μπορεί να ανταποκριθεί.
Για μια απόφαση εφαρμογής, απαιτούνται αντιπροσωπευτικές ερωτήσεις, πραγματικά έγγραφα και ένας συνεπής τρόπος αξιολόγησης. Ο πιλότος πρέπει να αποσαφηνίσει τόσο τη χρησιμότητα όσο και τη λειτουργική προσπάθεια.
Επιλέξτε έναν επαρκώς ακριβή σκοπό
Προσδιορίστε ποιος χρησιμοποιεί τον βοηθό και για ποια δραστηριότητα. Η πρόσβαση στις διαδικασίες εργασίας, η αναζήτηση πληροφοριών για το προϊόν και η επαλήθευση της τεχνικής τεκμηρίωσης είναι διαφορετικοί σκοποί με διαφορετικές απεφαρμογές.
Καθορίζει ποιες ερωτήσεις εισέρχονται στο τεστ και ποια θέματα παραμένουν έξω από αυτό. Για αρχή, ένα οριοθετημένο σύνολο εγγράφων και χρηστών βοηθούν την ομάδα να καταλάβει γιατί μια απάντηση είναι χρήσιμη ή λάθος.
Περιγράψτε την τρέχουσα εναλλακτική επίσης. Ο χρήστης ψάχνει σε φακέλους, ανοίγει μια πύλη ή ρωτάει έναν συνάδελφο; Χωρίς αυτή την αναφορά είναι δύσκολο να εκτιμηθεί εάν το νέο εργαλείο βελτιώνει τη δραστηριότητα.
Προετοιμασία εγγράφων και δικαιωμάτων πρόσβασης
Ταυτοποιεί τα εγκεκριμένα έγγραφα, τον ιδιοκτήτη τους και ενημερώνει ρυθμό. Αρκετές εκδόσεις της ίδιας διαδικασίας μπορούν να παράγουν αντιφατικές απαντήσεις, εάν το σύστημα δεν έχει έναν κανόνα για την επιλογή της σχετικής έκδοσης.
Ελέγξτε ποια άτομα μπορούν να δουν κάθε κατηγορία πληροφοριών. Η σύνδεση στην εφαρμογή δεν καθορίζει το δικαίωμα πρόσβασης σε όλα τα έγγραφα από μόνη της. Η πρόσβαση στα αποτελέσματα αναζήτησης πρέπει να συσχετίζεται με την ταυτότητα και τις άδειες του χρήστη, σύμφωνα με την επιλεγμένη αρχιτεκτονική. Τεκμηρίωση της Microsoft για την Πρόσβαση στα Αποτελέσματα Συζητήστε αυτή τη διάκριση για Azure AI Αναζήτηση.
Διευκρινίστε και όπου τα δεδομένα υποβάλλονται σε επεξεργασία, ποιες υπηρεσίες λαμβάνουν και ποιες συνθήκες αποθήκευσης ισχύουν. Οι απαντήσεις εξαρτώνται από τη διαμόρφωση και τις συμβάσεις της λύσης που χρησιμοποιείται. Η ετικέτα AI για τις εταιρείες δεν επιβεβαιώνει αυτόματα αυτές τις προϋποθέσεις.
Κατασκευή ενός πραγματικού συνόλου ερωτήσεων
Συλλέξτε ερωτήσεις από την ομαδική δραστηριότητα και ζητήστε από τους ειδικούς να περιγράψουν τη σωστή απάντηση ή πηγή που απαιτείται. Περιλαμβάνει διαφορετικές διατυπώσεις για την ίδια πρόθεση και περιπτώσεις όπου ο χρήστης προσφέρει ένα ατελές πλαίσιο.
Το σύνολο πρέπει επίσης να περιλαμβάνει αναπάντητα ερωτήματα σε έγγραφα, ξεπερασμένες πληροφορίες και θέματα με περιορισμένη πρόσβαση.
Αποθηκεύστε μερικές από τις ερωτήσεις για την τελική αξιολόγηση χωρίς να τις χρησιμοποιήσετε για την προσαρμογή της λύσης. Διαφορετικά, το αποτέλεσμα μπορεί να περιγράψει πόσο καλά το σύστημα έχει προσαρμοστεί στα γνωστά παραδείγματα και λιγότερο πόσο χρήσιμο θα είναι στη δραστηριότητα.
Ορισμός κριτηρίων που μπορεί να επαληθεύσει η ομάδα
| Κριτήριο | Ερώτημα αξιολόγησης |
|---|---|
| Δικαιοσύνη | Η απάντηση αντικατοπτρίζει τις εγκεκριμένες πληροφορίες; |
| Υποστήριξη στις πηγές | Δικαιολογούν τα αναφερόμενα εδάφια την απάντηση; |
| Τρέχων | Χρησιμοποιεί το σύστημα την έγκυρη έκδοση; |
| Πρόσβαση | Λαμβάνει μόνο ο χρήστης τις επιτρεπόμενες πληροφορίες; |
| Διαχείριση ορίων | Το σύστημα απαιτεί διευκρινίσεις ή άρνηση όταν είναι απαραίτητο; |
| Βοηθητικότητα | Μπορεί ο χρήστης να συνεχίσει να λειτουργεί; |
| Λειτουργία | Είναι αποδεκτός ο χρόνος απόκρισης και το κόστος; |
Δεν έχουν όλα τα λάθη την ίδια σημασία. Η ελλιπής διατύπωση και αποκάλυψη των περιορισμένων πληροφοριών απαιτεί διαφορετικές θεραπείες.
Μια αρχιτεκτονική που αναζητεί τα έγγραφα και χρησιμοποιεί τα περάσματα που βρέθηκαν για την απάντηση μπορεί να βελτιώσει την αγκύρωση στις πληροφορίες της εταιρείας. Αυτή η προσέγγιση δεν αφαιρεί την ανάγκη για αξιολόγηση. Τόσο η αναζήτηση όσο και η διατύπωση της απάντησης μπορεί να αποτύχουν σε ορισμένες περιπτώσεις.
Συγκρίνετε το αποτέλεσμα με την προσπάθεια λειτουργίας
Μια γρήγορη απάντηση που απαιτεί εκτεταμένους ελέγχους μπορεί να είναι λιγότερο χρήσιμη από ό, τι υποδηλώνει η ταχύτητα της διασύνδεσης.
Ο προϋπολογισμός πρέπει να περιλαμβάνει την ενημέρωση των εγγράφων, την αξιολόγηση των αλλαγών, την υποστήριξη και τη χρήση των τεχνικών υπηρεσιών.
Πιλότος τερματισμού με τεκμηριωμένη απόφαση
Η τελική έκθεση πρέπει να δείχνει τι έχει δοκιμαστεί, τα αποτελέσματα ανά κατηγορία ερωτήσεων και τα παρατηρούμενα όρια. Η σύσταση μπορεί να είναι να συνεχιστεί για καθορισμένο σκοπό, να βελτιωθούν τα δεδομένα, να αλλάξει η προσέγγιση ή να σταματήσει η πρωτοβουλία.
Εάν η απόφαση συνεχιστεί, καθορίζει τους όρους παραγωγής: πρόσβαση, παρακολούθηση, κλιμάκωση στον άνθρωπο, υποστήριξη και επανεκτίμηση κατά την αλλαγή της λύσης.
Μελέτη περίπτωσης BRD που δημοσιεύθηκε από UP2DATE Για τα έγγραφα και τους χρήστες μιας άλλης εταιρείας, οι επιδόσεις πρέπει να ελέγχονται χωριστά.
Από αξιολόγηση των ευκαιριών IA, UP2DATE μπορεί να αποσαφηνίσει το σκοπό και τους όρους ενός τέτοιου έργου. Καλεί για μια αρχική συζήτηση Η πρώτη συζήτηση του 30 Η αξιολόγηση και η πιλοτική σύμβαση χωριστά.