يجب أن يتحقق المشروع التجريبي للذكاء الاصطناعي على المستندات الداخلية من وصول المستخدمين إلى المعلومات الصحيحة، واستناد الإجابات إلى مصادر مُصرّح بها، وقدرة النظام على تمييز الحالات التي لا يستطيع الإجابة عنها. وتُحدّد المعايير قبل الاختبار بالتعاون مع مسؤول العملية وفريق تقنية المعلومات.
قد يوضح عرض توضيحي يتضمن بضعة أسئلة طريقة عمل الواجهة. لكن قرار التنفيذ يتطلب أسئلة تمثل الاستخدام الفعلي، ومستندات حقيقية، وطريقة متسقة للتقييم. ويجب أن يوضح المشروع التجريبي كلًا من الفائدة والجهد اللازم للتشغيل.
اختيار غرض دقيق بما فيه الكفاية
تحديد من يستخدم المساعد ولأي نشاط. الوصول إلى إجراءات العمل ، والبحث عن معلومات المنتج والتحقق من الوثائق الفنية هي أغراض مختلفة مع متطلبات متميزة.
يحدد الأسئلة التي تدخل الاختبار والمواضيع التي تبقى خارجه. بالنسبة للمبتدئين ، تساعد مجموعة محددة من المستندات والمستخدمين الفريق على فهم سبب فائدة أو خطأ الإجابة.
صف البديل الحالي أيضًا. يبحث المستخدم في المجلدات أو يفتح بوابة أو يسأل زميلًا؟ بدون هذا المرجع ، من الصعب تقدير ما إذا كانت الأداة الجديدة تحسن النشاط أم لا.
إعداد الوثائق وحقوق الوصول
يحدد المستندات المعتمدة ومالكها ووتيرة التحديث. يمكن أن تنتج عدة إصدارات من نفس الإجراء استجابات متناقضة إذا لم يكن لدى النظام قاعدة لاختيار الإصدار ذي الصلة.
تحققوا من الأشخاص الذين يحق لهم الاطلاع على كل فئة من المعلومات. فالمصادقة داخل التطبيق لا تمنح وحدها حق الوصول إلى جميع المستندات. ويجب ربط الوصول إلى نتائج البحث بهوية المستخدم وصلاحياته وفقًا للمعمارية المختارة. وثائق Microsoft على الوصول إلى النتائج مناقشة هذا التمييز ل Azure AI Search.
توضيح وأين تتم معالجة البيانات ، وما هي الخدمات التي يتلقونها وما هي شروط التخزين المطبقة. تعتمد الردود على تكوين وعقود الحل المستخدم. لا يؤكد الملصق "AI للشركات" هذه الشروط تلقائيًا.
بناء مجموعة حقيقية من الأسئلة
اجمع الأسئلة من نشاط الفريق واطلب من الخبراء وصف الإجابة الصحيحة أو المصدر المطلوب. يتضمن تركيبات مختلفة لنفس النية والحالات التي يقدم فيها المستخدم سياقًا غير مكتمل.
يجب أن تتضمن المجموعة أيضًا أسئلة لم تتم الإجابة عليها في المستندات ومعلومات قديمة ومواضيع ذات وصول مقيد. هذه الحالات تحقق حدود مهمة للاستخدام اليومي.
احفظ بعض الأسئلة للتقييم النهائي دون استخدامها لضبط الحل. خلاف ذلك ، يمكن أن تصف النتيجة مدى تكيف النظام مع الأمثلة المعروفة وأقل مدى فائدته في النشاط.
تحديد المعايير التي يمكن للفريق التحقق منها
| المعيار: | سؤال التقييم |
|---|---|
| صحة الإجابات | هل تعكس الإجابة المعلومات المعتمدة؟ |
| الدعم في المصادر | هل المقاطع المشار إليها تبرر الإجابة؟ |
| حداثة المعلومات | هل يستخدم النظام النسخة الصالحة؟ |
| الوصول | هل يتلقى المستخدم المعلومات المسموح بها فقط؟ |
| إدارة الحدود | هل يحتاج النظام إلى توضيح أو يرفض عند الضرورة؟ |
| الفائدة | هل يمكن للمستخدم الاستمرار في العمل؟ |
| التشغيل | هل وقت الاستجابة والتكلفة مقبولة؟ |
ليست كل الأخطاء لها نفس الأهمية. تتطلب الصياغة غير المكتملة والكشف عن المعلومات المقيدة علاجات مختلفة. تحديد أنواع الأخطاء التي تمنع الإطلاق والمشاكل التي يمكن تحسينها في المرحلة التالية.
يمكن أن تؤدي البنية التي تبحث في المستندات وتستخدم المقاطع الموجودة للاستجابة إلى تحسين التثبيت في معلومات الشركة. هذا النهج لا يزيل الحاجة إلى التقييم. يمكن أن يفشل كل من البحث وصياغة الاستجابة في حالات معينة.
قارن النتيجة مع جهد التشغيل
شاهد المدة التي يستغرقها فحص الاستجابة ومقدار العمل المتبقي على المستخدم. قد تكون الاستجابة السريعة التي تتطلب فحوصات واسعة النطاق أقل فائدة من سرعة الواجهة.
يجب أن تشمل الميزانية تحديث المستندات، وتقييم التغييرات، والدعم، واستخدام الخدمات التقنية. حدّدوا من سيتولى هذه المسؤوليات بعد المشروع التجريبي. فمن دون مسؤول عن المحتوى، قد تتغير الجودة مع تغيّر إجراءات الشركة.
نهاية الطيار مع قرار موثق
يجب أن يوضح التقرير النهائي ما تم اختباره والنتائج حسب فئة الأسئلة والحدود المرصودة. قد تكون التوصية هي الاستمرار لغرض محدد أو تحسين البيانات أو تغيير النهج أو إيقاف المبادرة.
إذا استمر القرار ، فإنه يحدد شروط الإنتاج: الوصول والمراقبة والتصعيد إلى البشر والدعم وإعادة التقييم عندما يتغير الحل. يتم الاتفاق على مدة وتكلفة الطيار بعد تحديد الهدف.
دراسة حالة إفرادية BRD نشرت من قبل UP2DATE وصف مساعد متصل بالمعلومات المصرفية ونقلها إلى المشغلين. بالنسبة للوثائق ومستخدمي شركة أخرى ، يجب التحقق من الأداء بشكل منفصل.
بواسطة AI المشورة والحلولUP2DATE يحدد وينفذ المساعدين المتصلين بوثائق الشركة وأنظمتها. الاتصال بنا للحصول على المناقشة الأولى من 30 دقائقمجانا، حول متطلبات وتكامل وخطوات المشروع.
