المحتويات
لماذا التفكير بمنطق دورة الحياة
لا تنتج أغلب الحوادث المرتبطة بالذكاء الاصطناعي عن خوارزمية سيئة من البداية، بل عن نظام ينحرف بعد تشغيله: معطيات تتغير، استعمال يتوسع، مراقبة تتوقف. حوكمة الذكاء الاصطناعي تعني مراقبة كل مرحلة، لا الإطلاق وحده.
المراحل وآليات مراقبتها
| المرحلة | السؤال الأساسي | التدبير في ISO/IEC 42001 | نقطة الانتباه في القانون 09.08 |
|---|---|---|---|
| التصور الأولي | لماذا هذا النظام، وهل هو قابل للإنجاز؟ | متطلبات ومواصفات موثَّقة (A.6.2.2)، تقييم الأثر (A.5) | غاية محددة ومشروعة (المادة 3) |
| المعطيات | أي معطيات، ومن أين، وهل هي ذات جودة؟ | الاقتناء، الجودة، المصدر، التحضير (A.7) | الأساس القانوني (المادة 4)، التناسب، إجراء لدى اللجنة الوطنية |
| التصميم والتطوير | أي اختيارات تقنية، وأي تهديدات؟ | توثيق التصميم (A.6.2.3) | أمن المعالجات (المادة 23) |
| التحقق والمصادقة | هل يؤدي النظام ما هو منتظر منه دون آثار غير مرغوبة؟ | تدابير ومعايير التحقق والمصادقة (A.6.2.4) | اختبارات على معطيات وهمية أو مخفية الهوية |
| النشر | هل تتوفر شروط التشغيل؟ | خطة النشر (A.6.2.5)، توثيق موجَّه للمستعملين (A.8.2) | إخبار الأشخاص (المادة 5) |
| الاستغلال والمراقبة | هل يبقى النظام فعّالاً وآمناً؟ | المراقبة، الصيانة، تسجيل الأحداث (A.6.2.6، A.6.2.8) | عدم بناء القرار على مجرد المعالجة الآلية (المادة 11) |
| إعادة التقييم | هل تغيرت الظروف؟ | مراجعة المخاطر والآثار | غاية جديدة تعني إجراءً جديداً |
| السحب | كيف يُوقف النظام بشكل سليم؟ | توثيق السحب | حذف المعطيات حسب مدة الحفظ |
التصميم: توثيق الاختيارات
تطلب ISO/IEC 42001 توثيق اختيارات التصميم: مقاربة التعلم، نوع النموذج، معطيات التدريب، التقييم، الواجهة، التفاعل مع البشر. كما تذكر تهديدات خاصة بالذكاء الاصطناعي يجب أخذها بعين الاعتبار منذ هذه المرحلة: تسميم المعطيات، وسرقة النموذج، وعكس النموذج الذي يتيح استرجاع معطيات التدريب انطلاقاً من أجوبة النظام.
المصادقة: الاختبار في السياق الفعلي
يجب أن تمثل معطيات الاختبار مجال الاستعمال الفعلي. وبالنسبة لنظام موجَّه للمغرب، يعني ذلك الاختبار بحالات بالفرنسية والعربية والدارجة، وعلى ملفات عملاء متنوعة. ويجب تحديد معايير التشغيل قبل الاختبارات، لا بعدها.
الاستغلال: مراقبة الانحراف
يتقادم نظام الذكاء الاصطناعي: تتغير سلوكيات العملاء، وتتطور المنتجات، وتتحول معطيات الإدخال. يجب أن تتابع المراقبة الأداء والشكايات والفوارق في معاملة فئات العملاء، وأن تُطلق إعادة المصادقة عند تجاوز عتبة معينة. ويجب تفعيل تسجيل الأحداث على الأقل طوال مدة استعمال النظام.
المزوّد الخارجي لا ينقل المسؤولية
إذا اشتُري النظام من ناشر، فالمراحل موجودة رغم ذلك. وتطلب ISO/IEC 42001 توزيعاً واضحاً للمسؤوليات بين المؤسسة ومورّديها وعملائها (A.10). اطلب من الناشر التوثيق التقني ونتائج الاختبارات وشروط الاستعمال المقصود.
لائحة تحقق عملية
- مسؤول معيَّن لكل نظام ذكاء اصطناعي قيد التشغيل.
- بطاقة لكل نظام: الغاية، المعطيات، النموذج، المخاطر، التدابير.
- معايير تشغيل محددة قبل الاختبارات.
- مراقبة بعتبات إنذار وإعادة مصادقة.
- مسطرة سحب تتضمن حذف المعطيات.
اقرأ أيضاً
- 4 دقائق للقراءة
- 4 دقائق للقراءة
- 3 دقائق للقراءة
- 8 دقائق للقراءة
أسئلة متكررة
ما هي مراحل دورة حياة نظام الذكاء الاصطناعي؟
يتضمن النموذج العام للمواصفة ISO/IEC 22989 التصور الأولي، والتصميم والتطوير، والتحقق والمصادقة، والنشر، والاستغلال والمراقبة، والمصادقة المستمرة، وإعادة التقييم، ثم السحب.
هل يجب تدبير دورة حياة أداة ذكاء اصطناعي مشتراة من ناشر؟
نعم. فالمؤسسة التي تستعمل النظام تبقى مسؤولة عن استعماله، وعليها الحصول من الناشر على التوثيق اللازم وتوزيع المسؤوليات بوضوح في العقد.
ما المقصود بعكس النموذج؟
هو هجوم يقوم على استجواب نظام ذكاء اصطناعي لإعادة تكوين معلومات حول المعطيات التي استُعملت في تدريبه. وتذكره ISO/IEC 42001 ضمن التهديدات الخاصة بالذكاء الاصطناعي التي يجب أخذها بعين الاعتبار منذ التصميم.
معلومات عامة، وليست استشارة قانونية.
الإبلاغ عن خطأالمراجع (4)
- ISO/IEC 42001:2023 — Information technology — Artificial intelligence — Management system. (نافذة جديدة)
- ISO/IEC 22989:2022 — Artificial intelligence concepts and terminology. (نافذة جديدة)
- ISO/IEC 5338:2023 — Artificial intelligence — AI system life cycle processes.
- Loi n° 09-08 relative à la protection des personnes physiques à l'égard du traitement des données à caractère personnel (Dahir n° 1-09-15 du 18 février 2009), notamment articles 4, 11, 43 et 44. (نافذة جديدة)