أمان الذكاء الاصطناعي: دليل للمطورين

هذا الدليل للمطورين ومهندسي الأمن الذين يبنون تطبيقات تعتمد على نماذج لغوية ويريدون حمايتها من تهديدات 2026 العملية: حقن التعليمات المباشر وغير المباشر عبر المستندات، وتسريب البيانات الشخصية، والوكلاء الذين يتجاوزون صلاحياتهم. مراجعات الامتثال المؤسسي مثل SOC 2 تطلب ضوابط واضحة لا نوايا حسنة. سنبني هنا نموذج تهديد عملياً، ثم ضوابط على المدخلات والمخرجات، وتدقيقاً لمسارات الوكلاء.

قبل أن تبدأ

ارسموا نموذج التهديد قبل أي كود: من المهاجم المحتمل؟ مستخدم داخلي، أم زائر خارجي، أم مستند خبيث رُفع إلى النظام؟ وما الأصول المعرّضة؟ مفاتيح الواجهات، والبيانات الشخصية، والقرارات الآلية. راجعوا مع الإدارة القانونية سياسة صريحة بمنع إرسال أي بيانات شخصية ضمن التوجيهات، فهذه نقطة الانطلاق لكل ما يليها.

الخطوات

1. نمذجة التهديد

حدّدوا مسارات الهجوم الممكنة: حقن في المحادثة، وتعليمات مخفية داخل ملف PDF مرفوع، وتهريب بيانات عبر أداة خارجية. قيّموا أثر كل مسار على كل حالة استخدام وصنّفوها إلى منخفضة ومتوسطة وعالية الخطورة لتركيز الجهد حيث يهم.

2. ضوابط المدخلات

نظّفوا المدخلات، وضعوا سقفاً لعدد الطلبات لكل مستخدم وعنوان، وحدّاً للطول، وقوائم حظر لأنماط الحقن المعروفة. في أنظمة الاسترجاع، اعزلوا المستندات غير الموثوقة في بيئة استرجاع منفصلة حتى لا تتسرّب تعليماتها إلى سياق النموذج. عاملوا كل نص يأتي من خارج حدودكم بوصفه غير موثوق، سواء جاء من مستخدم أو من مستند مرفوع أو من نتيجة أداة، فالحقن غير المباشر عبر محتوى يبدو بريئاً أخطر من الحقن المباشر وأصعب اكتشافاً.

3. ضوابط المخرجات

رشّحوا المخرجات لمنع تسرّب الأسرار عبر تعبيرات نمطية وأدوات منع تسرّب البيانات، واحجبوا البيانات الشخصية، وارفضوا أي مخرَج يحوي مفاتيح وصول. في المهام الحسّاسة، أدخلوا مراجعة بشرية قبل الإرسال النهائي. انتبهوا إلى القنوات الجانبية التي قد يهرب منها سرّ، مثل استدعاء أداة خارجية يحمل بيانات في رابطه، فترشيح النص المرئي وحده لا يكفي ما لم تراقبوا كل ما يخرج عبر الأدوات أيضاً.

4. تدقيق الوكلاء

طبّقوا مستويات رقابة متدرّجة: تسجيل كامل أولاً، ثم مدقّق إلزامي، ثم موافقة بشرية على أي إجراء خارجي. اختبروا متانة النظام بإدخال اضطرابات على المستندات، وتأكدوا أن الإطار يصمد أمامها دون أن يغيّر سلوكه الآمن.

أخطاء شائعة

• الاتكال على «توجيه نظام سري» بوصفه دفاعاً وحيداً، وهو ليس كذلك.
• إهمال تسجيل الرموز والأخطاء فيتعذّر التحقيق بعد أي حادثة.
• تخطّي مراجعة المورّد: أين تُخزَّن التوجيهات وكم تبقى محفوظة؟
• منح الوكيل بيانات اعتماد واحدة لكل الأدوات بدل مبدأ أقل الصلاحيات.

قائمة تحقق

• نموذج تهديد موثّق ومعتمد
• تنظيف المدخلات وسقوف للطلبات
• ترشيح المخرجات وحجب البيانات الشخصية
• سجلات تدقيق مع مدة احتفاظ واضحة
• تدقيق متدرّج لمسارات الوكلاء

اختبروا الحقن غير المباشر عملياً: أدرجوا تعليمة مخفية داخل ملف PDF تطلب تجاهل التعليمات السابقة وتسريب الأسرار، وتأكدوا أن الإطار يمنع ذلك. راجعوا مدة الاحتفاظ بالسجلات، فقد تفرض لوائح حماية البيانات المحلية والأوروبية حذفاً ضمن مهلة محدّدة. وافصلوا بيانات الاعتماد لكل أداة على حدة بحيث لا يفتح اختراق واحد كل الأبواب. أخيراً، تعاملوا مع الأمان بوصفه عملية مستمرة لا قائمة تُنجَز مرة واحدة: راجعوا نموذج التهديد عند كل ميزة جديدة، وتابعوا قوائم الثغرات المعروفة في النماذج وأطر التشغيل، فمشهد التهديدات يتطوّر بالسرعة نفسها التي تتطوّر بها القدرات.

تنويه: هذا المقال يلخّص معلومات من المصدر المذكور في frontmatter. للأرقام والتواريخ الرسمية، راجع الرابط الأصلي. لا نضيف تفاصيل غير منشورة في المصدر.