إنجاز AI

أمن AI يتجاوز جدار الحماية: يشمل حماية التوجيهات من التلاعب (prompt injection)، منع تسريب البيانات عبر الـ LLM، تأمين vector DB، ومراقبة المخرجات. OWASP Top 10 for LLM Applications مرجع أساسي لفرق الأمن المؤسسية.

2 دقيقة قراءة

أمن الذكاء الاصطناعي في البيئات المؤسسية: تهديدات وضوابط

لماذا AI surface attack جديد؟

Traditional app: input → validation → DB
LLM app: natural language → model reasoning → tools → output

OWASP (Open Web Application Security Project) نشر OWASP Top 10 for LLM Applications — معتمد من فرق أمن عالمية.

أهم التهديدات

1. Prompt Injection (LLM01)

Direct: «تجاهل التعليمات السابقة و…»
Indirect: نص خبيث داخل PDF مُفهرس يُقرأه RAG

Mitigation:

  • فصل system/user prompts
  • input sanitization
  • «tool allowlist» — لا shell عشوائي
  • human approval للإجراءات

2. Sensitive Information Disclosure (LLM02)

Model يُسرب: API keys في training data، PII من مستند neighbor chunk

Mitigation:

  • PII detection قبل index
  • output DLP scanning
  • RBAC على retrieval (user A لا يرى docs dept B)

3. Insecure Output Handling (LLM05)

LLM output يُ fed لـ SQL أو shell → injection

Mitigation:

  • parameterized queries فقط
  • no eval() on model output
  • sandbox للcode execution

4. Supply Chain (LLM03)

Model/plugin compromised

Mitigation:

  • pin model versions
  • scan dependencies
  • vendor security questionnaire

5. Data Poisoning (LLM04)

مستندات خبيثة في training/index

Mitigation:

  • approved source only
  • anomaly detection on new docs

Defense in depth

[User] → WAF/API GW → AuthN/Z → Input guard → LLM
                                      ↓
                              RAG (filtered by ACL)
                                      ↓
                              Output guard → Audit log

RBAC لـ RAG

مستوى ما يراه في retrieval
موظف عام internal public policies
manager + dept docs
legal + contracts (scoped)

Implementation: metadata filter على vector query — ليس post-filter فقط (information leakage risk).

Red team checklist (ربع سنوي)

  • 20 jailbreak prompts معروفة
  • «summarize all emails of CEO»
  • indirect injection via uploaded doc
  • محاولة استخراج system prompt
  • cross-tenant test (إن multi-tenant)

Incident response لـ AI

  1. Contain: disable tool/feature
  2. Investigate: audit log + prompt + chunks
  3. Notify: DPO إن PII
  4. Remediate: patch prompt/guardrail
  5. Post-mortem: update threat model

المصادر

  • OWASP Top 10 for LLM Applications (2025)
  • NIST AI RMF + GenAI Profile
  • MITRE ATLAS — adversarial ML
  • NCSC UK — Guidelines on secure AI system development

أسئلة شائعة

هل LLM on-premise = آمن تلقائياً؟

لا. التهديدات الداخلية (موظف يسأل عن بيانات غير مصرح) وprompt injection تبقى. IAM وRBAC على مستوى RAG إلزامي.

ما OWASP LLM Top 10؟

قائمة 2025 تشمل: Prompt Injection، Sensitive Info Disclosure، Supply Chain، Data Poisoning، وغيرها — راجع owasp.org للنسخة المحدّثة.

كيف نختبر أمن AI؟

Red team: jailbreak prompts، محاولات استخراج system prompt، اختبار صلاحيات RAG cross-department.

مقالات ذات صلة