إنفيديا تطلق استدلال TensorRT متعدد الأجهزة داخل Dynamo-Triton لخدمة النماذج عبر عدة GPUs
ما الجديد؟
أعلنت إنفيديا عن قدرة الاستدلال متعدد الأجهزة (Multi-Device Inference) في TensorRT، وهي متاحة الآن داخل NVIDIA Dynamo-Triton. تتيح هذه القدرة لشبكة TensorRT واحدة أن تُنفَّذ موزعة على عدة وحدات GPU باستخدام تجميعات NCCL الموزعة، مع الحفاظ على تحسينات الاستدلال التي يشتهر بها TensorRT. الدعم الرسمي يبدأ من TensorRT 11.0.
لماذا يهم هذا؟
متطلبات الحوسبة والذاكرة للنماذج التوليدية تجاوزت ما يمكن لبطاقة GPU واحدة تقديمه. كان الحل التقليدي هو تقسيم النموذج يدويًا أو بناء طبقات تنسيق معقدة، وهو ما يزيد التعقيد ويقلل الكفاءة. القدرة الجديدة تنقل هذا العبء إلى مسار الاستدلال نفسه.
كيف يعمل؟
- شبكة TensorRT واحدة تُقسَّم منطقيًا عبر عدة GPUs.
- التنسيق بين الأجهزة يتم عبر تجميعات NCCL الموزعة.
- تحسينات TensorRT (مثل الدمج والتكميم) تبقى فعّالة.
- التكامل يتم داخل Dynamo-Triton، أي ضمن طبقة خدمة النماذج نفسها.
مقارنة سريعة
| النهج | التعقيد | الحفاظ على تحسينات TensorRT | ملاحظات |
|---|---|---|---|
| GPU واحد | منخفض | نعم | محدود بالذاكرة والحوسبة |
| تقسيم يدوي للنموذج | مرتفع | جزئيًا | يتطلب هندسة مخصصة |
| TensorRT متعدد الأجهزة | متوسط | نعم | تنسيق NCCL مدمج |
حالات استخدام للمنطقة
- مزودو الخدمات السحابية في الخليج: خدمة نماذج كبيرة عبر عناقيد GPU متعددة دون بناء طبقات توزيع مخصصة.
- القطاع الحكومي: تشغيل نماذج لغوية عربية كبيرة محليًا مع الاستفادة من كل البطاقات المتاحة.
- القطاع المالي والصحي: استدلال منخفض الكمون على نماذج ضخمة مع متطلبات سيادة بيانات.
ما يجب مراقبته
الأداء الفعلي يعتمد على سرعة الربط بين البطاقات (NVLink أو InfiniBand) وعلى توازن توزيع العمل. كما أن الفرق التي تعتمد على أطر أخرى مثل vLLM أو TensorRT-LLM قد تحتاج إلى تقييم مدى التوافق قبل الترحيل.
ملاحظة للمراجعة البشرية: يُنصح بالتحقق من ملاحظات الإصدار الرسمية لـ TensorRT 11.0 ومتطلبات Dynamo-Triton قبل النشر الإنتاجي.
أسئلة شائعة
ما هو TensorRT متعدد الأجهزة في Dynamo-Triton؟
هو قدرة جديدة تسمح لشبكة TensorRT واحدة بالعمل موزعة على عدة GPUs باستخدام تجميعات NCCL، مع الاحتفاظ بتحسينات الاستدلال التي يوفرها TensorRT، وهي مدعومة بدءًا من الإصدار 11.0.
كيف يختلف هذا عن توزيع النموذج يدويًا عبر عدة GPUs؟
سابقًا كان على الفرق تقسيم النموذج يدويًا أو استخدام أطر متعددة الطبقات. الآن يتولى TensorRT وNCCL إدارة التوزيع داخل نفس مسار الاستدلال، ما يقلل التعقيد ويحافظ على الأداء المُحسَّن.
هل يناسب فرق الذكاء الاصطناعي في الشرق الأوسط؟
نعم، خصوصًا المؤسسات التي تخدم نماذج توليدية كبيرة على عناقيد GPU محلية أو سحابية، إذ يقلل عدد نقاط النشر ويبسّط التوسع الأفقي.
ما المتطلبات الأساسية للاستفادة منه؟
TensorRT 11.0 أو أحدث، وبيئة Dynamo-Triton، وشبكة ربط عالية السرعة بين البطاقات مثل NVLink أو InfiniBand لتحقيق أفضل أداء.
المصدر: NVIDIA Developer (AI)
ملخص بمساعدة الذكاء الاصطناعي من المصدر أعلاه. القصص عالية الثقة تُنشر تلقائياً، والبقية تنتظر مراجعة، ولا تُضاف وقائع غير موجودة في المصدر.