ttok 1.0: أداة حساب التوكنات تُحدّث الافتراضي إلى عائلة GPT-5/GPT-6
ما الجديد في ttok 1.0؟
أصدر سايمون ويليسون الإصدار 1.0 من أداة ttok المفتوحة المصدر، بعد أن لاحظ أن الإصدار السابق كان يستخدم مُرمِّز GPT-4 افتراضيًا بينما ينبغي أن يعتمد على عائلة GPT-5/GPT-6. واعتبر تغيير الافتراضي سببًا كافيًا لإطلاق الإصدار 1.0.
لماذا يهم تغيير المُرمِّز؟
عدد التوكنات يؤثر مباشرة على:
- التكلفة: التسعير يعتمد غالبًا على عدد التوكنات المُدخلة والمُخرجة.
- الحدود القصوى: تجاوز حد السياق يقطع الطلبات.
- الأداء: تقسيم مختلف للنص قد يغيّر جودة الاستدلال.
لذلك، أي اختلاف في المُرمِّز الافتراضي يعني تقديرات مختلفة للتكلفة والحدود.
ما الذي تُظهره التجربة؟
يشير ويليسون إلى تجربة أجراها William Liu، حيث:
| النماذج | عدد التوكنات | حالات الاختبار |
|---|---|---|
| سبعة نماذج GPT (5.5، 5.6 Sol/Terra/Luna، 6 Astra/Sol/Luna) | 44,794 | 31 |
ووفقًا للتجربة، تطابقت النماذج السبعة في كل حالات الاختبار، ما يرجّح أن GPT-6 لا يغيّر عدد التوكنات المُدخلة على هذه المجموعة. لكن OpenAI لم تؤكد رسميًا بعد أن GPT-6 يستخدم المُرمِّز نفسه لعائلة GPT-5.
كيف تستفيد فرق MENA؟
- تقدير الميزانية: احسب التوكنات قبل إرسال الطلبات لتقليل المفاجآت في الفواتير.
- ضبط الحدود: تأكد من أن النصوص لا تتجاوز نافذة السياق.
- التخطيط متعدد النماذج: إذا كنت تنتقل بين GPT-5 وGPT-6، فإن افتراضيًا موحّدًا يبسّط المقارنة.
خطوات عملية
- حدّث الأداة:
uv tool upgrade ttok. - اختبر عدد التوكنات على عيّنة من نصوصك الفعلية.
- قارن النتائج مع التوثيق الرسمي لـ OpenAI قبل الاعتماد على الأرقام في العقود أو الميزانيات.
تنويه: هذا المقال يلخّص معلومات من المصدر المذكور. للأرقام والتواريخ الرسمية، راجع الرابط الأصلي. لا نضيف تفاصيل غير منشورة في المصدر.
أسئلة شائعة
ما هي أداة ttok؟
أداة مفتوحة المصدر من سايمون ويليسون لحساب عدد التوكنات في النصوص قبل إرسالها إلى نماذج اللغة، ما يساعد في تقدير التكلفة والحدود.
لماذا تغيّر المُرمِّز الافتراضي في الإصدار 1.0؟
لأن الإصدار السابق كان يعتمد افتراضيًا على مُرمِّز GPT-4، بينما تُظهر تجربة أن عائلة GPT-5/GPT-6 تستخدم المُرمِّز نفسه، فصار الافتراضي مطابقًا للنماذج الأحدث.
هل أكّدت OpenAI أن GPT-6 يستخدم مُرمِّز GPT-5؟
لا، لم تؤكد OpenAI ذلك رسميًا بعد، لكن التجربة المذكورة في المصدر تُرجّح التطابق استنادًا إلى نتائج متطابقة على 31 حالة اختبار.
هل على فرق MENA تحديث أدواتها الآن؟
إذا كانت الفرق تعتمد على ttok لتقدير التكلفة، فالتحديث إلى 1.0 يمنح تقديرات أقرب للنماذج الحديثة، مع التحقق دائمًا من التوثيق الرسمي لـ OpenAI.
المصدر: Simon Willison (LLM & tools)
ملخص بمساعدة الذكاء الاصطناعي من المصدر أعلاه. القصص عالية الثقة تُنشر تلقائياً، والبقية تنتظر مراجعة، ولا تُضاف وقائع غير موجودة في المصدر.