نظرة عامة
الرموز هي الوحدات التي تستخدمها نماذج OpenAI لمعالجة النصوص. قد يمثّل الرمز حرفًا أو جزءًا من كلمة أو كلمة كاملة أو علامة ترقيم. تؤثر المسافات أيضًا في كيفية تقسيم النص إلى رموز.
عدد الرموز ليس مماثلًا لعدد الكلمات. قد ينتج النص نفسه أعدادًا مختلفة من الرموز بحسب النموذج وترميزه واللغة.
فهم كيفية تحوّل النص إلى رموز
عند إرسال نص إلى نموذج:
يُقسَّم النص إلى رموز.
يعالج النموذج تلك الرموز.
ينشئ النموذج رموز الإخراج. قد تشمل هذه الرموز النص الذي تتلقاه، وتشمل في نماذج الاستدلال رموز استدلال داخلية لا تظهر ضمن نص الإجابة.
استخدام تقديرات تقريبية للنص الإنجليزي
تساعدك هذه التقديرات في تقدير حجم النص الإنجليزي:
يعادل الرمز الواحد نحو 4 أحرف.
يعادل الرمز الواحد نحو ثلاثة أرباع كلمة.
تعادل 100 رمز نحو 75 كلمة.
هذه تقديرات وليست أعدادًا دقيقة. تختلف أطوال الجمل والفقرات، وقد تختلف في اللغات الأخرى العلاقة بين الأحرف والكلمات والرموز.
مراعاة المسافات وحالة الأحرف
يمكن تقسيم الكلمة إلى رموز مختلفة بحسب تهجئتها وحالة أحرفها والنص المحيط بها.
على سبيل المثال، لا تتطابق نصوص red وRed و red؛ إذ يتضمن المثال الأخير مسافة في بدايته. قد يمثّلها الترميز بطرق مختلفة.
تعتمد معرّفات الرموز أيضًا على الترميز. لا تفترض أن معرّف الرمز الوارد في مثال ينطبق على كل نموذج.
التمييز بين رموز الإدخال والإخراج
| الفئة | ما تصفه |
| رموز الإدخال | الرموز المقدمة إلى النموذج ضمن طلب. تُسمى أيضًا رموز المطالبة. |
| رموز الإخراج | الرموز التي ينشئها النموذج. تُسمّيها إكمالات الدردشة رموز الإكمال. |
| رموز الإدخال المخزنة مؤقتًا | رموز إدخال يُعاد استخدامها عبر التخزين المؤقت للمطالبات. قد يختلف تسعيرها عن رموز الإدخال غير المخزنة مؤقتًا. |
| رموز الاستدلال | رموز يستخدمها نموذج الاستدلال داخليًا قبل إنتاج إجابته الظاهرة. |
لا تظهر رموز الاستدلال ضمن نص الإجابة، لكنها تُحتسب ضمن استخدام الإخراج وتُفوتر بوصفها رموز إخراج.
لذلك قد تستهلك الإجابة الظاهرة القصيرة رموزًا أكثر مما يوحي به نصها المعروض.
حساب الرموز قبل إرسال الطلب
حساب رموز النص العادي
استخدم أداة تقسيم النص إلى رموز لمعرفة كيفية تقسيم النص إلى رموز.
لتقسيم النص العادي إلى رموز برمجيًا، استخدم tiktoken. حدّد الترميز المناسب للنموذج المستهدف، مثل استخدام tiktoken.encoding_for_model(model).
لا يشمل عدد رموز النص العادي بالضرورة جميع الرموز في طلب API. يمكن أن تؤثر بنية الرسائل والأدوات والمخططات والصور والملفات في إجمالي عدد رموز الإدخال.
حساب رموز إدخال Responses كامل
لحساب إدخال كامل لواجهة Responses API، استخدم واجهة API لحساب رموز الإدخال.
تقبل تنسيقات إدخال Responses، بما فيها الرسائل والصور والملفات والأدوات والمحادثات. يشمل العدد رموز التنسيق المستخدمة في بنية الطلب، مثل أدوار الرسائل وحدودها.
لا يتنبأ عدد رموز الإدخال بعدد رموز الإخراج التي سينشئها النموذج.
التحقق من الاستخدام الفعلي للرموز
بعد إرسال طلب، راجع معلومات استخدامه. تختلف أسماء الحقول باختلاف نقطة النهاية:
تعرض إكمالات الدردشة prompt_tokens وcompletion_tokens وtotal_tokens.
تعرض Responses الحقول input_tokens وoutput_tokens وtotal_tokens.
يمكنك أيضًا مراجعة النشاط بمرور الوقت في لوحة معلومات الاستخدام. للاطلاع على التعليمات، بما فيها استخدام البث، راجع: مراجعة استخدام API وتكاليفها.
الالتزام بحدود النموذج
راجع وثائق نموذجك لمعرفة نطاق السياق والحد الأقصى للإخراج. قد تختلف هذه الحدود بين النماذج.
يحدّد نطاق السياق عدد الرموز التي يمكن للنموذج التعامل معها في الطلب. للنماذج أيضًا حد للإخراج. عند استخدام نماذج الاستدلال، اترك مساحة لرموز الاستدلال إلى جانب الإجابة الظاهرة.
إذا كان الإدخال كبيرًا جدًا، فيمكنك:
اختصار المطالبة أو إعادة صياغتها.
إزالة السياق غير الضروري أو المكرر.
تقسيم المدخلات الكبيرة إلى أجزاء أصغر.
تلخيص النص أو معالجته مسبقًا قبل إرساله.
استخدم إعداد رموز الإخراج الذي تدعمه نقطة النهاية والنموذج. تستخدم إكمالات الدردشة max_completion_tokens، بينما تستخدم Responses الحقل max_output_tokens.
حدود حجم الطلب هذه منفصلة عن حدود معدل API وحدود الاستخدام أو الإنفاق الشهرية. راجع وثائق النموذج للنموذج الذي تستخدمه.
فهم تسعير الرموز
في تسعير API القائم على الرموز، يعتمد السعر على النموذج وفئة الرموز. قد تختلف أسعار رموز الإدخال والإدخال المخزن مؤقتًا والإخراج. قد تستخدم إمكانات API الأخرى وحدات فوترة مختلفة.
راجع صفحة تسعير API للاطلاع على الأسعار الحالية.
عند مقارنة النماذج، ضع في الحسبان إجمالي الرموز والتكلفة اللازمين لإكمال مهمتك. لا يعني انخفاض سعر كل مليون رمز بالضرورة انخفاض التكلفة الإجمالية؛ فقد تقسّم النماذج النص نفسه إلى رموز بطرق مختلفة، وتنتج كميات مختلفة من الإخراج أو الاستدلال.
اختبر مهام تمثيلية بدلًا من مقارنة طول الإجابة الظاهرة فقط.
مراعاة الإكمالات المتعددة
عندما تدعم نقطة النهاية والنموذج إنشاء إكمالات متعددة، تستهلك تلك الإكمالات الإضافية رموزًا أيضًا.
في إكمالات الدردشة، يؤدي ضبط n على قيمة أكبر من 1 إلى إنشاء خيارات متعددة. تُحاسب على الرموز المُنشأة في جميع هذه الخيارات.
في واجهة Completions API القديمة، يمكن أن ينشئ best_of نتائج مرشحة لا تُعاد كلها. على سبيل المثال، قد ينشئ best_of = 3 ما يصل إلى 3 × max_tokens من رموز الإكمال عبر النتائج المرشحة.
هذه المعلمات خاصة بكل نقطة نهاية. لا تفترض أن واجهة API أو نموذجًا آخر يدعم n أو best_of.