نحوه کار

مشتریان می‌توانند با استفاده از پارامتر موجود service_tier و گزینه service_tier = "fast"، ترافیک هر درخواست را جداگانه به حالت سریع هدایت کنند.

توکن‌های پردازش‌شده در حالت سریع به‌ازای هر توکن و با نرخی بالاتر از تعرفه پردازش استاندارد صورت‌حساب می‌شوند.

علاوه بر پیکربندی در سطح درخواست، می‌توانید در مسیر «تنظیمات پروژه > رده خدمات پیش‌فرض: سریع»، حالت سریع را به‌عنوان پیش‌فرض پروژه تعیین کنید. همچنان می‌توانید این تنظیم را برای هر درخواست تغییر دهید. انتخاب «سریع» در تنظیمات پروژه معادل انتخاب «اولویت‌دار» است.

حالت سریع چه تعاملی با رده مقیاس‌بندی دارد؟

رده مقیاس‌بندی از حالت سریع جدا خواهد ماند. هزینه درخواست‌های ارسال‌شده به حالت سریع جداگانه محاسبه می‌شود و از بسته‌های TPM خریداری‌شده رده مقیاس‌بندی کسر نخواهد شد.

آیا می‌توانم ترافیک مازاد رده مقیاس‌بندی را به‌طور خودکار به حالت سریع بفرستم؟

خیر. ترافیک ارسال‌شده به رده مقیاس‌بندی به‌طور خودکار به حالت سریع منتقل نمی‌شود.

هزینه حالت سریع چگونه محاسبه می‌شود؟

توکن‌های پردازش‌شده در حالت سریع به‌ازای هر توکن و با نرخی بالاتر از تعرفه پردازش استاندارد صورت‌حساب می‌شوند.

آیا تعهد سالانه من به حالت پردازش خاصی وابسته است؟

خیر. هزینه همه حالت‌های پردازش در تعهد سالانه هزینه‌کرد سازمانی شما لحاظ می‌شود.

آیا همچنان برای توکن‌های ورودیِ کش‌شده تخفیف می‌گیرم؟

بله! ورودی‌های کش‌شده مانند پردازش استاندارد از همان تخفیف ۵۰ تا ۷۵ درصدی برخوردار می‌شوند.

چگونه میزان استفاده و هزینه‌کرد حالت سریع را مشاهده کنم؟

برای مشاهده توکن‌های پردازش‌شده در حالت سریع (که پیش‌تر «پردازش اولویت‌دار» نام داشت)، به داشبورد «استفاده» بروید، Chat Completions یا Responses را انتخاب کنید و داده‌ها را بر اساس «رده خدمات» گروه‌بندی کنید.

برای مشاهده هزینه حالت سریع، به داشبورد «استفاده» بروید و «گروه‌بندی بر اساس ردیف هزینه» را انتخاب کنید.

در داشبورد «استفاده»، درخواست‌هایی که مقدار service_tier آن‌ها priority یا fast است، همچنان با عنوان priority نمایش داده می‌شوند. این مورد برای مدل‌های آینده به‌روزرسانی خواهد شد.

مدل‌ها

آیا حالت سریع برای متن‌های طولانی، مدل‌های تنظیم دقیق‌شده، امبدینگ‌ها و موارد مشابه در دسترس است؟

در حال حاضر خیر. در آینده بررسی خواهیم کرد که آیا حالت سریع را افزون بر جدیدترین مدل‌ها، برای محصولات دیگری نیز ارائه کنیم.

سایر شیوه‌های ورودی و خروجی در حالت سریع چگونه کار می‌کنند؟

حالت سریع از همان قابلیت‌های چندوجهی موجود در پردازش استاندارد پشتیبانی می‌کند. به‌طور خاص، می‌توان از تصاویر به‌عنوان ورودی پردازش اولویت‌دار استفاده کرد و آن‌ها نیز با همان تأخیر کم پردازش می‌شوند.

آیا مدل‌های آینده پشتیبانی خواهند شد؟

قصد داریم حالت سریع را برای مدل‌های جدید GPT ارائه کنیم، اما پشتیبانی از همه مدل‌ها را تضمین نمی‌کنیم.

محدودیت‌های تعداد درخواست

محدودیت‌های تعداد درخواست چیست؟

برای اعمال محدودیت‌های تعداد درخواست، مصرف پردازش اولویت‌دار مانند ترافیک استاندارد API در نظر گرفته می‌شود.

محدودیت‌های تعداد درخواست هنگام افزایش ترافیک چیست؟

حالت سریع برای افزایش ترافیک محدودیت تعداد درخواست دارد تا ضمن ارائه قیمت‌گذاری منعطف و درخواستی، عملکردی باثبات و مطلوب برای همه مشتریان فراهم شود. اگر (الف) عملکرد حالت سریع افت کرده باشد و (ب) ترافیک مشتری با سرعت بیش‌ازحد افزایش یابد، ممکن است در موارد نادر برخی درخواست‌ها به پردازش استاندارد تنزل داده شوند.

محدودیت فعلی تعداد درخواست هنگام افزایش ترافیک در مستندات اصلی ما در اینجا تعریف شده است.

روش‌های توصیه‌شده برای رعایت محدودیت تعداد درخواست هنگام افزایش ترافیک

هنگام تغییر مدل‌ها، ترافیک را به‌تدریج افزایش دهید. برای مثال، اگر برنامه شما از یک اسنپ‌شات قبلی به اسنپ‌شاتی جدید منتقل می‌شود، با استفاده از یک پرچم قابلیت، ترافیک را طی چند ساعت و نه یک‌باره منتقل کنید.

از اجرای کارهای پردازش داده حجیم یا ناهمگام در حالت سریع خودداری کنید. این کارها می‌توانند ترافیک را بسیار سریع افزایش دهند و اغلب به عملکرد بهتر حالت سریع نیازی ندارند.

اگر مرتباً با محدودیت تعداد درخواست هنگام افزایش ترافیک روبه‌رو می‌شوید، به‌جای آن سهمیه رده مقیاس‌بندی بخرید.

آیا محدودیت‌های تعداد درخواست هنگام افزایش ترافیک میان پروژه‌ها یا سازمان‌های من مشترک است؟

بله، تمام ترافیک شما در همان محدودیت تعداد درخواست هنگام افزایش ترافیک محاسبه می‌شود.

خط‌مشی‌ها

اگر حالت سریع به هدف تعیین‌شده برای تأخیر نرسد، چه اتفاقی می‌افتد؟

برای طرح هرگونه پرسش یا نگرانی، با مدیر حساب خود تماس بگیرید. SLAهای حالت سریع مانند SLAهای رده مقیاس‌بندی در نظر گرفته می‌شوند؛ اگر در یک بازه زمانی نتوانیم این SLAها را برای مشتریان دارای قرارداد سازمانی محقق کنیم، اعتبار خدمات ارائه خواهد شد.

آیا حالت سریع با محل اقامت داده سازگار است؟

بله.

آیا حالت سریع با ZDR و BAA سازگار است؟

بله.