OpenAI
הדף הזה תורגם באופן אוטומטי. לצפייה במאמר המקורי באנגלית.

פלטפורמת API – רמת קנה מידה ללקוחות Enterprise קיימים

ניהול קיבולת טוקנים, רכישות, משתמשים מורשים ושימוש ברמת קנה מידה עבור ארגון ה-API שלכם בתוכנית Enterprise.

עודכן: 9 days ago

רמת קנה מידה בפלטפורמת API מאפשרת לרכוש מראש מכסה קבועה של טוקני קלט ופלט לדקה ב-API (המכונים ״יחידות טוקנים״), לשימוש בגרסה ייעודית אחת של מודל. כל יחידת טוקנים נרכשת לתקופה של 30 יום לפחות.

לאחר החתימה על טופס הזמנה, ניתן להוסיף ולהסיר יחידות טוקנים דרך החשבון שלכם בפלטפורמת API. שימו לב: רק בעלי הארגון ומשתמשים מורשים יכולים לצפות בהגדרות של רמת קנה מידה ולרכוש יחידות טוקני קלט ופלט.


מידע נוסף על התמחור של רמת קנה מידה.

איך ניגשים להגדרות של רמת קנה מידה?

בעלי ארגון בפלטפורמת API יכולים לגשת להגדרות רמת קנה מידה בלחיצה על סמל גלגל השיניים של ההגדרות בפינה השמאלית העליונה של הדף, ולאחר מכן בבחירת ״רמת קנה מידה״ תחת ״ארגון״ בתפריט שבצד ימין של המסך.

Image

דף ההגדרות של רמת קנה מידה מאפשר להוסיף קיבולת, לצפות בשימוש בטוקני קלט, לתכנן את הקיבולת הנדרשת, לצפות בטוקנים שהוקצו ולבדוק מי מורשה לבצע רכישות.

איך רוכשים קיבולת נוספת?

ניתן לרכוש קיבולת בלחיצה על הכפתור ״הוספת קיבולת״ בפינה השמאלית העליונה של דף רמת קנה מידה שלכם. הפרטים העדכניים על מכסת הטוקנים לדקה (TPM) לכל יחידת טוקני קלט ופלט מופיעים בדף הראשי של רמת קנה מידה.

לאחר בחירת סוג הטוקנים לרכישה, ניתן להזין כמות ישירות או להזיז את המחוון כדי לבחור את מספר הטוקנים שברצונכם לרכוש. המחוון מאפשר לראות בקלות את השינויים ב-TPM תחת ״סיכום״ תוך כדי שינוי כמות הטוקנים. נציג גם המלצה על מספר היחידות שכדאי לרכוש כדי לתת מענה להיקף התעבורה שלכם ב-30 הימים האחרונים.

Add token capacity dialog for gpt-4o with Input Tokens selected and input limit increasing from 40K to 60K

לאחר השלמת הבחירה, בחרו באפשרות ״לתשלום״ כדי לאשר את הרכישה בחלון שייפתח.

שימו לב: המחירים המוצגים בסיכום הם התעריפים הרגילים שלנו ואינם כוללים הנחות שסוכמו בטופס ההזמנה של הארגון שלכם. כל ההנחות שאתם זכאים להן יחולו ויופיעו בחשבונית שתונפק לארגון שלכם. כל היחידות שיירכשו יהיו פעילות עד לתחילת תקופת החיוב הבאה, ולאחר מכן יתחדשו מדי יום.

איך מאפשרים לקריאות להשתמש בטוקנים של רמת קנה מידה?

יש להפעיל את המתג רמת קנה מידה מופעלת בהגדרות הפרויקט.

אם אתם משתמשים ב-Completions API, עיינו גם בתיעוד שלנו המסביר את המפתח service_tier, כדי להחליט אם להגדיר אותו ידנית או להסתמך על התנהגות ברירת המחדל.

ברירת המחדל בקריאות ל-Responses API היא service_tier=auto. אם האפשרות ״רמת קנה מידה מופעלת״ פעילה בפרויקט, בקשות ללא service_tier (או עם הערך auto) ישתמשו ברמת קנה מידה כברירת מחדל, כל עוד נותרה בה מכסה זמינה. בקשות עם service_tier=default ישתמשו במשאבי מחשוב משותפים בתשלום לפי שימוש (PAYG).

איך צופים בהיסטוריית הרכישות ובטוקנים שפג תוקפם?

ניתן לצפות בהיסטוריית הרכישות של רמת קנה מידה בדף רמת קנה מידה שלכם, בבחירת מודל תחת ״טוקנים שהוקצו״.

Provisioned tokens table with active allocations for gpt-4o and gpt-4o-mini

לאחר בחירת מודל, תוכלו לצפות ב״טוקנים שפג תוקפם״ וב״עסקאות קודמות״ בתחתית הדף.

Image

איך משנים את קיבולת הטוקנים?

ניתן לשנות את קיבולת הטוקנים של מודל בבחירת המודל תחת ״טוקנים שהוקצו״ בדף רמת קנה מידה שלכם. לאחר בחירת המודל, מצאו את הרכישה תחת הכותרת ״פעיל״ ובחרו באפשרות ״ביטול״ שלצידה כדי לבצע את השינוי

Image

בחלון שייפתח, ניתן להזין ישירות את מספר היחידות לביטול או להשתמש במחוון כדי לראות כיצד הבחירה תשפיע על ה-TPM.

Edit Token Capacity dialog for gpt-4o canceling 1 package and reducing output limit TPM from 2.248M to 2.246M

איך צופים בנתוני RPM/TPM ובשימוש ברמת קנה מידה?

ניתן לצפות בסיכום השימוש ב-API של הארגון שלכם בדף רמת קנה מידה. כל התאריכים והשעות מוצגים לפי UTC, וייתכן עיכוב של עד 5 דקות בהצגת הנתונים.

Input token usage chart for the last 30 days with several spikes and a peak near 700K

ניתן לבדוק את השימוש שלכם בלוח הבקרה של נתוני השימוש והפעילות, בבחירת המודלים שלכם ברמת קנה מידה מתוך הרשימה הנפתחת של המודלים. ניתן לצפות בנתונים בחלונות זמן של 30 יום, יום אחד ו-15 דקות. נתוני השימוש מוצגים בתרשים מוערם, המציג את היקף השימוש במודל המכוסה ברמת קנה מידה לעומת היקף השימוש המכוסה בתוכנית החשבון שלכם.

שימו לב: רק בעלי הארגון יכולים לצפות בלוח הבקרה של השימוש.

מתי השינוי בקיבולת הטוקנים יופיע בלוח הבקרה של השימוש?

ייתכן שיחלפו עד 24 שעות עד שהשינויים שתבצעו יופיעו. השינויים עצמם ייכנסו לתוקף כמעט מיד.

האם המאמר הזה היה מועיל?