OpenAI
הדף הזה תורגם באופן אוטומטי. לצפייה במאמר המקורי באנגלית.

פתרון שגיאות ובעיות השהיה ב-API

מאמר זה מסביר כיצד להשתמש בלוחות הבקרה לתקינות השירות ולשימוש כדי לאתר ולפתור שגיאות נפוצות ובעיות השהיה בעת השימוש ב-API של OpenAI.

עודכן: 4 days ago

קישורים חשובים

הכירו את ברירות המחדל

כשפותחים את לוח הבקרה לתקינות השירות, ברירות המחדל הן:

  • כל הפרויקטים

  • 30 הימים האחרונים

  • רזולוציה שעתית

תצוגה זו מועילה לקבלת תמונה ראשונית בלבד. איתור ופתרון תקלות באופן יעיל מחייבים תמיד סינון.

סינון לפני הבדיקה

סינון נכון הוא השלב החשוב ביותר. רוב הפרשנויות השגויות נובעות מערבוב נתונים של מודלים, רמות שירות או פרויקטים שונים.

סינון לפי מודל (אחד בכל פעם)

סננו תמיד למודל אחד בלבד.

למה:

  • תעבורה בהיקף גדול במודלים אחרים עלולה להסתיר בעיות במודלים עם תעבורה מועטה

  • מודלים עם תעבורה רבה עלולים לגרום לבעיות נקודתיות להיראות כלליות

  • למודלים שונים יש יעדי ביצועים שונים

הערה: בחירה בכמה מודלים מאחדת את הנתונים שלהם — היא אינה מחליפה ביניהם.

סינון לפי רמת שירות

אם אתם משתמשים ביותר מרמת שירות אחת (רגילה, מצב מהיר (לשעבר עיבוד בעדיפות), רמת קנה מידה), סננו תמיד לרמה שאתם בודקים.

למה:

  • לרמות שירות שונות יש מאפייני ביצועים שונים

  • למצב מהיר ולרמת קנה מידה יש הסכמי רמת שירות (SLA) מוגדרים

  • ערבוב נתונים מרמות שירות שונות מטשטש את הביצועים של הרמות בתשלום

הדבר חשוב במיוחד לניתוח השהיה.

במודלים קיימים, התעבורה במצב מהיר עדיין מופיעה כ-priority בלוח בקרת השימוש.

סינון לפי פרויקט

כברירת מחדל, לוח הבקרה לתקינות השירות מציג את כל הפרויקטים.

לצורך איתור ופתרון תקלות, סננו לפרויקט או לפרויקטים שבהם נצפתה הבעיה.

למה:

  • פרויקט יחיד עם נפח תעבורה גדול יכול להשפיע על המדדים באופן מכריע.

  • תעבורה שאינה קשורה לבעיה עלולה להסתיר את השפעתה על פרויקטים קטנים יותר.

השאירו את האפשרות „כל הפרויקטים” מסומנת רק אם לדעתכם הבעיה אכן משפיעה על הארגון כולו.

איתור ופתרון שגיאות

שימוש בתצוגת בקשות HTTP

כדי לבדוק שגיאות:

  1. סננו לפי מודל ורמת שירות.

  2. פתחו את הלשונית בקשות HTTP במקום הלשונית זמינות.

תצוגה זו מציגה את מספר הבקשות הכולל ואת מספר השגיאות לפי קוד מצב HTTP. התמקדו בתצוגה ברזולוציה של דקות כדי לזהות זינוקים או שינויים נקודתיים.

התמקדו בשיעור השגיאות, לא במספרן

בכל מערכת בסביבת ייצור צפויות להתרחש שגיאות מסוימות. התמקדו באחוז השגיאות, ולא במספרן המוחלט.

ככל שנפח התעבורה הכולל גדול יותר, כך מספר השגיאות האפשרי גדול יותר, גם כששיעור השגיאות נמוך במיוחד.

כשהשגיאות אינן מופיעות בלוח הבקרה לתקינות השירות

אם מופיעות שגיאות בצד הלקוח, אך אין נתונים תואמים בלוח הבקרה לתקינות השירות:

  • סביר להניח שהבקשות לא הגיעו ל-OpenAI.

  • הבעיה מתרחשת בדרך כלל לפני ההגעה לשירות (חריגה מזמן ההמתנה, שרתי פרוקסי, תקשורת רשת).

זהו מצב נפוץ כשמוגדרים זמני המתנה קצרים מדי בצד הלקוח.

איתור ופתרון בעיות השהיה

ניתוח השהיה מועיל במיוחד ברמות השירות מצב מהיר ורמת קנה מידה, שלהן הסכמי רמת שירות (SLA) מוגדרים. ברמה הרגילה ייתכנו תנודות גדולות יותר בהשהיה, ואין בה התחייבות למשך ההשהיה.

מדדים מרכזיים

כדי לצפות בכל מדד, לחצו על הלשונית המתאימה:

  • קצב יצירת טוקנים: מספר הטוקנים שנוצרים בשנייה; אינו תלוי בגודל הפרומפט.

  • משך הבקשה: הזמן הכולל לטיפול בבקשה; מושפע מאוד מגודל הפלט ומ-reasoning.

  • זמן עד לטוקן הראשון (TTFT): הזמן עד ליצירת הטוקן הראשון; מושפע מאוד מגודל פרומפט הקלט שאינו שמור במטמון ומ-reasoning.

בדקו תמיד את האחוזונים P50 / P75 / P95. ממוצעים עלולים להסתיר את ההשפעה בפועל על המשתמשים.

בדיקת הקשר בין ההשהיה לשימוש בטוקנים

לוח הבקרה לתקינות השירות מציג מתי חל שינוי בהתנהגות. נתוני השימוש עוזרים להסביר מדוע.

בלוח בקרת השימוש, בצעו את הפעולות הבאות כדי לוודא שאתם צופים בנתונים התואמים לתצוגה שלכם בלוח הבקרה לתקינות השירות:

  • סננו לאותו פרויקט ולאותו מודל.

  • קבצו לפי רמת שירות, אם רלוונטי.

  • התמקדו בטוקני הפלט, שמשפיעים יותר מכול על ההשהיה.

לניתוח מעמיק יותר, יצאו את נתוני הפעילות ובחנו את מספר הטוקנים לבקשה לאורך זמן.

איזה מידע לשתף עם התמיכה (במידת הצורך)

אם אתם פונים לתמיכה, כללו:

  • מזהי הארגונים שהושפעו (חשוב)

  • נקודות הקצה שהושפעו, כגון Chat Completions או Responses (חשוב)

  • המודלים שהושפעו (חשוב)

  • האם הבעיה מתרחשת במצב מהיר או ברמת קנה מידה (חשוב)

  • טווחי הזמן שבהם הופיעו ההשהיה או השגיאות, כולל אזור הזמן (חשוב)

  • ערכי x-request-id או X-Client-Request-Id רלוונטיים, אם זמינים

  • חותמות זמן עם אזור הזמן, או לפחות התאריך, של הבקשות שאתם מצרפים

אם המידע זמין, כללו גם:

  • מזהה הפרויקט הקשור לבקשות

  • האם בקשות הכפופות לתושבות נתונים הושפעו, ואילו מהן

  • תיאור המגמות שאתם רואים

בהתאם לסוג הבעיה, כללו:

  • שגיאות: אחוז משוער של בקשות שנכשלות או מחזירות שגיאה, קודי תגובה, הודעות שגיאה וכמה זמן חלף עד לקבלת תגובת השגיאה.

  • השהיה: אילו אחוזונים הושפעו (P50 / P90 / P95 / P99), עד כמה הם גבוהים ביחס לרמת הבסיס של הלקוח, ודוגמאות לבקשות איטיות עם חותמות זמן של השליחה והקבלה.

  • בשני המקרים: צילומי מסך או טבלה של נתוני שגיאות או השהיה, וכן הסבר כיצד קבעתם ששיעור השגיאות או ההשהיה היו גבוהים מהצפוי.

תרחישים נפוצים באיתור ופתרון תקלות

יש חריגות מזמן ההמתנה, אך לוח הבקרה לתקינות השירות נראה תקין

סיבה אפשרית: זמן ההמתנה לבקשות מסתיים לפני שהן מגיעות ל-OpenAI.

מה לבדוק:

  • הגדרות זמן ההמתנה בלקוח או בשרת הפרוקסי

  • שינויים ברשת המקומית או במאזן העומסים

  • האם יש שגיאות 499 בלוח הבקרה לתקינות השירות (הן עשויות להופיע כשגיאות 5xx במערכות שלכם).

ההשהיה גדלה ללא פריסה חדשה

סיבה אפשרית: מספר טוקני הפלט או השימוש ב-reasoning גדלו, ו/או חל שינוי בחלוקת התעבורה בין רמות השירות.

מה לבדוק:

  • מספר טוקני הפלט הממוצע לבקשה בלוח בקרת השימוש (יש להוריד את הנתונים ולחלק את מספר טוקני הפלט במספר הבקשות הכולל).

  • אחוזוני משך הבקשה והזמן עד לטוקן הראשון (TTFT) בלוח הבקרה לתקינות השירות.

מצב מהיר או רמת קנה מידה נראים איטיים

סיבה אפשרית: המדדים משלבים נתונים מרמות שירות שונות, כך שתעבורה ברמה הרגילה מסתירה את הביצועים של הרמות בתשלום.

מה לבדוק:

  • האם המסננים מוגבלים לרמת שירות אחת ולמודל אחד.

  • השוואת קצב יצירת הטוקנים בין רמות השירות.

זינוק במספר שגיאות 5XX

סיבה סבירה: כשלים זמניים שמשפיעים על אחוז קטן מהתעבורה.

מה לבדוק:

  • שיעור השגיאות באחוזים

  • האם נפח התעבורה השתנה באותו זמן

הבעיה משפיעה על פרויקט אחד בלבד

סיבה סבירה: תצורה או דפוס שימוש ייחודיים לפרויקט.

מה לבדוק:

  • סינון ברמת הפרויקט

  • השוואה לפרויקטים שלא הושפעו

נקודות מרכזיות לסיכום

  • לפני פירוש המדדים, סננו לפי מודל, רמת שירות ופרויקט, לפי הצורך.

  • לניתוח השהיה, השתמשו באחוזונים ולא בממוצעים.

  • שיעורי שגיאות נמוכים הם תופעה צפויה.

  • נתונים חסרים מצביעים בדרך כלל על בעיות לפני הגעת הבקשות לשירות.

  • נתוני השימוש יכולים לעזור להסביר מדוע ההשהיה השתנתה; לוח הבקרה לתקינות השירות מציג מתי חל השינוי בהתנהגות.

האם המאמר הזה היה מועיל?