እንዴት እንደሚሠራ

ደንበኞች ነባሩን service_tier መለኪያ ከservice_tier = "fast" አማራጭ ጋር በመጠቀም ትራፊክን በእያንዳንዱ ጥያቄ ወደ ፈጣን ሁነታ መምራት ይችላሉ።

በፈጣን ሁነታ የቀረቡ token-ዎች ከመደበኛ ሂደት ተመኖች ከፍ ባለ ዋጋ በእያንዳንዱ token ይከፈላሉ።

በጥያቄ ደረጃ ከማዋቀር በተጨማሪ፣ በፕሮጀክት ቅንብሮች > ነባሪ የአገልግሎት ደረጃ፦ Fast ውስጥ የፕሮጀክቱን ነባሪ ወደ ፈጣን ሁነታ ማዋቀር ይችላሉ። አሁንም በእያንዳንዱ ጥያቄ ይህን ቅንብር መሻር ይችላሉ። በፕሮጀክት ቅንብሮችዎ ውስጥ Fastን መምረጥ Priorityን ከመምረጥ ጋር ተመሳሳይ ነው።

ይህ ከየመመዘኛ ደረጃ ጋር እንዴት ይሠራል?

የመመዘኛ ደረጃ ከፈጣን ሁነታ ተለይቶ ይቀጥላል። ወደ ፈጣን ሁነታ የተላኩ ጥያቄዎች ክፍያቸው ለየብቻ ይሰላል፤ እንዲሁም ከገዙት የመመዘኛ ደረጃ TPM ጥቅሎች ላይ አይቆጠሩም።

ከየመመዘኛ ደረጃ የተረፈውን ትራፊክ በራስ-ሰር ወደ ፈጣን ሁነታ መላክ እችላለሁ?

አይ። ወደ የመመዘኛ ደረጃ የተላከ ትራፊክ በራስ-ሰር ወደ ፈጣን ሁነታ አይተላለፍም።

የፈጣን ሁነታ ክፍያ እንዴት ይሰላል?

በፈጣን ሁነታ የቀረቡ token-ዎች ከመደበኛ ሂደት ተመኖች ከፍ ባለ ዋጋ በእያንዳንዱ token ይከፈላሉ።

ዓመታዊ ግዴታዬ ከአንድ የተወሰነ የሂደት ሁነታ ጋር የተያያዘ ነው?

አይ። ሁሉም የሂደት ሁነታዎች ከዓመታዊ የEnterprise ወጪ ግዴታዎ ላይ ይቆጠራሉ።

በመሸጎጫ የተቀመጡ የግቤት token-ዎች ላይ አሁንም ቅናሽ አገኛለሁ?

አዎ! በመሸጎጫ የተቀመጡ ግቤቶች በመደበኛ ሂደት እንደሚያገኙት ተመሳሳይ የ50–75% ቅናሽ ያገኛሉ።

የፈጣን ሁነታ አጠቃቀሜንና ወጪዬን እንዴት ማየት እችላለሁ?

በፈጣን ሁነታ (ቀደም ሲል Priority processing) የተካሄዱ token-ዎችን ለማየት፣ ወደ Usage ዳሽቦርድ ይሂዱ፣ Chat Completions ወይም Responsesን ይምረጡ፣ ከዚያም Group by Service Tierን ይምረጡ።

የፈጣን ሁነታ ወጪን ለማየት ወደ Usage ዳሽቦርድ ይሂዱና Group by Line Itemን ይምረጡ።

በUsage ዳሽቦርድ ላይ priority ወይም fastን እንደ service_tier የሚጠቀሙ ጥያቄዎች priority ተብለው መታየታቸውን ይቀጥላሉ። ይህ ለወደፊት ሞዴሎች ይዘምናል።

ሞዴሎች

ፈጣን ሁነታ ለረጅም ዐውድ፣ በደቃቅ ለተስተካከሉ ሞዴሎች፣ embeddings ወዘተ ይገኛል?

በአሁኑ ጊዜ አይገኝም። ወደፊት ከአዳዲሶቹ ሞዴሎቻችን ባሻገር ፈጣን ሁነታን በተጨማሪ ምርቶች ላይ ማቅረብ እንዳለብን እንገመግማለን።

ሌሎች የግቤትና ውጤት ዓይነቶች ከፈጣን ሁነታ ጋር እንዴት ይሠራሉ?

ፈጣን ሁነታ በመደበኛ ሂደት ላይ ያሉትን ተመሳሳይ ባለብዙ ሞዳሊቲ ችሎታዎች ይደግፋል። በተለይም ምስሎች ለPriority processing እንደ ግቤት ሊጠቀሙ ይችላሉ፤ በተመሳሳይ ፈጣን የምላሽ ጊዜም ይካሄዳሉ።

የወደፊት ሞዴሎች ይደገፋሉ?

ፈጣን ሁነታን በአዳዲስ GPT ሞዴሎች ላይ ለማቅረብ አቅደናል፤ ሆኖም እያንዳንዱ ሞዴል እንደሚደገፍ ዋስትና አንሰጥም።

የተመን ገደቦች

የተመን ገደቦቹ ምንድን ናቸው?

የPriority processing ፍጆታ ለየተመን ገደቦች እንደ መደበኛ የAPI ትራፊክ ይቆጠራል።

የትራፊክ ጭማሪ ተመን ገደቦች ምንድን ናቸው?

ፈጣን ሁነታ ተለዋዋጭና እንደፍላጎት የሚከፈል ዋጋ እያቀረበ፣ ለሁሉም ደንበኞች ያለማቋረጥ ከፍተኛ አፈጻጸም ለማረጋገጥ የትራፊክ ጭማሪ ተመን ገደቦች አሉት። (ሀ) የፈጣን ሁነታ አፈጻጸም ከቀነሰ እና (ለ) የደንበኛው ትራፊክ በጣም ፈጥኖ እየጨመረ ከሆነ፣ አልፎ አልፎ አንዳንድ ጥያቄዎች ወደ መደበኛ ሂደት ሊወርዱ ይችላሉ።

የአሁኑ የፈጣን ሁነታ የትራፊክ ጭማሪ ተመን ገደብ እዚህ በዋና ሰነዳችን ውስጥ ተገልጿል።

በትራፊክ ጭማሪ ተመን ገደብዎ ውስጥ ለመቆየት የሚረዱ ምርጥ ልምዶች

ሞዴሎችን ሲቀይሩ ትራፊክን ቀስ በቀስ ይጨምሩ። ለምሳሌ፣ መተግበሪያዎ ከቀድሞ ቅጽበታዊ ስሪት ወደ አዲስ ሲሸጋገር፣ ሁሉንም ትራፊክ በአንድ ጊዜ ከማዛወር ይልቅ በጥቂት ሰዓታት ውስጥ ለማሸጋገር feature flag ይጠቀሙ።

በፈጣን ሁነታ ላይ ትላልቅ የውሂብ ማካሄጃ ወይም ያልተመሳሰሉ ሥራዎችን ከማስኬድ ይቆጠቡ። እነዚህ ሥራዎች ትራፊክን በጣም ፈጥነው ሊጨምሩ ይችላሉ፤ ብዙውን ጊዜም የፈጣን ሁነታን የተሻሻለ አፈጻጸም አያስፈልጋቸውም።

የትራፊክ ጭማሪ ተመን ገደቦች በተደጋጋሚ ካጋጠሙዎት፣ በምትኩ የመመዘኛ ደረጃ ኮታ ለመግዛት ያስቡ።

የትራፊክ ጭማሪ ተመን ገደቦች በፕሮጀክቶቼ ወይም በድርጅቶቼ መካከል የጋራ ናቸው?

አዎ፣ ሁሉም ትራፊክዎ በአንድ የትራፊክ ጭማሪ ተመን ገደብ ላይ ይቆጠራል።

ፖሊሲዎች

ፈጣን ሁነታ የምላሽ ጊዜ ግቡን ካላሟላ ምን ይከሰታል?

ማንኛውም ጥያቄ ወይም ስጋት ካለዎት እባክዎ ADዎን ያነጋግሩ። የፈጣን ሁነታ SLAዎች እንደ የመመዘኛ ደረጃ SLAዎች ይታያሉ፤ በተወሰነ የጊዜ ክፍለ ጊዜ ውስጥ እነዚያን SLAዎች ማሟላት ካልቻልን፣ የEnterprise ስምምነት ላላቸው ደንበኞች የአገልግሎት ክሬዲቶች ይሰጣሉ።

ፈጣን ሁነታ ከየውሂብ ነዋሪነት ጋር ተኳሃኝ ነው?

አዎ።

ፈጣን ሁነታ ከZDR እና BAA ጋር ተኳሃኝ ነው?

አዎ።