ఇది పనిచేసే విధానం

ప్రస్తుతం ఉన్న service_tier పారామీటర్‌లో service_tier = "fast" ఎంపికను ఉపయోగించి, కస్టమర్లు ప్రతి అభ్యర్థనకు ట్రాఫిక్‌ను వేగవంతమైన మోడ్‌కు మళ్లించవచ్చు.

వేగవంతమైన మోడ్ అందించే టోకెన్లకు ఒక్కో టోకెన్ చొప్పున బిల్లు విధిస్తారు. వీటి ధర ప్రామాణిక ప్రాసెసింగ్ రేట్ల కంటే ఎక్కువగా ఉంటుంది.

అభ్యర్థన స్థాయిలో కాన్ఫిగర్ చేయడంతో పాటు, ప్రాజెక్ట్ సెట్టింగ్‌లు > డిఫాల్ట్ సర్వీస్ టియర్: వేగవంతమైనది అనే ఎంపిక ద్వారా ప్రాజెక్ట్‌కు వేగవంతమైన మోడ్‌ను డిఫాల్ట్‌గా కూడా సెట్ చేయవచ్చు. అయినప్పటికీ, ప్రతి అభ్యర్థనకు దీన్ని మార్చవచ్చు. మీ ప్రాజెక్ట్ సెట్టింగ్‌లలో వేగవంతమైనది ఎంచుకోవడం, ప్రాధాన్యతను ఎంచుకోవడంతో సమానం.

ఇది స్కేల్ టియర్‌తో కలిసి ఎలా పనిచేస్తుంది?

స్కేల్ టియర్, వేగవంతమైన మోడ్‌కు వేరుగా కొనసాగుతుంది. వేగవంతమైన మోడ్‌కు పంపిన అభ్యర్థనలకు విడిగా బిల్లు విధిస్తారు. అవి మీరు కొనుగోలు చేసిన స్కేల్ టియర్ TPM బండిళ్లలో లెక్కించబడవు.

నా స్కేల్ టియర్ పరిమితిని మించిన ట్రాఫిక్‌ను వేగవంతమైన మోడ్‌కు స్వయంచాలకంగా పంపవచ్చా?

లేదు. స్కేల్ టియర్‌కు పంపిన ట్రాఫిక్ దాని పరిమితిని మించినప్పుడు స్వయంచాలకంగా వేగవంతమైన మోడ్‌కు వెళ్లదు.

వేగవంతమైన మోడ్‌కు బిల్లు ఎలా విధిస్తారు?

వేగవంతమైన మోడ్ అందించే టోకెన్లకు ఒక్కో టోకెన్ చొప్పున బిల్లు విధిస్తారు. వీటి ధర ప్రామాణిక ప్రాసెసింగ్ రేట్ల కంటే ఎక్కువగా ఉంటుంది.

నా వార్షిక నిబద్ధత ఏదైనా నిర్దిష్ట ప్రాసెసింగ్ మోడ్‌కు అనుసంధానమై ఉంటుందా?

లేదు. అన్ని ప్రాసెసింగ్ మోడ్‌లు మీ వార్షిక ఎంటర్‌ప్రైజ్ ఖర్చు నిబద్ధతలో లెక్కించబడతాయి.

క్యాష్ చేసిన ఇన్‌పుట్ టోకెన్లపై నాకు ఇప్పటికీ తగ్గింపు లభిస్తుందా?

అవును! ప్రామాణిక ప్రాసెసింగ్‌లో మాదిరిగానే క్యాష్ చేసిన ఇన్‌పుట్‌లకు 50-75% తగ్గింపు లభిస్తుంది.

వేగవంతమైన మోడ్‌లో నా వినియోగం, ఖర్చును ఎలా చూడాలి?

వేగవంతమైన మోడ్‌లో (గతంలో ప్రాధాన్య ప్రాసెసింగ్‌గా పిలిచేవారు) ప్రాసెస్ చేసిన టోకెన్లను చూడటానికి, వినియోగ డ్యాష్‌బోర్డ్‌కు వెళ్లి చాట్ పూర్తీకరణలు లేదా ప్రతిస్పందనలు ఎంచుకుని, సర్వీస్ టియర్ వారీగా సమూహపరచండి.

వేగవంతమైన మోడ్ ఖర్చును చూడటానికి, వినియోగ డ్యాష్‌బోర్డ్‌కు వెళ్లి, పద్దు వారీగా సమూహపరచండి అనే ఎంపికను ఎంచుకోండి.

వినియోగ డ్యాష్‌బోర్డ్‌లో service_tier విలువగా priority లేదా fast ఉపయోగించే అభ్యర్థనలు priorityగానే కనిపిస్తాయి. భవిష్యత్ మోడళ్ల కోసం ఇది నవీకరించబడుతుంది.

మోడళ్లు

సుదీర్ఘ కాంటెక్స్ట్, ఫైన్-ట్యూన్ చేసిన మోడళ్లు, ఎంబెడ్డింగ్‌లు మొదలైన వాటికి వేగవంతమైన మోడ్ అందుబాటులో ఉందా?

ప్రస్తుతానికి లేదు. మా తాజా మోడళ్లకు అదనంగా ఇతర ఉత్పత్తుల్లో కూడా వేగవంతమైన మోడ్‌ను అందించాలా అనే విషయాన్ని భవిష్యత్తులో పరిశీలిస్తాము.

వేగవంతమైన మోడ్‌తో ఇతర మాధ్యమ రకాలు ఎలా పనిచేస్తాయి?

ప్రామాణిక మోడ్‌లో అందుబాటులో ఉన్న అవే బహుళ మాధ్యమ సామర్థ్యాలకు వేగవంతమైన మోడ్ మద్దతు ఇస్తుంది. ముఖ్యంగా, ప్రాధాన్య ప్రాసెసింగ్‌కు చిత్రాలను ఇన్‌పుట్‌లుగా ఉపయోగించవచ్చు. అవి కూడా అదే వేగవంతమైన ప్రతిస్పందన సమయంతో ప్రాసెస్ అవుతాయి.

భవిష్యత్ మోడళ్లకు మద్దతు ఉంటుందా?

కొత్త GPT మోడళ్లలో వేగవంతమైన మోడ్‌ను అందించాలని యోచిస్తున్నాము. అయితే ప్రతి మోడల్‌కు మద్దతు ఉంటుందని హామీ ఇవ్వము.

రేట్ లిమిట్లు

రేట్ లిమిట్లు ఏమిటి?

రేట్ లిమిట్ల విషయంలో ప్రాధాన్య ప్రాసెసింగ్ వినియోగాన్ని ప్రామాణిక API ట్రాఫిక్‌తో సమానంగా పరిగణిస్తారు.

ట్రాఫిక్ పెంపు రేట్ లిమిట్లు ఏమిటి?

కస్టమర్లందరికీ స్థిరంగా అధిక పనితీరును అందిస్తూనే, అవసరానికి అనుగుణమైన సౌకర్యవంతమైన ధరలను అందించేందుకు వేగవంతమైన మోడ్‌లో ట్రాఫిక్ పెంపు రేట్ లిమిట్లు ఉన్నాయి. (a) వేగవంతమైన మోడ్ పనితీరు క్షీణించి, అదే సమయంలో (b) కస్టమర్ ట్రాఫిక్ మరీ వేగంగా పెరుగుతుంటే, అరుదైన సందర్భాల్లో కొన్ని అభ్యర్థనలు ప్రామాణిక ప్రాసెసింగ్‌కు తగ్గించబడవచ్చు.

ప్రస్తుత వేగవంతమైన మోడ్ ట్రాఫిక్ పెంపు రేట్ లిమిట్‌ను మా ప్రధాన డాక్యుమెంటేషన్‌లో ఇక్కడ నిర్వచించాము.

మీ ట్రాఫిక్ పెంపు రేట్ లిమిట్‌లో ఉండేందుకు ఉత్తమ పద్ధతులు

మోడళ్లను మార్చేటప్పుడు ట్రాఫిక్‌ను క్రమంగా పెంచండి. ఉదాహరణకు, మీ అప్లికేషన్ మునుపటి స్నాప్‌షాట్ నుంచి కొత్తదానికి మారుతుంటే, ట్రాఫిక్ మొత్తాన్ని ఒకేసారి మార్చకుండా కొన్ని గంటల వ్యవధిలో మార్చేందుకు ఫీచర్ ఫ్లాగ్‌ను ఉపయోగించండి.

వేగవంతమైన మోడ్‌లో భారీ డేటా ప్రాసెసింగ్ లేదా అసమకాలిక పనులను అమలు చేయవద్దు. ఈ పనులు ట్రాఫిక్‌ను చాలా వేగంగా పెంచగలవు. అంతేకాక, వీటికి తరచుగా వేగవంతమైన మోడ్ అందించే మెరుగైన పనితీరు అవసరం ఉండదు.

మీరు తరచుగా ట్రాఫిక్ పెంపు రేట్ లిమిట్లను ఎదుర్కొంటుంటే, బదులుగా స్కేల్ టియర్ కోటాను కొనుగోలు చేయడాన్ని పరిగణించండి.

ట్రాఫిక్ పెంపు రేట్ లిమిట్లు నా ప్రాజెక్ట్‌లు లేదా సంస్థలన్నింటికీ ఉమ్మడిగా వర్తిస్తాయా?

అవును, మీ ట్రాఫిక్ అంతా ఒకే ట్రాఫిక్ పెంపు రేట్ లిమిట్‌లో లెక్కించబడుతుంది.

విధానాలు

వేగవంతమైన మోడ్ లక్షిత ప్రతిస్పందన సమయాన్ని అందుకోకపోతే ఏమవుతుంది?

ఏవైనా ప్రశ్నలు లేదా సందేహాలు ఉంటే, దయచేసి మీ ఖాతా డైరెక్టర్‌ను సంప్రదించండి. వేగవంతమైన మోడ్ SLAలను స్కేల్ టియర్ SLAలతో సమానంగా పరిగణిస్తాము. నిర్దిష్ట కాలవ్యవధిలో ఎంటర్‌ప్రైజ్ ఒప్పందాలు కలిగిన కస్టమర్లకు ఆ SLAలను అందించడంలో మేము విఫలమైతే, సేవా క్రెడిట్లు అందిస్తాము.

వేగవంతమైన మోడ్ డేటా రెసిడెన్సీకి అనుకూలంగా ఉందా?

అవును.

వేగవంతమైన మోడ్ ZDR, BAAలకు అనుకూలంగా ఉందా?

అవును.