కొన్ని మోడల్‌లపై వేగవంతమైన, మరింత స్థిరమైన పనితీరుకు యాక్సెస్ కోరుకునే ఎంటర్‌ప్రైజ్ API కస్టమర్‌ల కోసం మేము ఇప్పుడు ప్రాధాన్య ప్రాసెసింగ్‌ను అందిస్తున్నాము. ఇది ఎలా పనిచేస్తుంది, ధరలు, మోడల్ లభ్యత, రేట్ లిమిట్‌లు, విశ్వసనీయత, పాలసీలు మరియు అర్హత గురించి సాధారణ ప్రశ్నలకు సమాధానాలు క్రింద ఉన్నాయి.

మరింత తెలుసుకోండి ఇక్కడ.

యాక్సెస్

ప్రాధాన్య ప్రాసెసింగ్‌ను ఎవరు యాక్సెస్ చేయగలరు?

ప్రాధాన్య ప్రాసెసింగ్ ప్రస్తుతం ఎంటర్‌ప్రైజ్ కస్టమర్‌లకు అందుబాటులో ఉంది.

ప్రాధాన్య ప్రాసెసింగ్ అన్ని ప్రాంతాల్లో అందుబాటులో ఉందా?

ప్రాధాన్య ప్రాసెసింగ్ లభ్యత ప్రతి అధికార పరిధిలో వర్తించే చట్టాలు మరియు నియమావళిపై ఆధారపడి ఉంటుంది. మీ ప్రాంతంలో లభ్యత గురించి ప్రశ్నలు ఉంటే దయచేసి మీ అకౌంట్ డైరెక్టర్‌ను సంప్రదించండి.

ధరలు

ప్రాధాన్య ప్రాసెసింగ్‌ను ఉపయోగించడం నేను ఎలా ప్రారంభించాలి?

కస్టమర్‌లు ఇప్పటికే ఉన్న service_tier పరామీటర్‌ను ఉపయోగించి, service_tier="priority" ఎంపికతో, ప్రతి రిక్వెస్ట్ ఆధారంగా ట్రాఫిక్‌ను ప్రాధాన్య ప్రాసెసింగ్‌కు మళ్లించవచ్చు.

ఇది స్కేల్ టియర్‌తో ఎలా పరస్పర చర్య చేస్తుంది?

స్కేల్ టియర్ ప్రాధాన్య ప్రాసెసింగ్‌కు వేరుగా ఉంటుంది. ప్రాధాన్య ప్రాసెసింగ్‌కు పంపిన రిక్వెస్ట్‌లు వేరుగా బిల్ చేయబడతాయి మరియు మీరు కొనుగోలు చేసిన స్కేల్ టియర్ TPM బండిల్‌లలో లెక్కించబడవు.

నా స్కేల్ టియర్ స్పిల్‌ఓవర్ ట్రాఫిక్‌ను స్వయంచాలకంగా ప్రాధాన్య ప్రాసెసింగ్‌కు పంపగలనా?

లేదు. స్కేల్ టియర్‌కు పంపిన ట్రాఫిక్ స్వయంచాలకంగా ప్రాధాన్య ప్రాసెసింగ్‌కు స్పిల్ ఓవర్ కాదు.

ప్రాధాన్య ప్రాసెసింగ్‌కు బిల్లింగ్ ఎలా జరుగుతుంది?

ప్రాధాన్య ప్రాసెసింగ్ ద్వారా అందించిన టోకెన్‌లు ప్రతి టోకెన్ ఆధారంగా బిల్ చేయబడతాయి, స్టాండర్డ్ ప్రాసెసింగ్ రేట్‌లతో పోలిస్తే ప్రీమియం ధరతో ఉంటాయి.

నా వార్షిక కమిట్‌మెంట్ నిర్దిష్ట ప్రాసెసింగ్ మోడ్‌తో ముడిపడి ఉందా?

లేదు. అన్ని ప్రాసెసింగ్ మోడ్‌లు మీ వార్షిక ఎంటర్‌ప్రైజ్ ఖర్చు కమిట్‌మెంట్‌లో లెక్కించబడతాయి.

క్యాష్ చేసిన ఇన్‌పుట్ టోకెన్‌లపై నాకు ఇంకా డిస్కౌంట్ లభిస్తుందా?

అవును! స్టాండర్డ్ ప్రాసెసింగ్‌లో లభించే అదే 50-75% డిస్కౌంట్ క్యాష్ చేసిన ఇన్‌పుట్‌లకు కూడా లభిస్తుంది.

నా ప్రాధాన్య ప్రాసెసింగ్ వినియోగం మరియు ఖర్చును నేను ఎలా చూడగలను?

ప్రాధాన్య ప్రాసెసింగ్ ద్వారా ప్రాసెస్ చేసిన టోకెన్‌లను చూడటానికి, వినియోగ డ్యాష్‌బోర్డ్‌కు వెళ్లి, Chat Completions లేదా Responses ఎంచుకుని, సర్వీస్ టియర్ ఆధారంగా గ్రూప్ చేయండి. ప్రాధాన్య ప్రాసెసింగ్ ఖర్చును చూడటానికి, వినియోగ డ్యాష్‌బోర్డ్‌కు వెళ్లి, Line Item ఆధారంగా గ్రూప్ చేయండి ఎంచుకోండి.

మోడల్‌లు

లాంగ్ కాంటెక్స్ట్, ఫైన్-ట్యూన్ చేసిన మోడల్‌లు, ఎంబెడ్డింగ్‌లు మొదలైన వాటికి ప్రాధాన్య ప్రాసెసింగ్ అందుబాటులో ఉందా?

ప్రస్తుతం లేదు. మా తాజా మోడల్‌లకు మించి అదనపు ఉత్పత్తులపై ప్రాధాన్య ప్రాసెసింగ్‌ను అందించాలా వద్దా అన్నది భవిష్యత్తులో మేము మూల్యాంకనం చేస్తాము.

ఇతర మోడాలిటీలు ప్రాధాన్య ప్రాసెసింగ్‌తో ఎలా పనిచేస్తాయి?

ప్రాధాన్య ప్రాసెసింగ్ స్టాండర్డ్‌లో అందుబాటులో ఉన్న అదే మల్టీమోడల్ సామర్థ్యాలకు మద్దతు ఇస్తుంది. ప్రత్యేకించి, చిత్రాలను ప్రాధాన్య ప్రాసెసింగ్‌కు ఇన్‌పుట్‌లుగా ఉపయోగించవచ్చు మరియు అవి అదే వేగవంతమైన లేటెన్సీతో ప్రాసెస్ చేయబడతాయి.

భవిష్యత్ మోడల్‌లకు మద్దతు ఉంటుందా?

కొత్త GPT మోడల్‌లపై ప్రాధాన్య ప్రాసెసింగ్‌ను అందించాలని మేము ప్లాన్ చేస్తున్నాము, కానీ ప్రతి మోడల్‌కు మద్దతు ఉంటుందని మేము హామీ ఇవ్వము.

రేట్ లిమిట్‌లు

రేట్ లిమిట్‌లు ఏమిటి?

రేట్ లిమిట్‌ల కోసం ప్రాధాన్య ప్రాసెసింగ్ వినియోగాన్ని స్టాండర్డ్ API ట్రాఫిక్‌లాగానే పరిగణిస్తారు.

ర్యాంప్ రేట్ లిమిట్‌లు ఏమిటి?

అన్ని కస్టమర్‌లకు స్థిరంగా అధిక పనితీరును నిర్ధారించడంతో పాటు సౌకర్యవంతమైన, ఆన్-డిమాండ్ ధరలను అందించడానికి ప్రాధాన్య ప్రాసెసింగ్‌లో ర్యాంప్ రేట్ లిమిట్‌లు ఉంటాయి. (a) ప్రాధాన్య ప్రాసెసింగ్ పనితీరు తగ్గితే మరియు (b) కస్టమర్ ట్రాఫిక్ చాలా వేగంగా పెరుగుతుంటే, అరుదైన సందర్భాల్లో కొన్ని ప్రాధాన్య రిక్వెస్ట్‌లను బదులుగా స్టాండర్డ్ ప్రాసెసింగ్‌కు డౌన్‌గ్రేడ్ చేయవచ్చు.

ప్రస్తుత ప్రాధాన్య ప్రాసెసింగ్ ర్యాంప్ రేట్ లిమిట్ మా ప్రధాన డాక్యుమెంటేషన్‌లో ఇక్కడ నిర్వచించబడింది.

మీ ర్యాంప్ రేట్ లిమిట్‌లోనే ఉండటానికి ఉత్తమ పద్ధతులు

• మోడల్‌లను మార్చేటప్పుడు ట్రాఫిక్‌ను క్రమంగా పెంచండి. ఉదాహరణకు, మీ అప్లికేషన్ మునుపటి స్నాప్‌షాట్ నుండి కొత్తదానికి మారుతుంటే, ఒక్కసారిగా కాకుండా కొన్ని గంటల వ్యవధిలో ట్రాఫిక్‌ను మార్చడానికి ఫీచర్ ఫ్లాగ్‌ను ఉపయోగించండి.

• ప్రాధాన్య ప్రాసెసింగ్‌పై పెద్ద డేటా ప్రాసెసింగ్ లేదా అసింక్రోనస్ జాబ్‌లను రన్ చేయడం నివారించండి. ఈ జాబ్‌లు ట్రాఫిక్‌ను చాలా వేగంగా పెంచగలవు, మరియు తరచుగా ప్రాధాన్య ప్రాసెసింగ్ అందించే మెరుగైన పనితీరు అవసరం ఉండదు.

• మీరు తరచుగా ర్యాంప్ రేట్ లిమిట్‌లను ఎదుర్కొంటుంటే, బదులుగా స్కేల్ టియర్ కోటాను కొనుగోలు చేయడాన్ని పరిగణించండి.

ర్యాంప్ రేట్ లిమిట్‌లు నా ప్రాజెక్ట్‌లు లేదా సంస్థలలో పంచుకోబడతాయా?

అవును, మీ మొత్తం ట్రాఫిక్ అదే ర్యాంప్ రేట్ లిమిట్‌కు దోహదం చేస్తుంది.

పాలసీలు

ప్రాధాన్య ప్రాసెసింగ్ లేటెన్సీ లక్ష్యాన్ని చేరుకోకపోతే ఏమవుతుంది?

ఏవైనా ప్రశ్నలు లేదా సందేహాలు ఉంటే దయచేసి మీ ADను సంప్రదించండి. ప్రాధాన్య ప్రాసెసింగ్ SLAలను స్కేల్ టియర్ SLAల మాదిరిగానే పరిగణిస్తారు; ఒక నిర్దిష్ట కాల వ్యవధిలో ఎంటర్‌ప్రైజ్ ఒప్పందాలపై ఉన్న కస్టమర్‌ల కోసం మేము ఆ SLAలను చేరుకోలేకపోతే సర్వీస్ క్రెడిట్‌లు అందించబడతాయి.

ప్రాధాన్య ప్రాసెసింగ్ డేటా రెసిడెన్సీకి అనుకూలంగా ఉందా?

అవును.

ప్రాధాన్య ప్రాసెసింగ్ ZDR మరియు BAAకి అనుకూలంగా ఉందా?

అవును.