ตอนนี้เรามีการประมวลผลแบบ Priority สำหรับลูกค้า Enterprise API ที่ต้องการเข้าถึงประสิทธิภาพที่เร็วขึ้นและสม่ำเสมอยิ่งขึ้นบนโมเดลบางรายการ ด้านล่างคือคำตอบสำหรับคำถามที่พบบ่อยเกี่ยวกับวิธีการทำงาน ราคา ความพร้อมใช้งานของโมเดล ลิมิตการใช้งาน ความน่าเชื่อถือ นโยบาย และคุณสมบัติในการใช้บริการ

เรียนรู้เพิ่มเติมที่นี่

การเข้าถึง

ใครสามารถเข้าถึงการประมวลผลแบบ Priority ได้บ้าง

ขณะนี้การประมวลผลแบบ Priority พร้อมให้บริการแก่ลูกค้า Enterprise

การประมวลผลแบบ Priority พร้อมให้บริการในทุกภูมิภาคหรือไม่

ความพร้อมใช้งานของการประมวลผลแบบ Priority ขึ้นอยู่กับกฎหมายและข้อบังคับที่บังคับใช้ในแต่ละเขตอำนาจศาล โปรดติดต่อ Account Director ของคุณหากมีคำถามเกี่ยวกับความพร้อมใช้งานในภูมิภาคของคุณ

ราคา

ฉันจะเริ่มใช้การประมวลผลแบบ Priority ได้อย่างไร

ลูกค้าสามารถส่งทราฟฟิกไปยังการประมวลผลแบบ Priority เป็นรายคำขอได้โดยใช้พารามิเตอร์ service_tier ที่มีอยู่ พร้อมตัวเลือก service_tier="priority"

สิ่งนี้ทำงานร่วมกับระดับการรองรับการใช้งานอย่างไร

ระดับการรองรับการใช้งานจะยังคงแยกจากการประมวลผลแบบ Priority คำขอที่ส่งไปยังการประมวลผลแบบ Priority จะถูกเรียกเก็บเงินแยกต่างหาก และจะไม่นับรวมกับแพ็กเกจ TPM ของระดับการรองรับการใช้งานที่คุณซื้อไว้

ฉันสามารถส่งทราฟฟิกส่วนเกินจากระดับการรองรับการใช้งานไปยังการประมวลผลแบบ Priority โดยอัตโนมัติได้หรือไม่

ไม่ได้ ทราฟฟิกที่ส่งไปยังระดับการรองรับการใช้งานจะไม่ล้นไปยังการประมวลผลแบบ Priority โดยอัตโนมัติ

การประมวลผลแบบ Priority คิดค่าบริการอย่างไร

Token ที่ให้บริการโดยการประมวลผลแบบ Priority จะถูกเรียกเก็บเงินตามจำนวน Token โดยตั้งราคาแบบพรีเมียมเมื่อเทียบกับอัตราของการประมวลผลแบบ Standard

ภาระผูกพันรายปีของฉันผูกกับโหมดการประมวลผลใดโดยเฉพาะหรือไม่

ไม่ โหมดการประมวลผลทั้งหมดจะนับรวมกับภาระผูกพันด้านการใช้จ่าย Enterprise รายปีของคุณ

ฉันยังได้รับส่วนลดสำหรับ Token อินพุตที่แคชไว้หรือไม่

ได้รับ! Cached Inputs จะได้รับส่วนลด 50-75% เช่นเดียวกับในการประมวลผลแบบ Standard

ฉันจะดูการใช้งานและค่าใช้จ่ายสำหรับการประมวลผลแบบ Priority ได้อย่างไร

หากต้องการดู Token ที่ประมวลผลโดยการประมวลผลแบบ Priority ให้ไปที่แดชบอร์ดการใช้งาน เลือก Chat Completions หรือ Responses แล้วจัดกลุ่มตามประเภทของแพ็กเกจ หากต้องการดูค่าใช้จ่ายการประมวลผลแบบ Priority ให้ไปที่แดชบอร์ดการใช้งาน แล้วเลือกจัดกลุ่มตาม Line Item

โมเดล

การประมวลผลแบบ Priority พร้อมให้ใช้กับบริบทยาว โมเดลที่ปรับแต่งอย่างละเอียด embeddings ฯลฯ หรือไม่

ยังไม่พร้อมให้บริการในขณะนี้ เราจะประเมินในอนาคตว่าจะเสนอการประมวลผลแบบ Priority สำหรับผลิตภัณฑ์เพิ่มเติมนอกเหนือจากโมเดลล่าสุดของเราหรือไม่

วิธีการทำงานของรูปแบบข้อมูลอื่นๆ กับการประมวลผลแบบ Priority เป็นอย่างไร

การประมวลผลแบบ Priority รองรับความสามารถแบบมัลติโมดัลเดียวกันกับที่มีใน Standard โดยเฉพาะอย่างยิ่ง รูปภาพสามารถใช้เป็นอินพุตในการประมวลผลแบบ Priority และจะได้รับการประมวลผลด้วยความหน่วงที่รวดเร็วเช่นเดียวกัน

จะรองรับโมเดลในอนาคตหรือไม่

เราวางแผนที่จะเสนอการประมวลผลแบบ Priority บนโมเดล GPT ใหม่ แต่เราไม่รับประกันว่าจะรองรับทุกโมเดล

ลิมิตการใช้งาน

ลิมิตการใช้งานคืออะไร

การใช้การประมวลผลแบบ Priority จะถูกจัดการเช่นเดียวกับทราฟฟิก API มาตรฐานสำหรับลิมิตการใช้งาน

ลิมิตการเพิ่มปริมาณการใช้งานคืออะไร

การประมวลผลแบบ Priority มีลิมิตการเพิ่มปริมาณการใช้งานเพื่อให้ลูกค้าทุกคนได้รับประสิทธิภาพสูงอย่างสม่ำเสมอ ขณะเดียวกันก็ยังคงมีราคาที่ยืดหยุ่นตามความต้องการ หาก (a) ประสิทธิภาพของการประมวลผลแบบ Priority ลดลง และ (b) ทราฟฟิกของลูกค้าเพิ่มขึ้นเร็วเกินไป ในบางกรณีที่พบไม่บ่อย คำขอแบบ Priority บางรายการอาจถูกปรับลดเป็นการประมวลผลแบบ Standard แทน

ลิมิตการเพิ่มปริมาณการใช้งานของการประมวลผลแบบ Priority ในปัจจุบันกำหนดไว้ในเอกสารหลักของเราที่นี่

แนวทางปฏิบัติที่ดีที่สุดในการใช้งานให้อยู่ภายในลิมิตการเพิ่มปริมาณการใช้งานของคุณ

• ค่อยๆ เพิ่มทราฟฟิกเมื่อเปลี่ยนโมเดล ตัวอย่างเช่น หากแอปพลิเคชันของคุณกำลังเปลี่ยนจาก snapshot ก่อนหน้าไปเป็น snapshot ใหม่ ให้ใช้ feature flag เพื่อค่อยๆ เปลี่ยนทราฟฟิกภายในเวลาสองสามชั่วโมง แทนที่จะเปลี่ยนทั้งหมดในคราวเดียว

• หลีกเลี่ยงการรันงานประมวลผลข้อมูลขนาดใหญ่หรืองานแบบอะซิงโครนัสบนการประมวลผลแบบ Priority งานเหล่านี้สามารถเพิ่มทราฟฟิกได้อย่างรวดเร็วมาก และมักไม่จำเป็นต้องใช้ประสิทธิภาพที่ดีขึ้นของการประมวลผลแบบ Priority

• หากคุณพบลิมิตการเพิ่มปริมาณการใช้งานเป็นประจำ โปรดพิจารณาซื้อโควตาระดับการรองรับการใช้งานแทน

ลิมิตการเพิ่มปริมาณการใช้งานใช้ร่วมกันในโปรเจ็กต์หรือองค์กรของฉันหรือไม่

ใช่ ทราฟฟิกทั้งหมดของคุณจะมีผลต่อลิมิตการเพิ่มปริมาณการใช้งานเดียวกัน

นโยบาย

จะเกิดอะไรขึ้นหากการประมวลผลแบบ Priority ไม่เป็นไปตามเป้าหมายด้านความหน่วง

โปรดติดต่อ AD ของคุณหากมีคำถามหรือข้อกังวลใดๆ SLA ของการประมวลผลแบบ Priority จะถูกจัดการเช่นเดียวกับ SLA ของระดับการรองรับการใช้งาน เราจะเสนอเครดิตบริการหากเราไม่สามารถปฏิบัติตาม SLA เหล่านั้นสำหรับลูกค้าที่มีข้อตกลง Enterprise ในช่วงเวลาที่กำหนด

การประมวลผลแบบ Priority ใช้งานร่วมกับถิ่นที่อยู่ของข้อมูลได้หรือไม่

ได้

การประมวลผลแบบ Priority ใช้งานร่วมกับ ZDR และ BAA ได้หรือไม่

ได้