როგორ მუშაობს

მომხმარებლებს შეუძლიათ, არსებული service_tier პარამეტრისა და service_tier = "fast" ვარიანტის გამოყენებით, თითოეული მოთხოვნის ტრაფიკი სწრაფ რეჟიმში მიმართონ.

სწრაფ რეჟიმში დამუშავებული ტოკენების საფასური თითოეული ტოკენის მიხედვით დაირიცხება და სტანდარტული დამუშავების ტარიფზე მაღალი იქნება.

მოთხოვნის დონეზე კონფიგურაციის გარდა, პროექტისთვის სწრაფი რეჟიმი ნაგულისხმევ რეჟიმადაც შეგიძლიათ დააყენოთ: პროექტის პარამეტრები > მომსახურების ნაგულისხმევი დონე: Fast. თითოეული მოთხოვნისთვის ამ პარამეტრის შეცვლა კვლავ შეგიძლიათ. პროექტის პარამეტრებში Fast-ის არჩევა Priority-ის არჩევის ტოლფასია.

როგორ ურთიერთქმედებს ეს მასშტაბირების დონესთან?

მასშტაბირების დონე სწრაფი რეჟიმისგან განცალკევებული დარჩება. სწრაფ რეჟიმში გაგზავნილი მოთხოვნების საფასური ცალკე დაირიცხება და თქვენ მიერ შეძენილი მასშტაბირების დონის TPM პაკეტებში არ ჩაითვლება.

შემიძლია მასშტაბირების დონის ჭარბი ტრაფიკი ავტომატურად გავაგზავნო სწრაფ რეჟიმში?

არა. მასშტაბირების დონეზე გაგზავნილი ტრაფიკი სწრაფ რეჟიმში ავტომატურად არ გადავა.

როგორ გამოითვლება სწრაფი რეჟიმის საფასური?

სწრაფ რეჟიმში დამუშავებული ტოკენების საფასური თითოეული ტოკენის მიხედვით დაირიცხება და სტანდარტული დამუშავების ტარიფზე მაღალი იქნება.

ჩემი წლიური ვალდებულება დამუშავების კონკრეტულ რეჟიმთან არის დაკავშირებული?

არა. დამუშავების ყველა რეჟიმის ხარჯი Enterprise-ის წლიური ხარჯვის ვალდებულებაში ჩაითვლება.

ქეშირებული შეყვანის ტოკენებზე ფასდაკლებას კვლავ მივიღებ?

დიახ! ქეშირებულ შეყვანებზე მოქმედებს იგივე 50–75%-იანი ფასდაკლება, რაც სტანდარტული დამუშავებისას.

როგორ ვნახო სწრაფი რეჟიმის გამოყენება და დანახარჯი?

სწრაფ რეჟიმში (ყოფილი პრიორიტეტული დამუშავება) დამუშავებული ტოკენების სანახავად გადადით გამოყენების დაფაზე, აირჩიეთ Chat Completions ან Responses და დააჯგუფეთ მომსახურების დონის მიხედვით.

სწრაფი რეჟიმის ხარჯის სანახავად გადადით გამოყენების დაფაზე და აირჩიეთ სტრიქონის ელემენტის მიხედვით დაჯგუფება.

გამოყენების დაფაზე მოთხოვნები, რომელთა service_tier არის priority ან fast, კვლავ priority-ის სახელით გამოჩნდება. ეს მომავალ მოდელებში განახლდება.

მოდელები

სწრაფი რეჟიმი ხელმისაწვდომია გრძელი კონტექსტისთვის, დამატებით გაწვრთნილი მოდელებისთვის, ვექტორული ჩაშენებებისთვის და სხვ.?

ამჟამად არა. მომავალში შევაფასებთ, შევთავაზოთ თუ არა სწრაფი რეჟიმი ჩვენი უახლესი მოდელების გარდა სხვა პროდუქტებსაც.

როგორ მუშაობს სხვა მოდალობები სწრაფ რეჟიმთან?

სწრაფი რეჟიმი მხარს უჭერს იმავე მულტიმოდალურ შესაძლებლობებს, რომლებიც სტანდარტულ რეჟიმშია ხელმისაწვდომი. კერძოდ, გამოსახულებები შეიძლება გამოყენებულ იქნეს პრიორიტეტული დამუშავების შეყვანის მონაცემებად და იმავე მცირე დაყოვნებით დამუშავდეს.

მომავალი მოდელებიც იქნება მხარდაჭერილი?

ვგეგმავთ, ახალ GPT მოდელებზე სწრაფი რეჟიმი შემოგთავაზოთ, თუმცა ყველა მოდელის მხარდაჭერას ვერ ვიძლევით გარანტიად.

მოთხოვნების ლიმიტები

როგორია მოთხოვნების ლიმიტები?

მოთხოვნების ლიმიტების მხრივ, პრიორიტეტული დამუშავების გამოყენება სტანდარტული API ტრაფიკის მსგავსად აღირიცხება.

როგორია ტრაფიკის ზრდის ტემპის ლიმიტები?

ყველა მომხმარებლისთვის მუდმივად მაღალი წარმადობის უზრუნველსაყოფად სწრაფ რეჟიმს ტრაფიკის ზრდის ტემპის ლიმიტები აქვს, ამასთან მოქნილი, მოთხოვნის შესაბამისი ფასები ნარჩუნდება. იშვიათ შემთხვევებში, თუ (ა) სწრაფი რეჟიმის წარმადობა გაუარესებულია და (ბ) მომხმარებლის ტრაფიკი ზედმეტად სწრაფად იზრდება, ზოგი მოთხოვნა შესაძლოა სტანდარტულ დამუშავებაზე გადავიდეს.

სწრაფი რეჟიმის ტრაფიკის ზრდის ტემპის მოქმედი ლიმიტი განსაზღვრულია ჩვენს ძირითად დოკუმენტაციაში, აქ.

ტრაფიკის ზრდის ტემპის ლიმიტის დაცვის საუკეთესო პრაქტიკა

მოდელების შეცვლისას ტრაფიკი თანდათან გაზარდეთ. მაგალითად, თუ თქვენი აპლიკაცია წინა სნეპშოტიდან ახალზე გადადის, ფუნქციის ალმის გამოყენებით ტრაფიკი ერთბაშად კი არა, რამდენიმე საათის განმავლობაში გადაიტანეთ.

სწრაფ რეჟიმში ნუ გაუშვებთ მონაცემთა დამუშავების დიდ ან ასინქრონულ დავალებებს. ასეთმა დავალებებმა შეიძლება ტრაფიკი ძალიან სწრაფად გაზარდოს, თანაც ხშირად მათ სწრაფი რეჟიმის გაუმჯობესებული წარმადობა არ სჭირდება.

თუ ტრაფიკის ზრდის ტემპის ლიმიტს ხშირად აწყდებით, სანაცვლოდ მასშტაბირების დონის კვოტის შეძენა განიხილეთ.

ტრაფიკის ზრდის ტემპის ლიმიტები საერთო მაქვს ყველა პროექტისა და ორგანიზაციისთვის?

დიახ, მთელი თქვენი ტრაფიკი ტრაფიკის ზრდის ტემპის ერთსა და იმავე ლიმიტში ითვლება.

წესები

რა ხდება, თუ სწრაფი რეჟიმი დაყოვნების სამიზნე მაჩვენებელს ვერ აკმაყოფილებს?

ნებისმიერი კითხვის ან პრობლემის შემთხვევაში დაუკავშირდით თქვენი ანგარიშის დირექტორს. სწრაფი რეჟიმის SLA-ები მასშტაბირების დონის SLA-ების მსგავსად განიხილება; თუ დროის მოცემულ მონაკვეთში Enterprise ხელშეკრულების მქონე მომხმარებლებისთვის ამ SLA-ებს ვერ დავაკმაყოფილებთ, მომსახურების კრედიტებს შევთავაზებთ.

სწრაფი რეჟიმი თავსებადია მონაცემთა ადგილმდებარეობასთან?

დიახ.

სწრაფი რეჟიმი თავსებადია ZDR-სა და BAA-სთან?

დიახ.