요청 한도 오류(‘Too Many Requests’, ‘Rate limit reached’)는 조직의 요청 한도에 도달해서 발생하며, 이는 분당 제출할 수 있는 요청 및 토큰의 최대 수입니다. 한도에 도달하면 요청 한도가 재설정될 때까지 조직은 요청을 성공적으로 제출할 수 없습니다. 오류 메시지는 다음과 같습니다:
조직 org-exampleorgid123의 gpt-3.5-turbo에 대해 분당 토큰 기준 요청 한도에 도달했습니다.
한도: 분당 10000.000000. 현재: 분당 10020.000000. 이러한 오류는 지수 백오프를 사용하여 처리하는 것이 좋습니다. 지수 백오프란 요청 한도 오류가 발생하면 잠시 대기한 다음 실패한 요청을 다시 시도하는 것을 의미합니다. 요청이 여전히 실패하면 대기 시간을 늘리고 이 과정을 반복합니다. 이 과정은 요청이 성공하거나 최대 재시도 횟수에 도달할 때까지 계속됩니다.
실패한 요청도 분당 한도에 포함되므로, 요청을 계속 다시 보내도 효과가 없습니다. 요청 한도는 더 짧은 기간에도 적용될 수 있습니다. 예를 들어 60 RPM 한도의 경우 초당 1개 요청처럼 적용될 수 있으므로, 짧은 시간에 대량의 요청이 몰려도 요청 한도 오류가 발생할 수 있습니다. 지수 백오프는 요청 간격을 벌려 이러한 오류의 발생 빈도를 최소화하므로 효과적입니다.
Python에서는 지수 백오프 솔루션이 다음과 같을 수 있습니다:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(참고: backoff 라이브러리는 타사 도구입니다. 모든 고객께서는 프로젝트에 외부 코드를 사용하기 전에 해당 코드를 검증하기 위한 신중한 검토를 수행하시기를 권장합니다.)
지수 백오프를 구현해도 이 오류가 계속 발생한다면 사용 등급을 높여야 할 수 있습니다. 계정 설정의 한도 섹션에서 현재 요청 한도와, 요청 한도를 높이기 위해 신뢰 등급을 올리는 방법을 확인할 수 있습니다.