Limitler ve kotalar

Token bütçesi, dakika başına istek (RPM), 429 yanıtı ve Retry-After davranışı.

Normal kullanımda bir limite takılmazsınız; limitler bilerek cömert tutulur. Hesabınıza uygulanan iki mekanizma vardır: dönemsel token bütçesi ve anahtar bazında dakika başına istek limiti. Amaç kullanımı kısıtlamak değil; hizmetin herkes için öngörülebilir kalması.

Token bütçesi

Tüm istekleriniz, dönem için tanımlanan tek bir token bütçesinden düşülür. Kullanılmayan token dönem sonunda yanmaz; bütçe devreder ve birikir.

Bütçe dolunca hizmet kesilmez. Bütçenin %80’ine geldiğinizde ve bütçe dolduğunda panelde birer uyarı belirir; istekleriniz işlenmeye devam eder. Kalan token, kullanım oranı ve eşikler paneldeki Token Bütçesi kartında canlı görünür; kartın yeri için Panel.

Dakika başına istek (RPM)

Her sanal anahtar için dakika başına istek (requests per minute, RPM) limiti isteğe bağlı olarak tanımlanabilir. Varsayılan sınırsızdır; limit yalnız açıkça ayarlandığında uygulanır ve kısa süreli ani yükte hizmeti korur. Anahtarınıza uygulanan değer paneldeki anahtar listesinde yazar; değer yoksa anahtar sınırsızdır.

429 yanıtı ve Retry-After

RPM limitine ulaşırsanız Gateway, OpenAI ile uyumlu bir 429 yanıtı döndürür:

HTTP/1.1 429 Too Many Requests
Retry-After: 2
Content-Type: application/json

{
  "error": {
    "type": "rate_limit_exceeded",
    "message": "Dakika başına istek limiti aşıldı."
  }
}

Retry-After başlığı kaç saniye sonra yeniden deneyebileceğinizi söyler. Çoğu OpenAI SDK’sı 429’u kendiliğinden yeniden dener; kendi istemcinizi yazıyorsanız artan aralıklarla yeniden deneme ekleyin.

429, kota aşımı değildir. Token bütçeniz dolduğunda istekler durmaz, yalnız uyarı görürsünüz; 429 yalnız anlık hız limitinde döner ve Retry-After süresi geçince kendiliğinden çözülür.

Özet

Bütçenizi büyütmek veya bir anahtara özel limit tanımlamak isterseniz bizimle iletişime geçin.