Limitler ve kotalar

Siper'de limitler ve kotalar: dönemsel token kotası, dakika başına istek (RPM), 429 yanıtının anlamı ve Retry-After ile doğru yeniden deneme.

Normal kullanımda bir limite takılmazsınız; limitler bilerek cömert tutulur. Hesabınıza uygulanan iki mekanizma vardır: dönemsel token kotası ve anahtar bazında dakika başına istek limiti. Amaç kullanımı kısıtlamak değil; hizmetin herkes için öngörülebilir kalması.

Token kotası

Tüm istekleriniz, dönem için tanımlanan tek bir token kotasından düşülür. Kullanılmayan token dönem sonunda yanmaz; kota devreder ve birikir.

Kota dolunca hizmet kesilmez. Kotanın %80’ine geldiğinizde ve kota dolduğunda panelde birer uyarı belirir; istekleriniz işlenmeye devam eder. Kalan token, kullanım oranı ve eşikler paneldeki Token kotası kartında canlı görünür; kartın yeri için Panel.

Dakika başına istek (RPM)

Her API anahtarı için dakika başına istek (requests per minute, RPM) limiti isteğe bağlı olarak tanımlanabilir. Varsayılan sınırsızdır; limit yalnız açıkça ayarlandığında uygulanır ve kısa süreli ani yükte hizmeti korur. Anahtarınıza uygulanan değer paneldeki anahtar listesinde yazar; değer yoksa anahtar sınırsızdır.

429 yanıtı ve Retry-After

429 iki ayrı sebeple döner. Yanıttaki code alanı hangisi olduğunu söyler.

Anahtarınızın kendi limiti. Anahtara tanımlı istek ya da token limitine ulaştığınızda yanıt limiti, pencereyi ve ne zaman yeniden deneyebileceğinizi yazar:

HTTP/1.1 429 Too Many Requests
Retry-After: 60
Content-Type: application/json

{
  "type": "request_limited",
  "error": {
    "code": "key_request_limit",
    "message": "Request limit reached for this API key: 20 requests per 1m. The limit resets every 1m; retry after 60 seconds. An organization admin can change this limit in the panel under API Keys."
  }
}

Retry-After bir tam limit penceresidir; limit en geç bu sürede sıfırlanır. Limiti kurum yöneticisi panelde API anahtarları sayfasından değiştirir.

Model sağlayıcısının yoğunluğu. Gateway kendi yeniden denemelerine rağmen sağlayıcıdan yanıt alamazsa genel bir mesaj döner:

{
  "error": {
    "code": "provider_busy",
    "message": "The model provider is temporarily busy. Please retry shortly."
  }
}

Bu yanıtta Retry-After yoktur. Çoğu OpenAI SDK’sı 429’u kendiliğinden yeniden dener; kendi istemcinizi yazıyorsanız artan aralıklarla yeniden deneme ekleyin.

429, kota aşımı değildir. Token kotanız dolduğunda istekler durmaz, yalnız uyarı görürsünüz; 429 yalnız anlık hız limitinde ya da sağlayıcı yoğunluğunda döner ve kısa sürede kendiliğinden çözülür.

Kuruma özel regex sınırları

Kuruma özel regexler için üç sınır vardır: en çok 25 tanım, her biri en çok 200 karakter ve tarama için bir zaman bütçesi. Sınırlar keyfi değil; kötü kurgulanmış tek bir ifade maskelemeyi uzun süre meşgul edebilir, bütçe bunu keser.

Bütçe aşıldığında iki yön farklı davranır ve bu ayrım bilinçlidir:

• Maskeleyen kuruma özel regex bütçeyi aşarsa istek 422 ile reddedilir. Sessizce eksik maskelemek yerine hata vermeyi tercih ediyoruz.
• Muaf tutan kuruma özel regex bütçeyi aşarsa uygulanmaz ve istek normal şekilde tamamlanır. Muafiyet maskelemeyi azaltır; azaltan bir kural belirsizlikte devreye girmemelidir.

Aynı sınırlar, regex listelerini doğrudan istek gövdesinde gönderdiğinizde de geçerlidir. Panelden tanımladığınız kuruma özel regexler istekteki regex listelerine eklenir ve istek gövdesiyle düşürülemez; sonuç yalnız maskelemeyi artırır. Kuruma özel regexleri panelden tanımlamak için Panel.

Girdi uzunluğu

Maskelenecek her metin parçası için bir uzunluk sınırı vardır: 20.000 karakter. Aşan istek dış modele gitmez, 413 ile geri döner ve mesaj ne yapılması gerektiğini söyler (metni bölüp yeniden gönderin).

Sınır metin başınadır, istek toplamı değildir. Bu ayrım toplu işlerde önemlidir:

• /v1/embeddings isteğinde input bir dizi olabilir. Üç ayrı 15.000 karakterlik belge (toplam 45.000) sorunsuz geçer, çünkü her biri tek başına sınırın altındadır.
• Buna karşılık dizideki tek bir uzun belge tüm isteği düşürür. Toplu indekslemede belgeleri göndermeden önce uzunluğa göre ayıklamak ya da parçalamak gerekir; yoksa bir belge yüzünden o partinin tamamı yeniden gönderilir.

Dizi biçimi ve alanlar için Gömme vektörü üret referansına bakın.

Özet

Kotanızı büyütmek veya bir anahtara özel limit tanımlamak isterseniz bizimle iletişime geçin.