Limitler ve kotalar

Siper'de limitler ve kotalar: dönemsel token bütçesi, dakika başına istek (RPM), 429 yanıtının anlamı ve Retry-After ile doğru yeniden deneme.

Normal kullanımda bir limite takılmazsınız; limitler bilerek cömert tutulur. Hesabınıza uygulanan iki mekanizma vardır: dönemsel token bütçesi ve anahtar bazında dakika başına istek limiti. Amaç kullanımı kısıtlamak değil; hizmetin herkes için öngörülebilir kalması.

Token bütçesi

Tüm istekleriniz, dönem için tanımlanan tek bir token bütçesinden düşülür. Kullanılmayan token dönem sonunda yanmaz; bütçe devreder ve birikir.

Bütçe dolunca hizmet kesilmez. Bütçenin %80’ine geldiğinizde ve bütçe dolduğunda panelde birer uyarı belirir; istekleriniz işlenmeye devam eder. Kalan token, kullanım oranı ve eşikler paneldeki Token Bütçesi kartında canlı görünür; kartın yeri için Panel.

Dakika başına istek (RPM)

Her sanal anahtar için dakika başına istek (requests per minute, RPM) limiti isteğe bağlı olarak tanımlanabilir. Varsayılan sınırsızdır; limit yalnız açıkça ayarlandığında uygulanır ve kısa süreli ani yükte hizmeti korur. Anahtarınıza uygulanan değer paneldeki anahtar listesinde yazar; değer yoksa anahtar sınırsızdır.

429 yanıtı ve Retry-After

RPM limitine ulaşırsanız Gateway, OpenAI ile uyumlu bir 429 yanıtı döndürür:

HTTP/1.1 429 Too Many Requests
Retry-After: 2
Content-Type: application/json

{
  "error": {
    "type": "rate_limit_exceeded",
    "message": "Dakika başına istek limiti aşıldı."
  }
}

Retry-After başlığı kaç saniye sonra yeniden deneyebileceğinizi söyler. Çoğu OpenAI SDK’sı 429’u kendiliğinden yeniden dener; kendi istemcinizi yazıyorsanız artan aralıklarla yeniden deneme ekleyin.

429, kota aşımı değildir. Token bütçeniz dolduğunda istekler durmaz, yalnız uyarı görürsünüz; 429 yalnız anlık hız limitinde döner ve Retry-After süresi geçince kendiliğinden çözülür.

Maskeleme deseni sınırları

Kurumunuza özel desenler için üç sınır vardır: en çok 25 desen, desen başına en çok 200 karakter ve tarama için bir zaman bütçesi. Sınırlar keyfi değil; kötü kurgulanmış tek bir desen maskelemeyi uzun süre meşgul edebilir, bütçe bunu keser.

Bütçe aşıldığında iki yön farklı davranır ve bu ayrım bilinçlidir:

• Maskeleyen desen bütçeyi aşarsa istek 422 ile reddedilir. Sessizce eksik maskelemek yerine hata vermeyi tercih ediyoruz.
• Muafiyet deseni bütçeyi aşarsa o desen uygulanmaz ve istek normal şekilde tamamlanır. Muafiyet maskelemeyi azaltır; azaltan bir kural belirsizlikte devreye girmemelidir.

Aynı sınırlar, desenleri doğrudan istek gövdesinde gönderdiğinizde de geçerlidir. Panelden tanımladığınız kurum desenleri istekteki desenlere eklenir ve istek gövdesiyle düşürülemez; sonuç yalnız maskelemeyi artırır. Desenleri panelden tanımlamak için Panel.

Özet

Bütçenizi büyütmek veya bir anahtara özel limit tanımlamak isterseniz bizimle iletişime geçin.