Tablo 01
Ölçülen doğruluk
403 belgelik ana sette varlık düzeyinde ölçüm; Temmuz 2026 değerlendirmesi.
14 sistem
Yüksek değer daha iyi
Gurubase Siper
Kurum içiYanlış alarm: 0,057Recall
0,846
Tüm ölçümler
- Recall
- 0,846
- Precision
- 0,558
- F1 (%95 GA)
- 0,672 [0,647-0,695]
- Yanlış alarm
- 0,057
Bulut LLM A
Bulut APIYanlış alarm: 0,138Recall
0,724
Tüm ölçümler
- Recall
- 0,724
- Precision
- 0,528
- F1 (%95 GA)
- 0,611 [0,583-0,638]
- Yanlış alarm
- 0,138
Bulut LLM B
Bulut APIYanlış alarm: 0,023Recall
0,546
Tüm ölçümler
- Recall
- 0,546
- Precision
- 0,517
- F1 (%95 GA)
- 0,531 [0,495-0,564]
- Yanlış alarm
- 0,023
Açık model LLM
Kurum içiYanlış alarm: 0,077Recall
0,513
Tüm ölçümler
- Recall
- 0,513
- Precision
- 0,500
- F1 (%95 GA)
- 0,506 [0,474-0,537]
- Yanlış alarm
- 0,077
Küresel PII API'si A
Bulut APIYanlış alarm: 0,501Recall
0,483
Tüm ölçümler
- Recall
- 0,483
- Precision
- 0,492
- F1 (%95 GA)
- 0,487 [0,453-0,519]
- Yanlış alarm
- 0,501
Açık kaynak araç A (iyi yapılandırma)
Kurum içiYanlış alarm: 0,820Recall
0,479
Tüm ölçümler
- Recall
- 0,479
- Precision
- 0,362
- F1 (%95 GA)
- 0,412 [0,381-0,445]
- Yanlış alarm
- 0,820
Açık kaynak araç D
Kurum içiYanlış alarm: 0,026Recall
0,318
Tüm ölçümler
- Recall
- 0,318
- Precision
- 0,581
- F1 (%95 GA)
- 0,411 [0,367-0,452]
- Yanlış alarm
- 0,026
Küresel bulut sağlayıcı B
Bulut APIYanlış alarm: 0,421Recall
0,298
Tüm ölçümler
- Recall
- 0,298
- Precision
- 0,416
- F1 (%95 GA)
- 0,347 [0,308-0,387]
- Yanlış alarm
- 0,421
Açık kaynak araç A (hazır profil)
Kurum içiYanlış alarm: 0,865Recall
0,263
Tüm ölçümler
- Recall
- 0,263
- Precision
- 0,206
- F1 (%95 GA)
- 0,231 [0,198-0,263]
- Yanlış alarm
- 0,865
Küresel bulut sağlayıcı A
Bulut APIYanlış alarm: 0,043Recall
0,247
Tüm ölçümler
- Recall
- 0,247
- Precision
- 0,681
- F1 (%95 GA)
- 0,362 [0,308-0,414]
- Yanlış alarm
- 0,043
Küresel PII API'si B
Bulut APIYanlış alarm: 0,943Recall
0,215
Tüm ölçümler
- Recall
- 0,215
- Precision
- 0,187
- F1 (%95 GA)
- 0,200 [0,165-0,235]
- Yanlış alarm
- 0,943
Açık kaynak araç C
Kurum içiYanlış alarm: 0,983Recall
0,195
Tüm ölçümler
- Recall
- 0,195
- Precision
- 0,073
- F1 (%95 GA)
- 0,106 [0,085-0,129]
- Yanlış alarm
- 0,983
Açık kaynak araç B
Kurum içiYanlış alarm: 0,407Recall
0,190
Tüm ölçümler
- Recall
- 0,190
- Precision
- 0,390
- F1 (%95 GA)
- 0,255 [0,208-0,306]
- Yanlış alarm
- 0,407
Açık ağırlık filtre
Kurum içiYanlış alarm: 0,198Recall
0,093
Tüm ölçümler
- Recall
- 0,093
- Precision
- 0,412
- F1 (%95 GA)
- 0,152 [0,102-0,204]
- Yanlış alarm
- 0,198
Diğer sütunları görmek için tabloyu yatay kaydırın.
| Sistem | Kurum içi | Recall | Precision | F1 (%95 GA) | Yanlış alarm |
|---|---|---|---|---|---|
| Gurubase Siper | Evet | 0,846 | 0,558 | 0,672 [0,647-0,695] | 0,057 |
| Bulut LLM A | Hayır | 0,724 | 0,528 | 0,611 [0,583-0,638] | 0,138 |
| Bulut LLM B | Hayır | 0,546 | 0,517 | 0,531 [0,495-0,564] | 0,023 |
| Açık model LLM | Evet | 0,513 | 0,500 | 0,506 [0,474-0,537] | 0,077 |
| Küresel PII API'si A | Hayır | 0,483 | 0,492 | 0,487 [0,453-0,519] | 0,501 |
| Açık kaynak araç A (iyi yapılandırma) | Evet | 0,479 | 0,362 | 0,412 [0,381-0,445] | 0,820 |
| Açık kaynak araç D | Evet | 0,318 | 0,581 | 0,411 [0,367-0,452] | 0,026 |
| Küresel bulut sağlayıcı A | Hayır | 0,247 | 0,681 | 0,362 [0,308-0,414] | 0,043 |
| Küresel bulut sağlayıcı B | Hayır | 0,298 | 0,416 | 0,347 [0,308-0,387] | 0,421 |
| Açık kaynak araç B | Evet | 0,190 | 0,390 | 0,255 [0,208-0,306] | 0,407 |
| Açık kaynak araç A (hazır profil) | Evet | 0,263 | 0,206 | 0,231 [0,198-0,263] | 0,865 |
| Küresel PII API'si B | Hayır | 0,215 | 0,187 | 0,200 [0,165-0,235] | 0,943 |
| Açık ağırlık filtre | Evet | 0,093 | 0,412 | 0,152 [0,102-0,204] | 0,198 |
| Açık kaynak araç C | Evet | 0,195 | 0,073 | 0,106 [0,085-0,129] | 0,983 |
Yanlış alarm: kişisel veri içermeyen 349 gerçek belgede en az bir gereksiz maske üretilen belge oranı. Yanlış alarm oranı, yakalama oranıyla (recall) birlikte değerlendirilmelidir. Çok az tespit üreten bir sistemin yanlış alarmı düşük görünebilir; ancak gerçek kişisel verilerin önemli bölümünü kaçırıyor olabilir.
Not: Küresel bulut sağlayıcı C, kendi resmi dokümantasyonuna göre Türkçe PII tespiti desteklememektedir.
Yapılan 117 eşleştirilmiş karşılaştırmanın (13 alternatif x 9 ortak sınıf: kişi adı, adres ve yedi m.6 kategorisi) 106 tanesinde istatistiksel olarak anlamlı fark Siper lehineydi. Kalan 11 karşılaştırmada anlamlı fark gözlenmedi; hiçbir karşılaştırmada anlamlı bir rakip üstünlüğü ölçülmedi.