Tablo 01
Ölçülen doğruluk
403 belgelik ana sette varlık düzeyinde ölçüm; Ekim 2026 değerlendirmesi.
16 sistem
Yüksek değer daha iyi
Gurubase Siper
Kurum içiYanlış alarm: 0,134Recall
0,854
Tüm ölçümler
- Recall
- 0,854
- Precision
- 0,563
- F1 (%95 GA)
- 0,679 [0,654-0,700]
- Yanlış alarm
- 0,134
Bulut LLM A
Bulut APIYanlış alarm: 0,121Recall
0,693
Tüm ölçümler
- Recall
- 0,693
- Precision
- 0,628
- F1 (%95 GA)
- 0,659 [0,632-0,684]
- Yanlış alarm
- 0,121
Bulut LLM B
Bulut APIYanlış alarm: 0,019Recall
0,522
Tüm ölçümler
- Recall
- 0,522
- Precision
- 0,615
- F1 (%95 GA)
- 0,565 [0,526-0,600]
- Yanlış alarm
- 0,019
Küresel PII API'si A
Bulut APIYanlış alarm: 0,486Recall
0,515
Tüm ölçümler
- Recall
- 0,515
- Precision
- 0,652
- F1 (%95 GA)
- 0,575 [0,543-0,605]
- Yanlış alarm
- 0,486
Açık model LLM
Kurum içiYanlış alarm: ÖlçülmediRecall
0,483
Tüm ölçümler
- Recall
- 0,483
- Precision
- 0,585
- F1 (%95 GA)
- 0,529 [0,496-0,561]
- Yanlış alarm
- Ölçülmedi
Açık kaynak araç A (iyi yapılandırma)
Kurum içiYanlış alarm: 0,816Recall
0,397
Tüm ölçümler
- Recall
- 0,397
- Precision
- 0,372
- F1 (%95 GA)
- 0,384 [0,351-0,415]
- Yanlış alarm
- 0,816
Açık kaynak araç D
Kurum içiYanlış alarm: 0,022Recall
0,340
Tüm ölçümler
- Recall
- 0,340
- Precision
- 0,773
- F1 (%95 GA)
- 0,472 [0,428-0,514]
- Yanlış alarm
- 0,022
Küresel bulut sağlayıcı A
Bulut APIYanlış alarm: 0,034Recall
0,267
Tüm ölçümler
- Recall
- 0,267
- Precision
- 0,918
- F1 (%95 GA)
- 0,414 [0,355-0,466]
- Yanlış alarm
- 0,034
Açık kaynak araç A (hazır profil)
Kurum içiYanlış alarm: 0,863Recall
0,259
Tüm ölçümler
- Recall
- 0,259
- Precision
- 0,252
- F1 (%95 GA)
- 0,256 [0,224-0,285]
- Yanlış alarm
- 0,863
Açık ağırlık Türkçe model
Kurum içiYanlış alarm: 0,131Recall
0,246
Tüm ölçümler
- Recall
- 0,246
- Precision
- 0,479
- F1 (%95 GA)
- 0,325 [0,291-0,357]
- Yanlış alarm
- 0,131
Küresel bulut sağlayıcı B
Bulut APIYanlış alarm: 0,402Recall
0,245
Tüm ölçümler
- Recall
- 0,245
- Precision
- 0,426
- F1 (%95 GA)
- 0,311 [0,265-0,354]
- Yanlış alarm
- 0,402
Küresel PII API'si B
Bulut APIYanlış alarm: 0,427Recall
0,222
Tüm ölçümler
- Recall
- 0,222
- Precision
- 0,241
- F1 (%95 GA)
- 0,231 [0,193-0,264]
- Yanlış alarm
- 0,427
Açık kaynak araç C
Kurum içiYanlış alarm: 0,981Recall
0,192
Tüm ölçümler
- Recall
- 0,192
- Precision
- 0,090
- F1 (%95 GA)
- 0,122 [0,098-0,146]
- Yanlış alarm
- 0,981
Açık kaynak araç B
Kurum içiYanlış alarm: 0,393Recall
0,178
Tüm ölçümler
- Recall
- 0,178
- Precision
- 0,454
- F1 (%95 GA)
- 0,256 [0,212-0,302]
- Yanlış alarm
- 0,393
Açık ağırlık Türkçe üretken model
Kurum içiYanlış alarm: 0,330Recall
0,118
Tüm ölçümler
- Recall
- 0,118
- Precision
- 0,399
- F1 (%95 GA)
- 0,182 [0,143-0,225]
- Yanlış alarm
- 0,330
Açık ağırlık filtre
Kurum içiYanlış alarm: 0,184Recall
0,089
Tüm ölçümler
- Recall
- 0,089
- Precision
- 0,489
- F1 (%95 GA)
- 0,150 [0,103-0,198]
- Yanlış alarm
- 0,184
Diğer sütunları görmek için tabloyu yatay kaydırın.
| Sistem | Kurum içi | Recall | Precision | F1 (%95 GA) | Yanlış alarm |
|---|---|---|---|---|---|
| Gurubase Siper | Evet | 0,854 | 0,563 | 0,679 [0,654-0,700] | 0,134 |
| Bulut LLM A | Hayır | 0,693 | 0,628 | 0,659 [0,632-0,684] | 0,121 |
| Küresel PII API'si A | Hayır | 0,515 | 0,652 | 0,575 [0,543-0,605] | 0,486 |
| Bulut LLM B | Hayır | 0,522 | 0,615 | 0,565 [0,526-0,600] | 0,019 |
| Açık model LLM | Evet | 0,483 | 0,585 | 0,529 [0,496-0,561] | ölçülmedi |
| Açık kaynak araç D | Evet | 0,340 | 0,773 | 0,472 [0,428-0,514] | 0,022 |
| Küresel bulut sağlayıcı A | Hayır | 0,267 | 0,918 | 0,414 [0,355-0,466] | 0,034 |
| Açık kaynak araç A (iyi yapılandırma) | Evet | 0,397 | 0,372 | 0,384 [0,351-0,415] | 0,816 |
| Açık ağırlık Türkçe model | Evet | 0,246 | 0,479 | 0,325 [0,291-0,357] | 0,131 |
| Küresel bulut sağlayıcı B | Hayır | 0,245 | 0,426 | 0,311 [0,265-0,354] | 0,402 |
| Açık kaynak araç A (hazır profil) | Evet | 0,259 | 0,252 | 0,256 [0,224-0,285] | 0,863 |
| Açık kaynak araç B | Evet | 0,178 | 0,454 | 0,256 [0,212-0,302] | 0,393 |
| Küresel PII API'si B | Hayır | 0,222 | 0,241 | 0,231 [0,193-0,264] | 0,427 |
| Açık ağırlık Türkçe üretken model | Evet | 0,118 | 0,399 | 0,182 [0,143-0,225] | 0,330 |
| Açık ağırlık filtre | Evet | 0,089 | 0,489 | 0,150 [0,103-0,198] | 0,184 |
| Açık kaynak araç C | Evet | 0,192 | 0,090 | 0,122 [0,098-0,146] | 0,981 |
Yanlış alarm: kişisel veri içermeyen 321 gerçek belgede en az bir gereksiz maske üretilen belge oranı. Yanlış alarm oranı, yakalama oranıyla (recall) birlikte değerlendirilmelidir. Çok az tespit üreten bir sistemin yanlış alarmı düşük görünebilir; ancak gerçek kişisel verilerin önemli bölümünü kaçırıyor olabilir.
Not: Küresel bulut sağlayıcı C, kendi resmi dokümantasyonuna göre Türkçe PII tespiti desteklememektedir.
Yapılan 135 eşleştirilmiş karşılaştırmanın (15 alternatif x 9 ortak sınıf: kişi adı, adres ve yedi m.6 kategorisi) 113 tanesinde istatistiksel olarak anlamlı fark Siper lehineydi. 20 karşılaştırmada anlamlı fark gözlenmedi; 2 karşılaştırmada alternatif anlamlı biçimde öndeydi: kişi adı sınıfında küresel PII API'si A, sendika sınıfında bulut LLM A. İkisinde de fark ağırlıkla yanlış pozitif sayısından geldi.
Yanlış alarmda Siper (%13,4) en güçlü bulut LLM'in (%12,1) biraz gerisinde; Siper recall ağırlıklı bir çalışma noktasında çalışır ve bunun karşılığında temiz metinde de daha fazla gereksiz maske üretir.