Agent iş akışları · 2026-09-25
Jev confidence eşiğiyle insan onayı tasarlama
Jev'in Choice ve Score cevaplarındaki confidence değerinin nasıl hesaplandığını, neyi söyleyip neyi söylemediğini ve işlemin riskine göre otomasyon, insan onayı ve durdurma arasında nasıl ayrım yapılabileceğini anlatır.
Kısa cevap
Jev'in Choice ve Score cevapları bir olasılık dağılımıyla birlikte bir confidence değeri taşır. confidence, dağılımın tek bir sonuçta ne kadar toplandığını 0 ile 1 arasında özetler: olasılığın tamamı bir seçenekteyse 1, eşit dağılmışsa 0'a yakındır. Noul cevaplarında confidence yoktur; orada evet olasılığının kendisi okunur.
Yalnızca en olası seçenek kullanılacaksa bir eşiğe gerek yoktur, choice alanını okumak yeter. Eşik, bir kararı otomatik uygulamak ile bir insana devretmek arasında ayrım yapılan yerlerde işe yarar ve nerede çizileceği işlemin riskine bağlıdır.
confidence nasıl hesaplanır
TypeSafe, confidence değerini cevabın zaten verdiği olasılık dağılımından hesaplanan bir istatistik olarak tanımlıyor. Üç seçenekli bir soruda formül, en yüksek olasılığın üç katından bir çıkarılıp ikiye bölünmesidir. Olasılıklar faturalama için 0,90, teknik için 0,06, satış için 0,04 ise confidence 0,85 olur. Olasılıklar teknik için 0,50, faturalama için 0,40, satış için 0,10 ise model yine teknik seçer, ama confidence 0,25'e düşer.
İkinci örnekte choice alanı tek başına okunduğunda iki durum aynı görünür. confidence bu farkı görünür kılar. TypeSafe bu tanımın bir kolaylık olduğunu da belirtiyor: olasılıkların tamamı cevapta bulunduğu için, farklı bir ölçüt gerekiyorsa kendi hesabınızı yapabilirsiniz.
confidence neyi söylemez
confidence modelin ne kadar emin olduğunu gösterir, kararın doğru olma olasılığını değil. 0,85 confidence ile verilen kararların yüzde 85'inin doğru olacağı anlamına gelmez; bu oran sorunun yazılışına, seçeneklerin açıklamalarına ve gelen mesajların türüne göre değişir. Düşük bir confidence da hata demek değildir; mesajın belirsiz olduğunu, ek bilgi ya da bir insanın bakışının gerekebileceğini gösterir.
Bu yüzden eşiğin anlamı ancak kendi verinizde ölçüldüğünde ortaya çıkar. Aynı eşik bir soruda neredeyse hiç hata yapmazken, açıklamaları daha belirsiz başka bir soruda sık hata yapabilir.
Eşiği işlemin riskine göre seçmek
TypeSafe üç bölgeli bir düzen öneriyor: yüksek confidence'ta otomatik uygulama, orta bölgede dikkatli ilerleme, düşük bölgede işlem yapmama. Sınırların nerede çizileceği ise yanlış kararın bedeline bağlıdır ve aynı sistemdeki farklı işlemler farklı eşiklerle korunabilir.
Bir talebe etiket eklemek geri alınabilir bir işlemdir; yanlış etiket bir tıklamayla düzeltilir. İade başlatmak ise geri alınması zor bir işlemdir. Aynı confidence değeri birincisi için yeterli, ikincisi için yetersiz olabilir. Aşağıdaki örnek her işleme ayrı eşik veriyor ve Noul cevaplarını ayrı ele alıyor; değerler örnektir.
İşleme göre eşik ve Noul için iki yönlü bant
# Esikler ornektir; her islem icin kendi verinizle belirlenir.
THRESHOLDS = {
"etiket_ekle": {"auto": 0.60, "review": 0.30}, # geri alinabilir
"iade_baslat": {"auto": 0.90, "review": 0.60}, # geri alinmasi zor
}
NOUL_BANDS = {"yes": 0.90, "no": 0.10}
def decide(action: str, answer: dict) -> str:
if answer["type"] == "noul":
p = answer["noul"]
if p >= NOUL_BANDS["yes"]:
return "evet"
if p <= NOUL_BANDS["no"]:
return "hayir"
return "insan_onayi"
c = answer["confidence"]
t = THRESHOLDS[action]
if c >= t["auto"]:
return "otomatik"
if c >= t["review"]:
return "insan_onayi"
return "durdur"Noul için eşik
Noul'da confidence olmadığı için eşik doğrudan evet olasılığına konur. 0,5'e yakın bir değer modelin emin olmadığı anlamına geldiğinden, tek bir eşik yerine iki uçlu bir bant kullanmak daha anlamlıdır: yeterince yüksekse evet, yeterince düşükse hayır, arada kalıyorsa insan onayı. Tek bir 0,5 eşiği, en belirsiz kararları da otomatik uygular.
İnsan onayı kuyruğu
İnsan onayına düşen bir karar, inceleyen kişiye boş gelmemelidir. Modelin önerdiği seçenek, olasılık dağılımı ve değerlendirilen metin birlikte gösterildiğinde, kişi çoğu durumda öneriyi onaylamak ya da değiştirmek için birkaç saniye harcar. Dağılımda ikinci sıradaki seçeneğin de görünmesi, modelin hangi iki seçenek arasında kaldığını anlatır.
Kişinin verdiği son karar kaydedildiğinde bu kuyruk aynı zamanda bir ölçüm aracına dönüşür: eşiği ayarlamak için gereken işaretli örnekler kendiliğinden birikir. Kuyruğun sürekli büyümesi ise eşiğin çok sıkı ya da sorunun fazla belirsiz yazıldığını gösterir.
Eşiği kendi verinizle ayarlamak
Eşiği ayarlamanın yolu, geçmiş mesajlardan bir örnek alıp doğru kararları bir kişiye işaretletmek ve her olası eşik için iki sayıya bakmaktır: kararların ne kadarı otomatik uygulanıyor ve otomatik uygulananların ne kadarı yanlış. Hata maliyetinin kabul edilebilir olduğu en düşük eşik, genellikle doğru çalışma noktasıdır. TypeSafe de temkinli başlamayı ve kendi verinizle sınamayı öneriyor.
Soru metni ya da seçenek açıklamaları değiştiğinde dağılım da değişir ve eski eşik geçerliliğini yitirebilir. Eşiklerin ve soru metinlerinin kodda tek bir dosyada tutulması, hangisinin değiştiğini görmeyi ve ölçümü yenilemeyi kolaylaştırır.
Sık sorulan sorular
0,85 herkes için doğru bir eşik mi?
Hayır. Ne TypeSafe ne LLMTR varsayılan bir eşik yayımlıyor. Doğru değer, işlemin riskine ve kendi verinizde ölçülen hata oranına göre belirlenir.
Düşük confidence kararın yanlış olduğunu mu gösterir?
Hayır. Olasılığın seçenekler arasında dağıldığını, yani mesajın belirsiz olduğunu gösterir. Böyle kararlar insan onayı için iyi adaylardır.
Noul için eşik nasıl kurulur?
Noul confidence döndürmez; eşik evet olasılığına konur. Yüksek ve düşük uçlar için iki sınır belirleyip aradaki değerleri insan onayına göndermek, belirsiz kararların otomatik uygulanmasını önler.
Soru metnini değiştirince eşik geçerli kalır mı?
Kalmayabilir. Talimat ve seçenek açıklamaları olasılık dağılımını etkiler; metin değiştiğinde eşiğin yeniden ölçülmesi gerekir.
Score cevabındaki confidence neyi gösterir?
Olasılığın seviyeler arasında ne kadar toplandığını gösterir. Düşük bir confidence, modelin birden fazla seviye arasında kaldığı anlamına gelir ve Choice'ta olduğu gibi insan onayı için bir işarettir.