Entegrasyon rehberleri · 2026-09-27
Muse Spark Contributor ile Türkçe ve İspanyolca uygulama testi
Muse Spark Contributor için Türkçe ve İspanyolca anlam, özel ad, sayı ve biçim kontrolleri kurun. Hassas veri göndermeden iki dili ayrı değerlendirin.
Veri koşulunu örnekten önce belirleyin
Muse Spark Contributor değerlendirmesine gerçek müşteri konuşmalarıyla başlamayın. Bu katmanda istem ve yanıtlar Meta tarafından model eğitiminde kullanılabilir. Türkçe ve İspanyolca testler için kendinizin yazdığı, paylaşma hakkınız olan, kişisel bilgi içermeyen metinler seçin. Dil testi yapmak veri kullanım koşulunu ortadan kaldırmaz.
Bu rehber meta/muse-spark-1.2-contributor üzerinde uygulanabilecek bir test tasarımını anlatır; canlı deneme sonucu veya başarı oranı sunmaz. Standart katman ve farklı sürümler ayrı adaylardır. Her birini aynı örneklerle değerlendirebilirsiniz, ancak model kimliğini kaydetmeden sonuçları birleştirmeyin. Karar vereceğiniz şey modelin genel olarak iyi yazması değil, sizin uygulamanızın iki dilde gerekli davranışı göstermesidir.
Aynı anlamı taşıyan iki girdi hazırlayın
Bir destek mesajının kısa özetini ürettiğinizi düşünün. İki dilde de aynı olay, tarih ve istenen işlem yer alsın. Türkçedeki örnek daha kısa veya daha açıkken İspanyolca örneğe ek koşullar koymak karşılaştırmayı bozar. Önce anlam eşitliğini bir kişi kontrol etsin; sonra modeli değerlendirin. Çeviri sırasında değişen bir koşulu model hatası olarak saymayın.
Önerilen test girdisi olarak kendi ürününüzde gerçek olmayan bir teslimat notu yazabilirsiniz: ürün henüz teslim edilmemiş ve kullanıcı yalnızca bilgi istiyor. Beklenen ölçüt, özette teslim edildi veya iade istiyor gibi kaynaksız sonuçların bulunmamasıdır. Bu bir kullanım senaryosu önerisidir; modelin ürettiği yanıt değildir. Girdiyi ve kabul koşulunu test kaydında ayrı alanlarda tutun.
Özel ad, olumsuzluk ve sayıları ayrı puanlayın
Tek bir genel kalite puanı hangi kusurun ürünü bozduğunu gizleyebilir. Anlamın korunması, özel adların doğru kalması, olumsuzluğun kaybolmaması ve sayıların değişmemesi için ayrı sonuç kaydedin. Türkçe karakterler ve İspanyolca vurgu işaretleri hem görüntüleme hem metin işleme açısından kontrol edilmelidir. Sadece modelin yanıtı değil, uygulamanın bu yanıtı nasıl saklayıp gösterdiği de önemlidir.
Tarih ve ondalık gösteriminde hedef biçimi önceden seçin. Aynı rakam dizisi farklı yerel biçimlerde yanlış anlaşılabilir. Modelin kendiliğinden ülke tahmin etmesini istemek yerine kullanıcıya gösterilecek biçimi açıkça tarif edin. Kaynağın tarihi belirsizse belirsizliği korumasını bekleyin. Modelin olmayan kesinliği eklemesini düzgün yerelleştirme olarak değerlendirmeyin.
| Kontrol | Başarısızlık örneği |
|---|---|
| Anlam | Bilgi talebini iptal isteğine çevirmek |
| Olumsuzluk | Teslim edilmedi ifadesindeki olumsuzluğu kaybetmek |
| Özel ad | Adı başka bir sözcükle değiştirmek |
| Sayı ve tarih | Belirsiz tarihe kendiliğinden yıl eklemek |
| Biçim | İstenen alanları veya çıktı dilini değiştirmek |
Çıktı sözleşmesini uygulama kontrol etsin
Uygulamanız bir nesne veya sabit alanlar bekliyorsa geçerli biçim kontrolünü yanıtın dışında yapın. Alan adlarının çevrilip çevrilmeyeceği, boş değerin nasıl gösterileceği ve kabul edilen türler önceden belirlenmeli. Türkçe ve İspanyolca içerik üretirken aynı teknik alanların korunması gerekebilir. Modelden istenen biçim ile istemcinin gerçekten kabul ettiği biçim uyuşmalı.
Bu kontrolü modelin kendi yanıtına doğru etiketi eklemesine bırakmayın. Eksik alan veya yanlış tür varsa uygulama sonucu kabul etmesin; kullanıcının düzeltme yapabileceği bir akış tanımlayın. Katı şema özelliği kullanacaksanız seçtiğiniz modelin ve kullandığınız API yolunun gerçekten desteklediğini doğrulayın. Bir JSON nesnesi üretmekle bir şemaya zorunlu uyum sağlamak aynı özellik değildir.
Tek cevabı dil yeteneği sonucu saymayın
Her dilde normal, eksik bilgi içeren ve belirsiz örnekler kullanın. Aynı değerlendirme koşulunda birkaç tekrar yapmak, yanıtların ne kadar değiştiğini görmenizi sağlar. Sonuçları Türkçe ve İspanyolca için ayrı raporlayın. Bir dilde iyi sonuç diğerindeki hatayı örten tek bir ortalamaya dönüşmesin. Özellikle hata maliyeti yüksek alanları toplam puandan bağımsız inceleyin.
Kayıtta model kimliği, tarih, ayarlar, test örneğinin sürümü ve insan değerlendirmesi bulunsun. Gizli içerikleri veya kullanıcı yanıtlarını uygulama günlüğüne yazmadan sayım yapın. Bu rehberde ölçülmüş oran bulunmuyor; kendi denemenizin payını ve paydasını açıkça gösterin. Küçük bir test seti geniş kullanıcı kitlesindeki bütün dil kullanımını temsil etmez.
Yayına geçiş kararını hata türüne bağlayın
Yanlış dilde çıkan yanıt ile yanlış tutar içeren yanıt aynı etkiye sahip değildir. Hangi hataların yayını durduracağını önceden seçin. Kritik hata varsa örneği düzeltme sonrası tekrar kullanın. Sadece yeni ve daha kolay örnekler ekleyerek sonucu iyileştirmek, önceki sorunun giderildiğini göstermez. Kontrol kümesinin bir bölümünü değişikliklerden bağımsız tutun.
İlk kullanımda insan incelemesi gerektiren adımları belirgin bırakın. Model veya istem değiştiğinde iki dili birlikte yeniden kontrol edin. Ürüne üçüncü bir dil eklemek, mevcut iki dilin sonucunu otomatik olarak o dile taşımaz. Bu yöntem size hazır bir kalite garantisi vermez; hangi davranışın kabul edildiğini ve hangi durumda durmanız gerektiğini açık hale getirir.
Sık sorulan sorular
Contributor testinde müşteri mesajı kullanabilir miyim?
Bu rehber bunu önermiyor. Eğitim koşulu nedeniyle paylaşma hakkınız olan, kişisel veya gizli veri içermeyen değerlendirme metinleri kullanın.
Tek bir başarılı İspanyolca yanıt yeterli mi?
Hayır. Normal ve belirsiz örnekler, tekrarlar ve insan değerlendirmesi gerekir. Sonuçları her dil için ayrı gösterin.
JSON görünmesi şemaya uyulduğunu kanıtlar mı?
Hayır. Alanları ve türleri uygulama doğrulamalıdır. JSON üretimi ile katı şema desteği ayrı özelliklerdir.