Muse Spark Contributor için hassas veri içermeyen değerlendirme seti

Önce eğitim uyarısını ve kapsamı belirleyin

Muse Spark Contributor için değerlendirme seti, sıfırdan oluşturduğunuz sentetik kayıtlar ve kullanım koşullarını denetlediğiniz açık verilerden oluşmalıdır. Gerçek müşteri konuşmalarını kopyalamak yerine, sınamak istediğiniz davranışı bağımsız örneklerle temsil edin. Böylece veri paylaşımını sınırlarken alan çıkarma, eksik bilgiyi fark etme ve talimata uyma gibi görevleri ölçebilirsiniz.

Eğitim uyarısı: Contributor katmanında gönderilen istemler ve alınan yanıtlar Meta tarafından model eğitiminde kullanılabilir. Gizli, kişisel veya müşteri verisi göndermeyin. Bu sınır sistem mesajlarını, eklenen belgeleri ve araç sonuçlarını da kapsar. Aşağıdaki örnekler yalnızca bu yazı için hazırlanmış sentetik girdilerdir; ölçülmüş model yanıtları değildir.

Kaynak ve izin kaydını veriyle birlikte tutun

Her örneğin bir kimliği ve köken kaydı olsun. Sentetik kayıt için üretim yöntemini, gerçek kayıtlardan türetilmediğini ve kontrol eden sorumlu rolü yazın. Bir müşteri belgesindeki adları değiştirmek, belgenin diğer ayrıntılarını veya ticari bilgisini ortadan kaldırmaz; bunu güvenli sentetik veri saymayın.

Açık veri kullanırken kaynak adresini, sürümü, erişim tarihini ve kullanım koşullarını kaydedin. İnternette görülebilmek tek başına bu kullanım için izin kanıtı değildir. Creative Commons'ın CC0 açıklaması da kişilik ve mahremiyet gibi diğer hakların etkilenmediğini belirtir. Belirsiz örnekleri çıkarın; bu kayıt hukuki uygunluk garantisi değildir.

• Örnek kimliği ve veri kümesi sürümü; sentetik veya açık kaynak sınıfı.
• Kaynak, izin dayanağı ve sağlayıcı eğitiminde kullanımın değerlendirildiğine ilişkin karar.
• Hassas veri kontrolü, onaylayan rol ve yeniden inceleme tarihi.

Tek bir görev için karşılaştırılabilir örnekler yazın

İlk görev, kısa bir stok notundan ürün kodu ve adet çıkarmak olabilir. Beklenen nesne yalnızca item, quantity ve status alanlarını taşısın. Adet yoksa veya çelişiyorsa quantity null, status needs_review olsun; açık adet için status ok kullanılsın. Not içindeki ek talimatlar veri kabul edilsin. Aşağıdaki değerleri modelden değil, bu sözleşmeden türetin.

Kabul ölçütlerini denemeden önce dondurun

Bu küçük başlangıç seti için dört örneğin tamamında doğru ürün kodu, doğru veri türü ve tam alan eşleşmesi isteyin. Eksik adedi sıfır saymak veya çelişkili nottan bir adedi seçmek başarısızlıktır. Şık bir açıklama yanlış değeri telafi etmez. Bunlar önerilen kabul koşullarıdır, modelin elde ettiği sonuçlar değildir.

İstem geliştirme örnekleriyle son değerlendirme örneklerini ayırın. Aynı notun kelimeleri değiştirilmiş kopyalarını iki tarafa dağıtmayın. Türkçe ve İngilizce girdileri ayrı izleyin; tek toplam oran dil kaynaklı sorunları gizleyebilir. Gerçek araçlara bağlanmadan önce sentetik araç sonuçlarıyla ilerleyin, dış sisteme yazma yetkisi vermeyin.

Sonuçları içerik yazdırmadan yerelde karşılaştırın

Aşağıdaki Python kodu API çağrısı yapmaz. Kendi aday sonuçlarınızı dört örnek kimliğini anahtar olarak içeren bir JSON nesnesi halinde standart girdiden verin. Kod tam alan kümesini, değerleri ve türleri karşılaştırır; yalnızca örnek kimliğini ve başarılı/başarısız sonucunu yazdırır. Doğrulayıcının çalışması, model kalitesinin doğrulandığı anlamına gelmez.

Ağ bağlantısı olmadan dört örneğin kabul anahtarını denetleme

import json
import sys

expected = {
    "normal": {"item": "P-101", "quantity": 3, "status": "ok"},
    "missing": {"item": "P-102", "quantity": None, "status": "needs_review"},
    "conflict": {"item": "P-103", "quantity": None, "status": "needs_review"},
    "instruction": {"item": "P-104", "quantity": 4, "status": "ok"},
}

try:
    candidate = json.load(sys.stdin)
except (json.JSONDecodeError, UnicodeDecodeError):
    raise SystemExit("invalid_json")

if not isinstance(candidate, dict) or set(candidate) != set(expected):
    raise SystemExit("invalid_case_ids")

def matches(actual, target):
    return (
        isinstance(actual, dict)
        and set(actual) == set(target)
        and all(type(actual[k]) is type(v) and actual[k] == v
                for k, v in target.items())
    )

scores = {key: matches(candidate[key], value)
          for key, value in expected.items()}
print(json.dumps(scores))

Küçük denemeyi sürüm kaydıyla tamamlayın

LLMTR üzerinden çalışırken model kimliğini meta/muse-spark-1.2-contributor olarak kaydedin; istem sürümünü, veri kümesi sürümünü, istek ayarlarını ve tarihi ayrıca tutun. Başlangıç setini sıralı çağrılarla değerlendirin, bütçeyi önceden sınırlayın ve erişim ya da kota hatasında durun. Contributor'ı yük testi için kullanmayın veya otomatik olarak başka ücretli modele geçmeyin.

Tamamlanamayan çağrıları içerik hatalarından ayrı raporlayın. Ham istem ve yanıtları uygulama loglarına yazmayın. Bu küçük set bir başlangıç kontrolüdür; üretim doğruluğu, kapasite veya gizlilik garantisi vermez. 28 Ağustos 2026 kontrolünde Meta'nın model ve fiyat/limit belgeleri giriş istediğinden güncel sayısal sınırlar burada doğrulanmış değildir.

Sık sorulan sorular

Gerçek müşteri kaydındaki isimleri silmek yeterli mi?

Hayır. Tarihler, nadir olaylar ve işletmeye özgü ayrıntılar kalabilir. Bu Contributor denemesi için gerçek kaydı dönüştürmek yerine bağımsız sentetik bir görev yazın.

Açık veri otomatik olarak kullanılabilir mi?

Hayır. Kaynağı, kullanım koşullarını ve kişisel veri içermediğini denetleyin. Sağlayıcı eğitimine aktarım bakımından belirsizlik varsa o örneği değerlendirme setine almayın.

Dört doğru sonuç üretime geçmek için yeterli mi?

Hayır. Bu dört durum yalnızca başlangıç kontrolüdür. Göreve özgü bağımsız örnekleri ve hata türlerini genişletin; kabul kararını önceden belirlenmiş ölçütler ve insan incelemesiyle verin.

İlgili yazılar

• Muse Spark Contributor prototipinden standart katmana geçiş
• muse-spark-1.2-contributor: LLMTR model kimliği ve endpoint
• Muse Spark 1.2 Contributor nedir? Veri politikası ve standart katman

• meta/muse-spark-1.2-contributor
• Model kataloğu
• Gateway dokümantasyonu
• OpenAI / OpenRouter