Ember-1 araştırma önizlemesi nasıl değerlendirilir?

Kısa cevap

Ember-1, Fireworks'ün Kimi K3 üzerine kurduğu ve yanıta daha kısa bir düşünme iziyle ulaşmak üzere eğittiği bir araştırma modelidir. Fireworks araştırma sürümlerini iki haftalık sunucusuz erişim olarak yayımlıyor ve topluluk talebine göre kalıcı hâle getiriyor. LLMTR'de bu satır 6 Ekim 2026 saat 00:00'a (İstanbul) kadar çalışır; o tarihten sonra fireworks/ember-1 kimliği 410 model_retired döndürür ve aynı fiyattaki moonshot/kimi-k3'ü önerir.

Bu yüzden değerlendirme iki soruya indirgenir: daha kısa düşünme iziniz kendi görevlerinizde bir fark yaratıyor mu, ve tarih geldiğinde Kimi K3'e geçiş hazır mı. İki soru da kısa bir süre içinde, aynı görev setiyle cevaplanabilir.

• Kaynak: Fireworks Ember-1 duyurusu (kontrol 26 Eylül 2026)
• LLMTR model sayfası: Ember-1

Fireworks ne iddia ediyor

Fireworks'ün duyurusuna göre Ember-1, Kimi K3'ün kalitesini yüzde 40 daha az tokenla veriyor. Aynı duyuru, yedi ölçüt setinde ve iki müşterinin gerçek trafiğinde Kimi K3'ün düşünme izinin yüzde 35 ile 50 arasında kısaltılabildiğini söylüyor. Düşünme tokenları çıktı olarak ücretlendirildiği için, bu kısalma doğrudan maliyete ve bekleme süresine yansıyabilir.

Bunlar Fireworks'ün kendi değerlendirmeleridir. Aynı oranın sizin görevlerinizde görülüp görülmeyeceği, aynı istemler iki modele gönderilip çıktı tokenları karşılaştırıldığında anlaşılır. Kısalmanın kaliteyi koruyup korumadığı ise ayrıca, cevapların kendisine bakılarak ölçülür.

• Kaynak: Fireworks Ember-1 duyurusu (kontrol 26 Eylül 2026)

Ember-1 ile Kimi K3 arasındaki farklar

İki model aynı fiyattadır ve aynı bağlam penceresini taşır. Farklar, girdi biçiminde ve yapılandırılmış çıktıda ortaya çıkar; bir akış bu iki yeteneğe dayanıyorsa geçişte kod değişikliği gerekir.

• Kaynak: Fireworks Ember-1 model sayfası (kontrol 26 Eylül 2026)
• LLMTR model sayfası: Kimi K3

Kısa sürede anlamlı bir karşılaştırma

Önizleme süresi kısa olduğu için değerlendirme küçük ama temsilî bir görev setiyle yapılır: gerçek işinizden alınmış, beklenen cevabı bilinen birkaç düzine örnek. Aynı set iki modelde çalıştırılır; her cevap için kalite, çıktı tokenı ve maliyet kaydedilir. Cevapları model adı gizlenerek puanlamak, beklentinin puanı etkilemesini önler.

İki modelin fiyatı aynı olduğu için maliyet farkı yalnızca token sayısından gelir. Aşağıdaki örnek her çağrının maliyetini yanıttaki usage alanından hesaplıyor.

Aynı görevleri Ember-1 ve Kimi K3'te çalıştırmak

import os
from openai import OpenAI

client = OpenAI(base_url=os.environ["LLMTR_BASE_URL"] + "/v1", api_key=os.environ["LLMTR_API_KEY"])
PRICE = {"input": 3.00, "cached": 0.30, "output": 15.00}  # 1M token basina, iki modelde ayni

def run(model: str, prompt: str) -> dict:
    res = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
    u = res.usage.model_dump()
    cached = (u.get("prompt_tokens_details") or {}).get("cached_tokens") or 0
    cost = ((u["prompt_tokens"] - cached) * PRICE["input"] + cached * PRICE["cached"]
            + u["completion_tokens"] * PRICE["output"]) / 1_000_000
    return {"model": model, "answer": res.choices[0].message.content,
            "completion_tokens": u["completion_tokens"], "cost_usd": round(cost, 6)}

# Ayni gorev seti iki modelde; cevaplar model adi gizlenerek puanlanir.
for prompt in test_prompts:
    for model in ("fireworks/ember-1", "moonshot/kimi-k3"):
        record(run(model, prompt))

Değerlendirmede nelere bakılır

Kısa bir değerlendirmede her cevap için birkaç şey birlikte kaydedildiğinde, sonuç tek bir izlenime değil karşılaştırılabilir sayılara dayanır:

• Doğruluk: cevabın, önceden bilinen beklenen cevapla örtüşüp örtüşmediği.
• Eksiksizlik: istenen bütün noktaların cevapta yer alıp almadığı.
• Çıktı tokenı: düşünme izi dahil completion_tokens değeri; Fireworks'ün iddiasının kendi işinizdeki karşılığı buradan görülür.
• Yanıt süresi: düşünme izi kısaldıkça ilk görünür kelimeye kadar geçen süre de kısalır.
• Biçime uyum: yapılandırılmış çıktı ya da araç çağrısı kullanılıyorsa, yanıtın beklenen biçimde gelip gelmediği.

Geçişe hazırlık

6 Ekim 2026'dan sonra fireworks/ember-1'e giden istekler 410 model_retired ile döner ve yanıt halefin adını taşır; geçiş kendiliğinden olmaz. Model kimliğini kodun içine gömmek yerine yapılandırmada tutmak, geçişi tek satırlık bir değişikliğe indirir. Hata işleyicinin 410 yanıtını ayrı ele alması da, tarih geldiğinde sorunun genel bir "model yanıt vermiyor" hatası gibi görünmesini önler.

Taşınmayan iki yetenek önceden ele alınabilir. Görseller https adresiyle gönderiliyorsa, bunları şimdiden base64 data URL'ye çevirmek geçişte görsel hatalarını önler. Strict json_schema kullanılıyorsa, aynı şemanın kendi tarafınızda doğrulanması Kimi K3'te json_object ile aynı güvenceyi sağlar.

• LLMTR model sayfası: Kimi K3

Veri politikası

Ember-1 yurt dışındaki üçüncü taraf altyapıda çalışır ve istemler ile tamamlamalar sağlayıcı tarafından kaydedilebilir; Türkiye'de barındırılan bir LLMTR modeli değildir. Değerlendirme setinin kişisel veri ya da müşteri sırrı içermeyen örneklerden oluşması, bir önizleme modelini denemenin en rahat yoludur.

• LLMTR model sayfası: Ember-1

Sık sorulan sorular

6 Ekim 2026'dan sonra Ember-1'e gönderilen istek ne döner?

410 model_retired döner ve yanıt, aynı fiyattaki moonshot/kimi-k3'ü halef olarak gösterir. İstek otomatik olarak Kimi K3'e yönlendirilmez; model kimliğinin kodda değiştirilmesi gerekir.

Fireworks modeli kalıcı hâle getirirse ne olur?

Fireworks araştırma sürümlerini topluluk talebine göre kalıcı yapabileceğini söylüyor. Böyle bir durumda LLMTR'deki tarih yeniden değerlendirilir; güncel durum Ember-1'in model sayfasında görünür.

Yüzde 40 daha az token garanti mi?

Hayır. Bu Fireworks'ün kendi değerlendirmesidir. Kendi görevlerinizdeki farkı, aynı istemleri iki modele gönderip çıktı tokenlarını karşılaştırarak görebilirsiniz.

Kimi K3'e geçişte neler değişir?

Fiyat ve bağlam aynı kalır. Görseller yalnızca base64 data URL olarak gönderilir ve strict json_schema yerine json_object kullanılır; şema doğrulaması sizin tarafınıza geçer.

Önizleme modeli üretimde kullanılabilir mi?

6 Ekim 2026'ya kadar kullanılabilir. Bitiş tarihi bilindiği için model kimliğinin yapılandırmada tutulması ve geçişin moonshot/kimi-k3 ile önceden denenmesi, tarihin bir kesintiye dönüşmesini önler.

İlgili yazılar

• Ember-1'de düşünme tokenı, kalite ve maliyet
• Ember-1 ile tool calling ve JSON Schema
• Ember-1 ile ekran görüntüsü ve hata analizi
• Ember-1 bağlam, cache ve kullanım maliyeti

• Ember-1 model sayfası
• Kimi K3 model sayfası
• Model kataloğu
• Chat Completions
• Fiyatlandırma