EVREN rehberleri · 2026-09-25

EVREN uzun belge, bağlam ve çıktı bütçesi

EVREN satırlarında uzun bir belgeyle çalışırken bağlam penceresinin nasıl paylaşıldığını, yayımlanmış bir çıktı tavanı olmadığında max_tokens'ın nasıl ele alındığını ve belgenin ne zaman bölünmesi gerektiğini anlatır.

Uzun bir belgenin bölümlere ayrılıp her bölümün ayrı bir istekle işlendiğini, notların son bir istekte birleştirildiğini gösteren akış şeması.

Kısa cevap

Bağlam penceresi bir isteğin toplam sınırıdır: sistem talimatı, konuşma geçmişi, belgenin kendisi ve modelin yazacağı yanıt aynı pencereyi paylaşır. EVREN satırlarında bu pencere MiMo V2.6 Pro ve DeepSeek V4.1 Flash TR'de 1.048.576, DeepSeek V4 Flash TR'de 1.000.000, GLM-5.3 FP8'de 512.000, diğer üç satırda 256.000 tokendir. Ayrı bir çıktı tavanı yayımlanmıyor; bu yüzden uzun bir yanıt beklenen işlerde max_tokens değeri kademeli olarak belirlenir.

EVREN'i LLMTR üzerinden kullanmanızı öneririz: kendi EVREN anahtarınızı Ayarlar'dan bir kez tanıtırsınız, sonra aynı kod hem EVREN modellerine hem katalogdaki diğer modellere ulaşır. Anahtar sizin kalır ve EVREN'in kendi kayıt ve saklama politikası da olduğu gibi geçerli olur.

Pencereye neler girer

Uzun belgeyle çalışırken pencerenin yalnızca belgeye ayrılmadığını hesaba katmak gerekir. Bir isteğin tokenları şu parçalardan oluşur:

  • Sistem talimatı: her istekte yeniden gönderilir.
  • Konuşma geçmişi: sohbet biçimli bir uygulamada her yeni soru önceki mesajları da taşır; belge ilk mesajdaysa her turda yeniden gider.
  • Belgenin metni ya da görselleri: görseller de token olarak sayılır.
  • Modelin yanıtı: max_tokens ile ayrılan pay, pencerenin geri kalanından düşer.

Token sayısı ve çıktı bütçesi

Token sayısı karakter sayısıyla aynı değildir ve modelden modele değişir, çünkü her model metni kendi sözlüğüyle böler. Aynı belge her EVREN satırında farklı bir token sayısı verebilir. Kesin sayı, ilk denemede yanıtın usage alanındaki prompt_tokens değerinden okunur.

Çıktı tarafında EVREN ayrı bir tavan yayımlamıyor ve model kartındaki sınır bağlam penceresidir. EVREN'in kendi çıktı sınırı istenen değerden düşükse isteği EVREN reddeder ve bu cevap size iletilir. Yanıt max_tokens sınırına ulaşıp kesildiğinde ise finish_reason alanı length olur; bu, yanıtın eksik olduğunu gösteren tek işarettir. Çıktı bütçesi bekleme süresini de doğrudan etkiler, çünkü bu satırlarda yanıtın ilk parçası üretim tamamlandığında gelir.

Belgenin tamamını mı, parçalarını mı göndermek

Pencereye sığan bir belgenin tek istekte gönderilmesi her zaman en iyi yol değildir. Tablo üç yaklaşımı ve her birinin sınırını gösteriyor. Bir konu daha var: EVREN'in /v1/quota ucu hesabınız için kayan bir pencerede token tavanı uygulandığını gösteriyor. LLMTR bu satırlar için ücret almasa da uzun girdiler bu tavanı hızlı tüketir ve aynı belgeyi her soruda yeniden göndermek kotadan her seferinde düşer.

Uzun belgeyle çalışmanın üç yolu
YaklaşımUygun olduğu durumDikkat edilecek nokta
Tamamı tek istekteBelge pencereye rahatça sığıyor ve soru belgenin geneline dairYanıt süresi uzar; her yeni soru belgeyi yeniden gönderir
Bölüm bölüm işleyip birleştirmekBelge pencereyi aşıyor ya da her bölüm ayrı ele alınacakBölümler arası atıflar kaybolabilir; birleştirme ayrı bir istektir
İlgili bölümleri seçip göndermekSoru belgenin küçük bir kısmıyla ilgiliSeçim yanlışsa model cevabın bulunduğu yeri hiç görmez

Bölerek işlemenin basit bir örneği

Aşağıdaki örnek bir sözleşmeyi paragraf sınırlarından bölüyor, her bölümden ilgili maddeleri çıkarıyor ve notları son bir istekte birleştiriyor. Karakter sınırı yaklaşık bir değerdir; kesin token sayısı yukarıda anlatıldığı gibi yanıttan okunur. Her istekte finish_reason kontrol edildiği için kesilen bir yanıt sessizce birleştirmeye girmez.

Uzun bir sözleşmeyi bölümlere ayırıp birleştirmek

import os
from openai import OpenAI

client = OpenAI(base_url=os.environ["LLMTR_BASE_URL"] + "/v1", api_key=os.environ["LLMTR_API_KEY"])
MODEL = "evren/glm-5.3-fp8"

def chunks(text: str, limit: int = 60_000):
    # Paragraf sinirindan boler; tek bir bolum yaklasik limit karakteri gecmez.
    part = ""
    for paragraph in text.split("\n\n"):
        if part and len(part) + len(paragraph) > limit:
            yield part
            part = ""
        part += paragraph + "\n\n"
    if part:
        yield part

def ask(prompt: str, max_tokens: int) -> str:
    res = client.chat.completions.create(
        model=MODEL, messages=[{"role": "user", "content": prompt}], max_tokens=max_tokens
    )
    if res.choices[0].finish_reason == "length":
        print("Uyari: yanit max_tokens sinirinda kesildi")
    return res.choices[0].message.content

notes = [ask(f"Bu bolumdeki fesih ve ceza maddelerini listele:\n{c}", 1500) for c in chunks(document)]
summary = ask("Asagidaki notlari tek bir listede birlestir:\n" + "\n".join(notes), 3000)

Uzun girdide yanıtın isabeti

Bir belgenin pencereye sığması, modelin belgenin her yerine aynı dikkati göstereceği anlamına gelmez. Uzun bağlamlı modellerle yapılan araştırmalarda, metnin ortasındaki bilginin başa ve sona göre daha sık gözden kaçtığı gözlenmiştir. Bu yüzden soru belgenin sonuna, belgeden sonra yazıldığında ve modelden her cevabın dayandığı madde ya da sayfa numarasını vermesi istendiğinde, sonucun asıl belgeyle karşılaştırılması kolaylaşır.

Belgenin yapısını baştan söylemek de yardımcı olur: kaç bölümden oluştuğu, eklerin nerede başladığı, tabloların hangi sayfada olduğu. Bu bilgi birkaç satırlık bir talimattır ve pencereden çok az yer kaplar.

Sık sorulan sorular

EVREN'i doğrudan mı, LLMTR üzerinden mi kullanmalıyım?

EVREN'i LLMTR üzerinden kullanmanızı öneririz. İstekleriniz yine kendi EVREN anahtarınızla EVREN'e gider ve LLMTR bu istekler için ücret almaz; fark, aynı kodun katalogdaki diğer modellere de ulaşmasıdır. EVREN'in kayıt ve saklama politikası bu tercihten etkilenmez.

1 milyon tokenlık bağlama sahip satıra belgenin tamamını göndermeli miyim?

Pencereye sığması, tek istekte göndermenin en iyi yol olduğu anlamına gelmez. Uzun girdi yanıt süresini uzatır ve EVREN kotasından düşer; soru belgenin bir bölümüyle ilgiliyse o bölümü göndermek çoğu zaman daha hızlı ve daha isabetli sonuç verir.

Yanıt neden yarıda kesiliyor?

finish_reason alanı length ise yanıt max_tokens sınırına ulaşmıştır. Değer artırılabilir; EVREN'in kendi çıktı sınırı aşılırsa istek reddedilir ve bu cevap size iletilir.

Soru belgenin önüne mi, arkasına mı yazılmalı?

Uzun bir belgede sorunun belgeden sonra yazılması, modelin yanıt üretmeye başlarken soruyu en son okumuş olmasını sağlar. Cevabın dayandığı madde numarasını istemek de sonucun doğrulanmasını kolaylaştırır.

Uzun belgeler EVREN kotasını etkiler mi?

Evet. EVREN hesabınız için kayan bir pencerede token tavanı uyguluyor ve uzun girdiler bu tavanı hızlı tüketir. Güncel durum EVREN'in /v1/quota ucundan kendi EVREN anahtarınızla okunur.

İlgili yazılar