Entegrasyon rehberleri · 2026-10-17
K2 Horizon'da reasoning_effort ve max_tokens ayarı
ifm/k2-horizon-375b-a23b her yanıttan önce düşünür: medium ile high arasında seçim, max_tokens kesilmesini yakalama ve günlük token hakkı, Python örneğiyle.
Kısa yanıt: medium ya da high seçin, max_tokens'a pay bırakın
LLMTR, farklı sağlayıcıların dil modellerine tek bir OpenAI uyumlu API ile erişim veren bir gateway'dir. K2 Horizon'u ifm/k2-horizon-375b-a23b kimliğiyle https://llmtr.com/v1 adresindeki /v1/chat/completions uç noktasından çağırırsınız. Model her yanıttan önce düşünür ve düşünme kapatılamaz; reasoning_effort ile medium veya high seçilir.
IFM'in model kartı her zaman high önerir ve medium ile low ayarlarını, düşünme düzeyleri üzerine araştırma dışında önermez. Kartın bildirdiği bütün sonuçlar high ile alınmıştır. LLMTR'de medium, daha kısa düşünmeyle yetinilebilecek işler için kullanılabilir; low bu satırda kabul edilmez.
K2 Horizon'da reasoning_effort ve max_tokens nasıl ayarlanır?
Düşünme token'ları ve cevap aynı max_tokens sınırını paylaşır. Model önce düşünür, sonra cevabı yazar; sınır düşünme bitmeden dolarsa yanıt boş content ve finish_reason length ile döner. Bu yüzden max_tokens'ı cevabın uzunluğuna göre değil, düşünme ile cevabın toplamına göre seçin.
Aşağıdaki Python örneği bir soru sorar ve finish_reason length gelirse max_tokens'ı ikiye katlayarak en fazla üç kez dener. Başlangıç değeri 8.192 token'dır; ilk denemede kesilen bir yanıt 16.384 ve 32.768 ile tekrarlanır. Fonksiyon effort parametresiyle medium ya da high alır.
Hangi düzeyin işinize yettiğini görmek için aynı soruyu medium ve high ile gönderin ve yanıttaki usage.completion_tokens değerlerini karşılaştırın. Düşünme metninin kendisi yanıtın reasoning_content alanındadır.
ifm/k2-horizon-375b-a23b'ye seçilen reasoning_effort ile soru soran, finish_reason length gelirse max_tokens'ı ikiye katlayarak en fazla üç kez deneyen OpenAI Python SDK yardımcı fonksiyonu.
import os
from openai import OpenAI
client = OpenAI(base_url="https://llmtr.com/v1", api_key=os.environ["LLMTR_API_KEY"])
def ask(question: str, effort: str = "high", max_tokens: int = 8192) -> str:
for _ in range(3):
response = client.chat.completions.create(
model="ifm/k2-horizon-375b-a23b",
messages=[{"role": "user", "content": question}],
reasoning_effort=effort,
max_tokens=max_tokens,
)
choice = response.choices[0]
if choice.finish_reason != "length":
return choice.message.content or ""
# Reasoning used the budget before the answer was finished.
max_tokens *= 2
raise RuntimeError("answer still cut at max_tokens=" + str(max_tokens))
print(ask("List three risks of storing API keys in a mobile app.", effort="medium"))Kabul edilen değerler ve hata durumları
Tablo bu satırda LLMTR'nin düşünme ayarlarına verdiği cevabı gösterir. Reddedilen değerler istek modele gitmeden 400 invalid_request ile döner ve hata mesajı kabul edilen düzeyleri ya da kullanılacak düzeyi söyler.
| Ayar | Sonuç |
|---|---|
| reasoning_effort high | Kabul edilir; IFM'in önerdiği düzey |
| reasoning_effort medium | Kabul edilir; daha kısa düşünme |
| Alan yok | Model yine düşünür |
| reasoning_effort low, none, minimal | 400 invalid_request |
| reasoning: { enabled: false } | 400 invalid_request; medium kullanın |
Akış, zaman aşımı ve maliyetin karşılığı
Uzun düşünen isteklerde stream true kullanmak, istemcinin uzun süre sessiz kalmasını önler: önce düşünme parçaları reasoning_content alanında, ardından cevap content alanında gelir. Akış kullanmıyorsanız istemcinizin okuma zaman aşımını uzun düşünmeye göre ayarlayın.
5 Kasım 2026 23:59'a (TSİ) kadar düşünme token'ları para olarak değil, günlük hak olarak sayılır. Yine de düzeyi işe göre seçmek alışkanlık olarak doğrudur: ileride ücretli bir modele geçtiğinizde aynı ayar faturaya doğrudan yansır.
Medium ile high'ı kendi işinizde karşılaştırmak
Düzey seçimini tek bir soruya göre yapmayın. Uygulamanızdan cevabını bildiğiniz yirmi kadar tipik soru seçin ve her birini medium ve high ile birer kez gönderin. Her yanıt için cevabın doğru olup olmadığını, usage.completion_tokens değerini ve yanıt süresini bir tabloya yazın.
Doğru cevap oranı iki düzeyde aynıysa medium'u seçebilirsiniz; daha az token harcar ve daha hızlı biter. medium'da yanlış cevaplar artıyorsa high'da kalın. Karar verdikten sonra düzeyi kodda sabit bir ayar olarak tutun ve sorularınızın türü değiştiğinde karşılaştırmayı tekrarlayın.
Karşılaştırma da günlük hakka sayılır: yirmi soru iki düzeyde kırk istek eder. Uzun sorularla çalışıyorsanız karşılaştırmayı birkaç güne bölün.
Ücretsiz dönem, günlük hak ve veri notu
Satır 5 Kasım 2026 23:59'a (TSİ) kadar ücretsizdir ve her hesabın bu model için günde 200.000 token hakkı vardır, yeni açılan hesaplar ilk gün daha düşük bir hakla başlar; girdi ve çıktı birlikte sayılır ve düşünme token'ları çıktıya dahildir. max_tokens'ı ikiye katlayan bir yeniden deneme de hakka sayılır. Hak dolduğunda API 429 döner, Retry-After başlığı ne zaman yeniden deneyebileceğinizi söyler ve hak 00:00'da (TSİ) yenilenir. 6 Kasım 2026 00:00'dan itibaren model 410 model_retired döner.
LLMTR'deki model sayfasının veri notuna göre istemler ve tamamlamalar sağlayıcı tarafından günlüğe kaydedilebilir ve modeli geliştirmek için kullanılabilir; hassas, kişisel veya müşteri verisi göndermeyin.
K2 Horizon'da düşünme düzeyi ve max_tokens ayarlama
Düzeyi seçin, max_tokens'ı düşünme ile cevabın toplamına göre verin ve finish_reason length gelirse sınırı artırarak tekrarlayın.
- Düzey. reasoning_effort için high ile başlayın; daha kısa düşünme yetiyorsa medium deneyin.
- Sınır. max_tokens'ı en az 8.192 token verin; düşünme ve cevap bu sınırı birlikte paylaşır.
- Kesilmeyi yakalama. finish_reason length gelirse max_tokens'ı ikiye katlayıp isteği tekrarlayın ve deneme sayısını sınırlayın.
Sık sorulan sorular
K2 Horizon'da düşünmeyi kapatabilir miyim?
Hayır. Model her yanıttan önce düşünür. reasoning_effort low, none ve reasoning enabled false 400 döner; en kısa düşünme için medium kullanın.
Yanıt neden boş content ile geliyor?
Düşünme token'ları max_tokens sınırını cevap yazılmadan doldurmuştur; finish_reason length olur. max_tokens'ı artırıp isteği tekrarlayın.
K2 Horizon için hangi düzey önerilir?
IFM'in model kartı her zaman high önerir. LLMTR medium'u da kabul eder; aynı soruyu iki düzeyde deneyip completion_tokens ve cevabı karşılaştırarak seçin.