Entegrasyon rehberleri · 2026-09-11

OpenAI uyumlu LLM API'ye geçiş: uygulamayı yeniden yazmadan sağlayıcı değiştirmek

OpenAI uyumlu LLM API kullanan bir pasarelaya geçmek genelde iki satırlık bir iş: taban URL ve anahtar. Neyin aynı kaldığı, neyin model kimliğiyle sabitlenmesi gerektiği ve canlıya çıkmadan önce nelerin kontrol edileceği.

OpenAI SDK'sından uyumlu bir gateway'e geçişi; taban URL değişimini, anahtarı ve model kimliğini gösteren şema.

Değişen şey iki satır

OpenAI uyumlu bir gateway, zaten çağırdığınız API yüzeyinin aynısını sunar. Pratikte bu, SDK'nın olduğu gibi kaldığı ve geçişin taban URL'i başka bir yere yöneltmek ile farklı bir anahtar kullanmaya indiği anlamına gelir.

Kodun geri kalanı (mesaj kurgusu, araçlar, streaming, hata yönetimi) değişmez; çünkü istek ve yanıt biçimi aynıdır.

Uyumlu bir gateway'e yöneltilmiş OpenAI istemcisi

from openai import OpenAI

client = OpenAI(
    base_url="https://llmtr.com/v1",
    api_key="API_ANAHTARINIZ",
)

yanit = client.chat.completions.create(
    model="saglayici/model-kimligi",
    messages=[{"role": "user", "content": "Bu sozlesmeyi bes maddede ozetle."}],
)

print(yanit.choices[0].message.content)

Modeli takma adla değil kimlikle sabitleyin

model-latest türü kullanışlı bir takma ad geliştirme sırasında hoş, üretimde tatsızdır: altındaki model kodunuz fark etmeden değişebilir ve onunla birlikte maliyet, gecikme ve davranış da değişir.

Alternatifi, tam kimliği sürümüyle sabitlemek ve model değişimini ne ise o saymaktır: bir deploy. Sağlayıcı bir modeli emekli ettiğinde almak isteyeceğiniz şey, hiç seçmediğiniz bir modelden gelen farklı bir yanıt değil, halefi adıyla söyleyen açıklanabilir bir hatadır.

Anahtarlar ve harcama kontrolü

Geçiş, ilk günden beri neredeyse her zaman yanlış olan bir şeyi düzeltmek için iyi bir an: anahtar istemcide duruyordur, ya da bir depoda, ya da ikisinde birden.

Anahtar sunucuya aittir. Tarayıcı ve mobil uygulama kendi backend'inizle, backend de gateway ile konuşur. Sızıntıyı önlemenin yanında bu size kullanıcı başına limit uygulayabileceğiniz, kullanımı kaydedebileceğiniz ve yeni sürüm yayımlamadan bir harcama sızıntısını kesebileceğiniz tek yeri verir.

Canlıya çıkmadan önce

Bir öğleden sonra tamamlanan ve pahalı sürprizleri önleyen beş kontrol.

  • Değerlendirme setinizi yeni modele karşı geçişten sonra değil önce koşun.
  • Streaming ve araç çağrılarının sizin özel durumunuzda aynı davrandığını doğrulayın.
  • Seçtiğiniz model artık yoksa API'nin ne döndürdüğünü teyit edin.
  • Kullanım kaydını gözden geçirin: aylar sonra bir isteğe hangi modelin cevap verdiğini hâlâ görebilmelisiniz.
  • Yeni sağlayıcı üretimde bir hafta geçirene kadar öncekini yapılandırılmış bırakın.

Sık sorulan sorular

SDK değiştirmem gerekir mi?

Gateway OpenAI uyumlu yüzeyi sunuyorsa hayır. Taban URL ve anahtar değiştikten sonra resmi istemci çalışmaya devam eder.

Bir gateway üzerinden geçince model fiyatları değişir mi?

LLMTR'de model fiyatları katalogda listelendiği gibi kalır. Platform marjı yalnızca kredi yüklemeye uygulanır, modelin token başına fiyatına asla eklenmez.

Streaming ve araç çağrılarını kullanmaya devam edebilir miyim?

Bu, soyut olarak gateway'e değil modele ve arkasındaki sağlayıcıya bağlıdır. Geçişten önce kullanacağınız model için ayrıca kontrol edin.

İlgili yazılar