Ajan ve MCP rehberleri · 2026-05-22

AI agent API mimarisi: tool calling, güvenlik ve LLM gateway

AI agent API mimarisi kurarken tool calling, model seçimi, kullanıcı izolasyonu, rate limit, maliyet kontrolü ve LLM gateway katmanını birlikte tasarlayın.

AI agent API mimarisinde planner, tool calling, LLM gateway, rate limit, kullanım ölçümü ve güvenlik sınırlarının gösterildiği sistem diyagramı.

AI agent API neden klasik chat API'den farklıdır?

Klasik chat API bir prompt alır ve yanıt üretir. AI agent ise görevi adımlara bölebilir, araç çağırabilir, ara sonuçları yorumlayabilir ve yeni model çağrıları yapabilir. Bu davranış, mimaride daha fazla kontrol noktası gerektirir.

Bu nedenle agent API tasarımında model kalitesi kadar izin sınırları, zaman aşımı, tekrar deneme, maliyet limiti ve gözlemleme tasarlanmalıdır.

Temel bileşenler

Üretim mimarisi genellikle uygulama sunucusu, agent orchestration katmanı, tool adapter'ları, LLM gateway, kullanım ölçümü ve güvenlik politikalarından oluşur. Her bileşen ayrı log ve hata formatı yerine tek gözlemleme modeline bağlanmalıdır.

  • Planner: görevi adımlara ayırır.
  • Tool adapter: dış sistemlerle güvenli konuşur.
  • LLM gateway: model erişimi ve maliyet kaydını yönetir.
  • Policy layer: kullanıcı ve veri kapsamını sınırlar.

Model seçimi ve fallback

Agent akışında provider fallback kararları dikkatli verilmelidir. Bir modelden diğerine otomatik geçiş, veri politikası veya çıktı formatı beklentisini değiştirebilir. LLMTR gibi gateway'lerde model değiştirme kolaydır, fakat üretim kararı testli ve açık olmalıdır.

Maliyet ve güvenlik birlikte ölçülmeli

Agent tek kullanıcı isteği için birçok model ve tool çağrısı yapabilir. Bu yüzden istek başına bütçe, maksimum adım, timeout, rate limit ve audit kaydı olmadan canlıya almak risklidir.

AI agent API mimarisini üretime hazırlama

Agent iş akışında model erişimi, tool çağrıları, bütçe ve güvenlik sınırlarını canlı trafik öncesi doğrulayın.

  1. Görev tiplerini ayırın. Planlama, tool çağrısı, özetleme ve final yanıt gibi adımların hangi model davranışını gerektirdiğini yazın.
  2. Tool izinlerini sınırlandırın. Her tool için kullanıcı, veri kapsamı ve onay gereksinimini ayrı tanımlayın.
  3. Gateway bütçe limitlerini ekleyin. İstek başına maksimum adım, token, süre ve maliyet sınırlarını gateway ve uygulama katmanında doğrulayın.
  4. Failure senaryolarını test edin. Provider hatası, timeout, eksik tool yanıtı ve hatalı model çıktısını ayrı test edin.

Sık sorulan sorular

AI agent için her zaman en güçlü modeli mi seçmeliyim?

Hayır. Planlama, araç kullanımı, hızlı sınıflandırma ve uzun çıktı için farklı modeller daha uygun olabilir. Görev bazlı test gerekir.

Agent fallback güvenli midir?

Otomatik fallback ancak veri politikası, çıktı formatı ve maliyet etkisi test edilmişse güvenlidir. Aksi halde sürpriz davranış yaratabilir.

İlgili yazılar