Ling-3.0-Tiny indirme rehberi: BF16, FP8 ve INT4 seçimi

Ling-3.0-Tiny nereden indirilir?

Ling-3.0-Tiny, InclusionAI'nin Hugging Face hesabındaki resmî BF16, FP8 ve INT4 depolarından indirilebilir. Üç model kartı da MIT lisansı bildiriyor. İndirilen şey bir sohbet uygulaması değil; model ağırlıkları, yapılandırma ve metni tokenlara dönüştüren dosyalardır. Yanıt üretmek için bunları destekleyen bir çalışma motoru ve uygun donanım ayrıca gerekir.

Bu rehber indirme kararına odaklanır. Önce hangi paketin ortamınızla uyumlu olduğunu belirleyin, sonra dosyaları alın. En küçük dosyanın her bilgisayarda açılacağını veya en hızlı yanıtı vereceğini varsaymayın.

BF16, FP8 ve INT4 arasında nasıl seçim yapılır?

Aşağıdaki boyutlar 28 Ağustos 2026'da resmî dosya sayfalarında gösterilen yaklaşık depo boyutlarıdır; RAM veya VRAM gereksinimi değildir. Revizyon değişirse boyut da değişebilir. BF16 16 bitlik kayan nokta, FP8 8 bitlik kayan nokta, INT4 ise 4 bitlik tamsayı temsilini ifade eder; paketteki her tensörün aynı türde olması gerekmez.

Kuantizasyon, ağırlıkların bellekte kapladığı alanı azaltmayı amaçlar; sayısal hassasiyeti de değiştirir. Bu nedenle seçim önerimiz, önce desteklenen biçimleri daraltmak, ardından kendi görevinizde kalite ve kaynak kullanımını karşılaştırmaktır. Tablo bir performans sıralaması değildir.

Disk alanı ve çalışma belleği farklı bütçelerdir

Tiny'nin toplam 7,9 milyar parametresinin token başına yaklaşık 1,3 milyarı etkinleşir. Aktif parametre sayısı, yalnızca o kadar ağırlık indirileceği anlamına gelmez. Depoda modelin tamamı bulunur; indirme planını aktif parametre sayısıyla hesaplamayın.

Çalıştırma sırasında ağırlıklara ek olarak ara hesaplamalar, bağlam için tutulan durum ve motorun ayırdığı bellek gerekir. Eşzamanlı istek sayısı ve bağlam uzunluğu da sonucu değiştirir. Bu yüzden dosya boyutundan evrensel bir asgari RAM değeri çıkarmıyoruz. Diskte de seçilen paket dışında çalışma ortamına, geçici dosyalara ve saklayacağınız diğer revizyonlara yer ayırın.

İndirmeden önce dosya listesini görün

Hugging Face CLI kurulu bir Bash oturumunda aşağıdaki örnek FP8 paketinin indirme planını gösterir; ağırlıkları indirmez. LING_REVISION ortam değişkenine seçtiğiniz deponun Files and versions bölümünden aldığınız tam commit kimliğini girin. Değişken boşsa komut durur. FP8 burada örnektir, donanımınıza yönelik öneri değildir.

• Depo sahibinin inclusionAI olduğunu ve seçtiğiniz biçimin adını kontrol edin.
• Hareketli main dalı yerine tam commit kimliğini kaydedin; ekip aynı dosyaları kullanabilsin.
• Her biçim ve revizyon için ayrı hedef klasör seçin; farklı paketlerin dosyalarını karıştırmayın.

Yalnızca indirme önizlemesi; Hugging Face CLI gerektirir

REPO="inclusionAI/Ling-3.0-tiny-fp8"
DEST="./models/ling-3.0-tiny-fp8"
: "${LING_REVISION:?Set LING_REVISION to the selected full commit SHA}"
hf download "$REPO" --revision "$LING_REVISION" --local-dir "$DEST" --dry-run

Paketi indirin ve bütünlüğünü kontrol edin

Boyutu ve uyumluluğu kontrol ettikten sonra aynı Bash oturumunda aşağıdaki komutları kullanabilirsiniz. İlk satır gerçek dosya indirmesidir ve ağ trafiği oluşturur; ikinci satır yerel dosyaları Hub üzerindeki sağlama toplamlarıyla karşılaştırır. Bunları bu yazı hazırlanırken çalıştırmadık.

İlk kurulumda yalnızca bir safetensors parçasını seçmeyin. Ağırlıkların tüm parçalarıyla birlikte indeks, yapılandırma, tokenizer ve sohbet şablonu gerekir. Doğrulama başarısızsa çalıştırmaya geçmeden eksik veya uyuşmayan dosyayı çözün.

İndirme onayından sonra aynı değişkenlerle tam paketi alma ve doğrulama

hf download "$REPO" --revision "$LING_REVISION" --local-dir "$DEST"
hf cache verify "$REPO" --revision "$LING_REVISION" --local-dir "$DEST" --fail-on-missing-files

İndirme tamamlandığında model henüz çalışmıyor

Dosya bütünlüğünün doğru olması, motorun Ling mimarisini veya seçilen kuantizasyonu desteklediğini kanıtlamaz. INT4 kartındaki genel başlatma örneği BF16 depo kimliğini kullanır; yalnızca bu örneğe bakarak INT4 uyumluluğu sonucu çıkarmayın. Motorun ilgili paket ve sürüm için verdiği talimatı ayrıca kontrol edin.

Depolar özel Python kodu da içerir. Çalıştırma talimatı uzaktaki koda güvenme seçeneği istiyorsa önce kodu ve sabitlediğiniz revizyonu inceleyin. İlk denemeyi sır içermeyen ayrı bir ortamda, kısa bir örnekle yapın. Modelin açılması, gerçek işinizde yeterli kalite verdiğini göstermez; bunu kendi kontrol sorularınızla değerlendirin.

LLMTR API emekliliği indirmeyi engellemez

LLMTR'deki inclusionai/ling-3.0-tiny API kimliği 15 Ağustos 2026 tarihinde emekli edilmiştir ve model_retired hatası döndürür. Bu durum resmî Tiny ağırlıklarının kaldırıldığı anlamına gelmez. Yerel indirme ve yerel çıkarım ayrı kullanım yollarıdır.

LLMTR'nin bu emekli kimlik için belirttiği halef ücretli inclusionai/ling-3.0-flash modelidir. Ağırlık indirmek LLMTR'ye bir model yüklemez veya eski API kimliğini yeniden açmaz. Yerel çalıştırmanın donanım, elektrik ve işletim maliyetlerini de ayrıca değerlendirin.

Sık sorulan sorular

BF16 dosyasının adını FP8 yaparsam dönüşüm olur mu?

Hayır. Dosya veya klasör adını değiştirmek tensörlerin temsilini değiştirmez. Resmî FP8 paketini seçin ya da motorunuzun belgelediği ayrı dönüştürme sürecini uygulayın; rastgele adlandırma uyumluluk sağlamaz.

INT4 her zaman daha hızlı mı?

Hayır. Daha küçük ağırlık paketi, tek başına hız garantisi değildir. Sonuç donanım, motor desteği ve iş yüküne bağlıdır. Bu rehberde üç biçim arasında hız veya doğruluk ölçümü yapılmadı.

Üç paketi birden indirmem gerekir mi?

Hayır. Başlangıçta ortamınızın desteklediği tek paketi seçin. Karşılaştırma yapacaksanız diğer biçimleri ayrı klasörlerde tutun ve aynı örnekler, düşünme ayarı ve çıktı bütçesiyle değerlendirin.

İndirmek için LLMTR API anahtarı gerekir mi?

Hayır. Bu işlem Hugging Face deposundan dosya alır; LLMTR API'sini kullanmaz. Hugging Face kimlik doğrulaması gerekirse o hizmetin kendi kimlik bilgilerini kullanın, LLMTR anahtarınızı göndermeyin.

İlgili yazılar

• Ling-3.0-Tiny yerel API: vLLM ortamı ve model kimliği
• Ling 3.0 Tiny: kapanan LLMTR API rotasından Flash'a geçiş

• inclusionai/ling-3.0-tiny
• Model kataloğu
• Gateway dokümantasyonu
• OpenAI / OpenRouter