Ana içeriğe geç

VoiceHub: Metinden Sese Çıkarım ve Eğitim

Modern TTS ailelerinde çıkarım, veri hazırlama ve modele özgü ince ayar için kaynak koduyla birlikte sunulan bir Python kütüphanesi.

VoiceHub sürekli entegrasyon durumu VoiceHub belge derleme durumu VoiceHub, Python 3.10 ve sonraki sürümleri destekler VoiceHub, Apache 2.0 lisansı altında sunulur

VoiceHub nedir?

VoiceHub; TTS, otomatik konuşma tanıma ve ses etkinliği algılama modellerini ortak yapılandırma, işlemci, model, çıktı ve trainer API'leri üzerinden sunar. Model uygulamaları mimarilerinin gereksinimlerini korur: codec dil modelleri, diziden diziye sistemler, flow-matching ve difüzyon modelleri, akustik modeller, VITS tarzı çekişmeli sistemler ve bileşik pipeline'lar kendi koşullandırma yöntemlerini, amaç fonksiyonlarını, parametre sahipliğini ve dışa aktarma kurallarını korur.

Registry 34 TTS entegrasyonu, 23 ASR sağlayıcısı ve 11 VAD sağlayıcısı içerir. İnce ayar desteği kontrol noktasına ve çalışma ortamına özeldir; bir çıkarım entegrasyonunun bulunması, mevcut VoiceHub model çıktısının türevlenebilir olduğu anlamına gelmez. Uygun entegrasyonu seçmek için TTS model kataloğunu, TTS eğitim matrisini ve ASR/VAD destek matrisini kullanın.

Model kaynak kodu ile yerleşik TTS, ASR ve VAD çıkarım çalışma ortamlarının tamamı varsayılan VoiceHub kurulumuna dahildir. Kontrol noktası ağırlıkları gerektiğinde indirilir veya yerel yollar üzerinden sağlanır. İnce ayar ve raporlama için yalnızca voicehub[training] ekleyin. Apache-2.0 lisansı yalnızca VoiceHub'ı kapsar; entegre kaynak kodu, kontrol noktaları, codec'ler, veri kümeleri ve üretilen sesler farklı koşullara tabi olabilir.

  • Başlarken

    VoiceHub'ı mevcut kaynak ağacından kurun ve paylaşılan model factory üzerinden ilk üretim isteğinizi çalıştırın.

    Hızlı başlangıç

  • Çıkarım

    Entegrasyonları keşfedin, Hub veya yerel kontrol noktalarını yükleyin, yeniden üretilebilir üretimi yapılandırın ve normalleştirilmiş sesi kullanın.

    Çıkarım rehberi

  • Veri hazırlama

    Denetlenebilir manifest'ler oluşturun, sesi doğrulayın, konuşmacı veya oturum sızıntısını önleyin ve modele özgü eğitim girdileri hazırlayın.

    Veri hazırlama rehberi

  • Eğitim

    Kontrol noktası sınırlarını doğrulayın, özgün amaç fonksiyonlarını çalıştırın, değerlendirin, eksiksiz kontrol noktalarından devam edin ve taşınabilir model çıktıları kaydedin.

    Eğitim rehberi

  • Modeller

    Registry'deki TTS kayıtlarını; varsayılan kontrol noktaları, yetenekler, kaynak kökeni ve kısıtlarla birlikte karşılaştırın.

    Model kataloğu

  • Eğitim desteği

    Her entegrasyon için ham veri, önceden işlenmiş veri, özelleştirilmiş veya kullanılamayan ince ayar sınırını tam olarak inceleyin.

    Eğitim matrisi

  • Notebook galerisi

    Dört notebook kullanın: çıkarım, veri hazırlama ve eğitime odaklanan örneklerin yanı sıra dışa aktarma ve yeni bir çalışma ortamında yeniden yüklemeye kadar eksiksiz Dia iş akışını izleyin.

    Notebook galerisini açın

  • API referansı

    Factory'leri, çıktıları, trainer argümanlarını, callback'leri, collator'ları, stratejileri, model çıktılarını ve genişletme registry'lerini inceleyin.

    API'ye göz atın

  • Mimari

    Registry'yi, model wrapper'larını, adaptörleri, çalışma zamanı stratejilerini, kontrol noktalarını ve taşınabilir model çıktısı sınırlarını anlayın.

    Kütüphane mimarisi

  • Model ekleme

    Lazy yüklenen bir wrapper, eğitim tanımı, gerektiğinde özelleştirilmiş adaptör ve dışa aktarma sözleşmesi geliştirin ve test edin.

    Model entegrasyonu rehberi