IA
Nvidia publie Nemotron 3 Diarization en libre accès
Nvidia a mis en ligne le 23 septembre 2026 Nemotron 3 Diarization, un modèle gratuit de 100 millions de paramètres capable d'identifier jusqu'à huit interlocuteurs en direct et de repérer les prises de parole simultanées.
Par Léna · rédaction IA
Le 23 septembre 2026, Nvidia a publié sur Hugging Face les poids de Nemotron 3 Diarization, un modèle d'identification des voix conçu pour le traitement audio hors ligne et en direct.
La segmentation précise des locuteurs devient accessible localement sur du matériel standard sans dépendre d'API distantes facturées à la minute. Les développeurs disposent désormais d'une brique légère pour générer des transcriptions attribuées en limitant la latence à quelques fractions de seconde.
Nvidia livre un modèle audio de 100 millions de paramètres
Nvidia a rendu public le 23 septembre 2026 son modèle Nemotron 3 Diarization sur le dépôt Hugging Face. Ce réseau neuronal de 100 millions de paramètres détermine qui s'exprime et à quel moment précis lors d'une conversation enregistrée ou diffusée en direct. L'algorithme prend en charge jusqu'à huit personnes et repère les moments de chevauchement vocal lorsque plusieurs intervenants prennent la parole ensemble. Les fichiers et poids d'inférence sont disponibles gratuitement sous licence libre pour des applications commerciales comme non commerciales. Cette mise à disposition fournit aux équipes de développement une brique prête à l'emploi qui évite d'entraîner un modèle lourd en interne, tout en autorisant une exécution locale sans dépendance envers une plateforme externe.
Le tampon audio module la latence du traitement en direct
Le fonctionnement interne s'appuie sur une architecture Transformer à 31 couches complétée par un mécanisme de positionnement RoPE, ainsi qu'une mémoire AOSC et une file FIFO héritées des recherches sur le streaming. Le système traite des fichiers audio échantillonnés à 16 kHz aux formats .wav, .flac, .opus ou .mp3, en sous-échantillonnant les caractéristiques d'entrée vers une cadence d'encodeur de 80 millisecondes, avant qu'une couche Conv1D ne restitue une résolution fine de 10 millisecondes. Les utilisateurs peuvent configurer quatre paliers d'attente pour le tampon d'entrée, s'étendant de 30,4 secondes pour une analyse hors ligne jusqu'à 0,32 seconde pour les usages interactifs les plus réactifs, comme le rapporte The Decoder. Le modèle tolère même un tampon minimal de 80 millisecondes. Choisir un tampon très court accélère la restitution du signal mais augmente les risques d'erreur de segmentation. Cet équilibre technique impose aux développeurs de calibrer minutieusement leur chaîne de traitement selon le délai de réponse toléré par leurs utilisateurs.
Le modèle surpasse Streaming Sortformer sur les bancs d'essai
Nemotron 3 Diarization succède à Streaming Sortformer et prend la tête du classement Diarization-Bench établi par VoiceArena. Il s'y positionne au premier rang avec un taux d'erreur de 14,72 %, surclassant le deuxième meilleur système mesuré à 19,3 %. Ce banc d'essai impose des règles particulièrement sévères : le chevauchement de plusieurs voix est comptabilisé et les micro-décalages temporels lors des changements d'orateur sont sanctionnés comme des anomalies. Lors d'évaluations conduites sur huit scénarios d'écoute avec un tampon audio de 1,04 seconde, l'architecture réduit le taux d'erreur moyen de 41 % par rapport à son prédécesseur. Pour les entreprises qui traitent d'importants volumes de réunions enregistrées, cette progression de l'exactitude limite fortement le temps passé à corriger manuellement les alternances de locuteurs dans les synthèses.
L'assemblage avec Parakeet produit des transcriptions étiquetées
Nemotron 3 Diarization résout uniquement le problème de la répartition de parole sans décoder le contenu linguistique des phrases prononcées. Pour obtenir un texte lisible, il doit être connecté à un système de reconnaissance automatique de la parole tel que Parakeet, une gamme de modèles conçue par Nvidia et Suno.ai comptant entre 0,6 et 1,1 milliard de paramètres sous licence CC BY 4.0. Dans cette configuration combinée, le logiciel annote chaque segment transcrit avec des identifiants anonymes comme speaker_2. Sur le plan opérationnel, la mise en œuvre locale peut s'appuyer sur le moteur léger NeMo-Speech.cpp en C++ natif ou sur la bibliothèque NeMo Speech sous Python 3.12 avec PyTorch et Cython. L'absence de couche de transcription intégrée contraint les développeurs à orchestrer deux modèles distincts, ce qui nécessite un calibrage mémoire spécifique sur les machines chargées de l'inférence.
Les environnements réverbérants dégradent la précision de la séparation
La fiabilité de l'attribution dépend directement de la propreté du signal sonore capté en amont. Le modèle a été conçu pour identifier un maximum de huit personnes au sein d'un même échange, et dépasser cette jauge provoque une dégradation rapide des résultats. De même, les réverbérations dans les pièces carrelées ou un bruit ambiant persistant augmentent fortement le taux d'erreur. L'outil attribue uniquement des étiquettes neutres telles que speaker_0 et ignore l'identité réelle des intervenants. Toute équipe souhaitant installer ce composant dans des espaces de travail partagés doit donc s'assurer de la qualité des microphones ou prévoir un pré-traitement du signal sonore afin d'éviter des confusions répétées.
- 14,72 % Taux d'erreur obtenu par Nemotron 3 Diarization sur le banc Diarization-Bench de VoiceArena VoiceArena via The Decoder 2026-09-27
Nemotron 3 Diarization est un modèle de diarisation du locuteur à poids ouverts conçu pour déterminer qui a parlé à quel moment dans des enregistrements réels.
Le modèle ne transcrit aucun mot et n'attribue pas de noms propres : il identifie uniquement les changements d'orateur sous forme d'étiquettes anonymes, et ses performances chutent lorsque la conversation réunit plus de huit intervenants ou se déroule dans une pièce bruyante et réverbérante.
Pour un professionnel indépendant ou une petite structure sans équipe technique, ce modèle brut n'est pas utilisable immédiatement sans compétences d'intégration en Python ou en C++. Il n'y a aucun abonnement à payer ni coût de licence logicielle, mais l'exploitation locale exige de monter une chaîne avec un modèle de transcription comme Parakeet et d'allouer au moins quelques heures d'ingénierie technique pour le configurer sur une machine dotée d'une carte graphique compatible.
Nemotron 3 Diarization peut-il transcrire le contenu des échanges ?
Non, il détecte uniquement les intervalles de parole et l'index de l'orateur. Pour obtenir une transcription textuelle, il faut lui associer un modèle de reconnaissance vocale distinct comme Parakeet.
Combien d'intervenants le modèle peut-il distinguer simultanément ?
L'architecture prend en charge jusqu'à huit personnes au sein d'un même enregistrement, avec une gestion du chevauchement lorsque plusieurs participants parlent en même temps.
Quelles sont les configurations de latence disponibles pour le direct ?
La mémoire tampon se règle sur quatre niveaux de 30,4 secondes à 0,32 seconde, avec une latence minimale d'entrée pouvant descendre à 80 millisecondes pour les flux en continu.
- Nvidia distribue gratuitement un modèle de 100 millions de paramètres capable de distinguer huit interlocuteurs.
- Sur le banc Diarization-Bench, le système atteint la première place avec un taux d'erreur de 14,72 %.
- L'intégration en direct demande un moteur d'inférence local et doit être couplée à un outil de transcription pour afficher du texte.