Nvidia lance un modèle d’IA à 30 milliards de paramètres

Nvidia a lancé mardi Nemotron 3.5 Lightning, un modèle d’intelligence artificielle de 30 milliards de paramètres reposant sur une architecture de type « mélange d’experts ». Trois milliards de paramètres sont actifs simultanément lors de son utilisation. Le modèle combine les technologies Mamba2, mélange d’experts et couches d’attention, et dispose d’une fenêtre de contexte pouvant atteindre un million de jetons. Ses poids sont disponibles sur la plateforme Hugging Face.