EMO : le modèle MoE modulaire révolutionnaire d'AllenAI
AllenAI lance EMO, un modèle MoE de 14 milliards de paramètres permettant d'utiliser seulement 1 expert sur 8 (12.5%) par tâche sans perte majeure de performance. Contrairement aux MoE classiques, sa modularité émerge directement des données sans biais humain.