+31 20 705 1010
EnglishNederlandsFrançaisDeutschEspañol
Modèles

Lumia Lab porte son modèle d'espace latent à 8,9 milliards de paramètres

LUMIA Lab a publié le rapport technique de NCP-ArchPreview, un modèle de 8,9 milliards de paramètres entraîné sur 5,73 billions de jetons. Le modèle utilise la Next Concept Prediction pour prédire conjointement les jetons et les représentations latentes, atteignant une parité de performance avec OLMo-3-7B tout en nécessitant nettement moins de données.

Pourquoi c'est important

Cette recherche démontre que la modélisation de l'espace latent peut améliorer considérablement l'efficacité de l'entraînement pour les modèles à grande échelle. Pour les équipes en entreprise, cela suggère une voie vers des systèmes de haute performance avec une charge de calcul réduite et des besoins en données moindres.

Points clés

  • Porte la Next Concept Prediction à 8,9 milliards de paramètres en utilisant le jeu de données Dolma-3
  • Égale les performances d'OLMo-3-7B en utilisant seulement 51 pour cent des jetons d'entraînement
  • Intègre la prédiction de jetons et de représentations latentes pour une compréhension sémantique accrue

Solutions associées

IA générative Machine Learning
Toutes les actualités IA

Plus d'actualités IA

Outils

Shanghai AI Lab dévoile le framework RSI-Anything pour améliorer la réparation de code et la planification

Des chercheurs de Shanghai AI Lab, de la CUHK, de la NTU et d'Oxford ont présenté RSI-Anything, un framework conçu sur JEPA-Anything. Le système utilise des modèles du monde prédictifs pour simuler des environnements et améliorer la prise de décision des agents autonomes. Cette approche porte la précision des agents de réparation de code à 31,2 pour cent et le succès de la planification de laboratoire à 46 pour cent.

Outils

Sécuriser les agents IA autonomes alors que l'intégration passe de la réponse à l'action

Alors que l'intelligence artificielle passe de la simple réponse conversationnelle à l'action autonome via des protocoles comme le Model Context Protocol, les systèmes exécutent de plus en plus de tâches opérationnelles à travers des outils externes. Cette transition introduit des risques de sécurité spécifiques pour les agents autonomes interagissant avec les environnements logiciels d'entreprise. Les équipes d'ingénierie doivent désormais appréhender de nouvelles surfaces d'attaque à mesure que les modèles obtiennent l'autorisation de manipuler directement les systèmes.

Outils

La focalisation de l'IA vocale sur la seule vitesse passe à côté de l'essentiel, avertit un developer advocate

Jesse Hall, developer advocate chez le fournisseur d'infrastructure en temps réel LiveKit, soutient que le secteur de l'IA vocale donne la priorité aux mauvais indicateurs. Il affirme qu'une attention excessive portée à la vitesse de réponse brute néglige les exigences plus larges d'expériences conversationnelles naturelles et fonctionnelles.

Ready to build something
extraordinary?

15 minutes. No pitch deck. Just a conversation about what AI can do for your team.

Talk directly with our AI specialists

15 min, sans engagement
Aucune pression commerciale
Prototype en 7 jours