+31 20 705 1010
EnglishNederlandsFrançaisDeutschEspañol
Modèles

Lumia Lab porte son modèle d'espace latent à 8,9 milliards de paramètres

LUMIA Lab a publié le rapport technique de NCP-ArchPreview, un modèle de 8,9 milliards de paramètres entraîné sur 5,73 billions de jetons. Le modèle utilise la Next Concept Prediction pour prédire conjointement les jetons et les représentations latentes, atteignant une parité de performance avec OLMo-3-7B tout en nécessitant nettement moins de données.

Pourquoi c'est important

Cette recherche démontre que la modélisation de l'espace latent peut améliorer considérablement l'efficacité de l'entraînement pour les modèles à grande échelle. Pour les équipes en entreprise, cela suggère une voie vers des systèmes de haute performance avec une charge de calcul réduite et des besoins en données moindres.

Points clés

  • Porte la Next Concept Prediction à 8,9 milliards de paramètres en utilisant le jeu de données Dolma-3
  • Égale les performances d'OLMo-3-7B en utilisant seulement 51 pour cent des jetons d'entraînement
  • Intègre la prédiction de jetons et de représentations latentes pour une compréhension sémantique accrue

Solutions associées

IA générative Machine Learning
Toutes les actualités IA

Plus d'actualités IA

Modèles

World Labs lance Atlas pour faire passer l'IA du langage aux modèles mondiaux spatiaux

World Labs a introduit Atlas, un modèle d'intelligence spatiale conçu pour aller au-delà du traitement textuel. Contrairement aux modèles de langage traditionnels, ce système se concentre sur la création de modèles du monde qui comprennent les espaces physiques en 3D et interagissent avec eux. Cette technologie offre à l'IA une compréhension fondamentale de la profondeur, de la physique et des relations spatiales.

Modèles

Une coalition technologique exhorte le gouvernement américain à protéger les modèles d'IA à poids ouverts

Une coalition de grandes entreprises technologiques a adressé une pétition au gouvernement américain pour protéger le développement de modèles d'intelligence artificielle à poids ouverts. Le groupe soutient que les poids téléchargeables sont essentiels pour maintenir la transparence et la concurrence, garantissant que l'innovation ne soit pas limitée à une poignée de fournisseurs propriétaires.

Modèles

Les revenus cloud d'Oracle bondissent de 121 pour cent alors que la demande d'infrastructure d'IA augmente

Oracle a annoncé un chiffre d'affaires de 19,35 milliards de dollars au premier trimestre, porté par une augmentation de 121 pour cent de la demande d'infrastructure cloud pour l'IA. L'entreprise engage 28,5 milliards de dollars en dépenses d'investissement pour étendre la capacité de ses centres de données et répondre aux besoins de mise à l'échelle des clients entreprises mondiaux.

Ready to build something
extraordinary?

15 minutes. No pitch deck. Just a conversation about what AI can do for your team.

Talk directly with our AI specialists

15 min, sans engagement
Aucune pression commerciale
Prototype en 7 jours