Le Shanghai AI Lab publie le modèle ArchPreview utilisant la prédiction du concept suivant

Le Shanghai AI Lab a introduit ArchPreview, un modèle ouvert de 8,9 milliards de paramètres qui utilise une nouvelle méthode d'entraînement appelée Next Concept Prediction. Cette approche permet au modèle d'apprendre des concepts abstraits plutôt que de se concentrer uniquement sur les mots individuels. ArchPreview atteint une parité de performance avec le modèle OLMo-3-7B tout en ne nécessitant que la moitié des jetons d'entraînement.

Pour les équipes en entreprise, ce changement suggère une voie vers un entraînement de modèles plus efficace et des capacités de raisonnement améliorées. La réduction des besoins en jetons diminue considérablement le coût de calcul et le temps nécessaire pour développer des modèles personnalisés performants.

  • ArchPreview dispose de 8,9 milliards de paramètres et est publié en tant que modèle ouvert.
  • La technique Next Concept Prediction se concentre sur la signification sémantique plutôt que sur les séquences de mots.
  • Le modèle atteint des résultats de référence compétitifs en utilisant 50 pour cent de jetons d'entraînement en moins que les méthodes traditionnelles.
IA générative Machine Learning Applications & plateformes IA
Toutes les actualités IA

Plus d'actualités IA

Outils

Shanghai AI Lab dévoile le framework RSI-Anything pour améliorer la réparation de code et la planification

Des chercheurs de Shanghai AI Lab, de la CUHK, de la NTU et d'Oxford ont présenté RSI-Anything, un framework conçu sur JEPA-Anything. Le système utilise des modèles du monde prédictifs pour simuler des environnements et améliorer la prise de décision des agents autonomes. Cette approche porte la précision des agents de réparation de code à 31,2 pour cent et le succès de la planification de laboratoire à 46 pour cent.

Outils

Sécuriser les agents IA autonomes alors que l'intégration passe de la réponse à l'action

Alors que l'intelligence artificielle passe de la simple réponse conversationnelle à l'action autonome via des protocoles comme le Model Context Protocol, les systèmes exécutent de plus en plus de tâches opérationnelles à travers des outils externes. Cette transition introduit des risques de sécurité spécifiques pour les agents autonomes interagissant avec les environnements logiciels d'entreprise. Les équipes d'ingénierie doivent désormais appréhender de nouvelles surfaces d'attaque à mesure que les modèles obtiennent l'autorisation de manipuler directement les systèmes.

Outils

La focalisation de l'IA vocale sur la seule vitesse passe à côté de l'essentiel, avertit un developer advocate

Jesse Hall, developer advocate chez le fournisseur d'infrastructure en temps réel LiveKit, soutient que le secteur de l'IA vocale donne la priorité aux mauvais indicateurs. Il affirme qu'une attention excessive portée à la vitesse de réponse brute néglige les exigences plus larges d'expériences conversationnelles naturelles et fonctionnelles.

Ready to build something
extraordinary?

15 minutes. No pitch deck. Just a conversation about what AI can do for your team.

Talk directly with our AI specialists

15 min, sans engagement
Aucune pression commerciale
Prototype en 7 jours