+31 20 705 1010
EnglishNederlandsFrançaisDeutschEspañol
Modelos

Lumia Lab escala el modelo de espacio latente a 8.9 mil millones de parámetros

LUMIA Lab ha publicado el informe técnico de NCP-ArchPreview, un modelo de 8.9 mil millones de parámetros entrenado con 5.73 billones de tokens. El modelo emplea la Predicción del Próximo Concepto para predecir conjuntamente tokens y representaciones latentes, logrando una paridad de rendimiento con OLMo-3-7B mientras requiere significativamente menos datos.

Por qué importa

Esta investigación demuestra que el modelado de espacio latente puede mejorar significativamente la eficiencia del entrenamiento para modelos a gran escala. Para los equipos empresariales, esto sugiere un camino hacia sistemas de alto rendimiento con una menor carga computacional y requisitos de conjuntos de datos más pequeños.

Puntos clave

  • Escala la Predicción del Próximo Concepto a 8.9 mil millones de parámetros utilizando el conjunto de datos Dolma-3
  • Iguala el rendimiento de OLMo-3-7B utilizando solo el 51 por ciento de los tokens de entrenamiento
  • Integra la predicción de tokens y representaciones latentes para una comprensión semántica mejorada

Soluciones relacionadas

IA generativa Machine Learning
Todas las noticias de IA

Más noticias de IA

Herramientas

Shanghai AI Lab presenta el marco RSI-Anything para impulsar la reparación de código y la planificación

Investigadores de Shanghai AI Lab, CUHK, NTU y Oxford han presentado RSI-Anything, un marco desarrollado sobre JEPA-Anything. El sistema utiliza modelos predictivos del mundo para simular entornos y mejorar la toma de decisiones de los agentes autónomos. Este enfoque eleva la precisión de los agentes de reparación de código al 31,2 por ciento y el éxito en la planificación de laboratorio al 46 por ciento.

Herramientas

Protección de los agentes de IA autónomos a medida que la integración pasa de responder a actuar

A medida que la inteligencia artificial pasa de las respuestas conversacionales a la acción autónoma mediante protocolos como Model Context Protocol, los sistemas ejecutan cada vez más tareas operativas a través de herramientas externas. Este cambio introduce riesgos de seguridad específicos para los agentes autónomos que interactúan con entornos de software corporativos. Los equipos de ingeniería deben ahora gestionar nuevas superficies de ataque a medida que los modelos obtienen permisos para manipular sistemas directamente.

Herramientas

El enfoque de la IA de voz en la velocidad pura no da en el blanco, advierte un developer advocate

Jesse Hall, developer advocate en el proveedor de infraestructura en tiempo real LiveKit, sostiene que el sector de la IA de voz está priorizando las métricas equivocadas. Afirma que centrarse en exceso en la velocidad de respuesta bruta pasa por alto los requisitos más amplios de experiencias conversacionales naturales y funcionales.

Ready to build something
extraordinary?

15 minutes. No pitch deck. Just a conversation about what AI can do for your team.

Talk directly with our AI specialists

15 min, sin compromiso
Sin presión comercial
Prototipo en 7 días