+31 20 705 1010
EnglishNederlandsFrançaisDeutschEspañol
Modelos

Lumia Lab escala el modelo de espacio latente a 8.9 mil millones de parámetros

LUMIA Lab ha publicado el informe técnico de NCP-ArchPreview, un modelo de 8.9 mil millones de parámetros entrenado con 5.73 billones de tokens. El modelo emplea la Predicción del Próximo Concepto para predecir conjuntamente tokens y representaciones latentes, logrando una paridad de rendimiento con OLMo-3-7B mientras requiere significativamente menos datos.

Por qué importa

Esta investigación demuestra que el modelado de espacio latente puede mejorar significativamente la eficiencia del entrenamiento para modelos a gran escala. Para los equipos empresariales, esto sugiere un camino hacia sistemas de alto rendimiento con una menor carga computacional y requisitos de conjuntos de datos más pequeños.

Puntos clave

  • Escala la Predicción del Próximo Concepto a 8.9 mil millones de parámetros utilizando el conjunto de datos Dolma-3
  • Iguala el rendimiento de OLMo-3-7B utilizando solo el 51 por ciento de los tokens de entrenamiento
  • Integra la predicción de tokens y representaciones latentes para una comprensión semántica mejorada

Soluciones relacionadas

IA generativa Machine Learning
Todas las noticias de IA

Más noticias de IA

Modelos

World Labs lanza Atlas para llevar la IA del lenguaje a modelos de mundos espaciales

World Labs ha presentado Atlas, un modelo de inteligencia espacial diseñado para ir más allá del procesamiento basado en texto. A diferencia de los modelos de lenguaje extensos tradicionales, este sistema se centra en crear modelos de mundo que comprenden e interactúan con espacios físicos en 3D. La tecnología proporciona a la IA una comprensión fundamental de la profundidad, la física y las relaciones espaciales.

Modelos

Los CISO modernos cambian su enfoque para facilitar el riesgo estratégico y acelerar la adopción de la IA

El liderazgo en seguridad está abandonando el papel tradicional de guardián para convertirse en un facilitador activo del riesgo empresarial y la innovación. Esta transición se centra en guiar la integración segura de la inteligencia artificial mientras se fomenta una cultura de experimentación responsable en toda la empresa.

Modelos

Una coalición tecnológica insta al gobierno de EE. UU. a proteger los modelos de IA de pesos abiertos

Una coalición de importantes empresas tecnológicas ha solicitado al gobierno de los Estados Unidos que proteja el desarrollo de modelos de inteligencia artificial de pesos abiertos. El grupo sostiene que los pesos descargables son esenciales para mantener la transparencia y la competencia, garantizando que la innovación no se limite a unos pocos proveedores propietarios.

Ready to build something
extraordinary?

15 minutes. No pitch deck. Just a conversation about what AI can do for your team.

Talk directly with our AI specialists

15 min, sin compromiso
Sin presión comercial
Prototipo en 7 días