Lumia Lab schaalt latent space model op naar 8,9 miljard parameters

LUMIA Lab heeft het technische rapport uitgebracht voor NCP-ArchPreview, een model met 8,9 miljard parameters getraind op 5,73 biljoen tokens. Het model maakt gebruik van Next Concept Prediction om gezamenlijk tokens en latente representaties te voorspellen, waarbij het dezelfde prestaties levert als OLMo-3-7B met aanzienlijk minder data.

Dit onderzoek toont aan dat latent-space modellering de trainingsefficiëntie voor grootschalige modellen aanzienlijk kan verbeteren. Voor bedrijfsteams suggereert dit een route naar hoogwaardige systemen met minder rekenkracht en kleinere datasetvereisten.

  • Schaalt Next Concept Prediction op naar 8,9 miljard parameters met behulp van de Dolma-3 dataset
  • Evenaart de prestaties van OLMo-3-7B met slechts 51 procent van de trainingstokens
  • Integreert token- en latente representatievoorspelling voor een beter semantisch begrip
Generatieve AI Machine Learning
Al het AI-nieuws

Meer AI-nieuws

Modellen

VS staat binnenlandse AI-ontwikkelaars toe om geavanceerde modellen met het VK te delen voor veiligheidstests

De Verenigde Staten hebben het voor binnenlandse ontwikkelaars van kunstmatige intelligentie mogelijk gemaakt om de regering van het Verenigd Koninkrijk vroegtijdige toegang te verlenen tot propriëtaire modellen voor veiligheidsevaluaties. Deze afspraak vergemakkelijkt formele veiligheidsbeoordelingen voorafgaand aan commerciële uitrol zonder frictie op het gebied van regelgeving tussen beide landen te veroorzaken.

Tooling

Shanghai AI Lab onthult RSI-Anything-framework om codeherstel en planning te verbeteren

Onderzoekers van Shanghai AI Lab, CUHK, NTU en Oxford hebben RSI-Anything geïntroduceerd, een framework gebouwd op JEPA-Anything. Het systeem gebruikt voorspellende wereldmodellen om omgevingen te simuleren en de besluitvorming van autonome agents te verbeteren. Deze aanpak verhoogt de nauwkeurigheid van codeherstel-agents naar 31,2 procent en het succes van laboratoriumplanning naar 46 procent.

Tooling

Beveiliging van autonome AI-agents nu integratie verschuift van antwoorden naar handelen

Nu kunstmatige intelligentie via protocollen zoals het Model Context Protocol overgaat van conversationele antwoorden naar autonome actie, voeren systemen steeds vaker operationele taken uit via externe tools. Deze verschuiving brengt specifieke beveiligingsrisico's met zich mee voor autonome agents die communiceren met zakelijke softwareomgevingen. Technische teams moeten nu navigeren door nieuwe aanvalsoppervlakken, aangezien modellen toestemming krijgen om systemen direct te beïnvloeden.

Ready to build something
extraordinary?

15 minutes. No pitch deck. Just a conversation about what AI can do for your team.

Talk directly with our AI specialists

15 min, vrijblijvend
Geen verkooppraatje
Prototype in 7 dagen