Lumia Lab schaalt latent space model op naar 8,9 miljard parameters

LUMIA Lab heeft het technische rapport uitgebracht voor NCP-ArchPreview, een model met 8,9 miljard parameters getraind op 5,73 biljoen tokens. Het model maakt gebruik van Next Concept Prediction om gezamenlijk tokens en latente representaties te voorspellen, waarbij het dezelfde prestaties levert als OLMo-3-7B met aanzienlijk minder data.

Dit onderzoek toont aan dat latent-space modellering de trainingsefficiëntie voor grootschalige modellen aanzienlijk kan verbeteren. Voor bedrijfsteams suggereert dit een route naar hoogwaardige systemen met minder rekenkracht en kleinere datasetvereisten.

  • Schaalt Next Concept Prediction op naar 8,9 miljard parameters met behulp van de Dolma-3 dataset
  • Evenaart de prestaties van OLMo-3-7B met slechts 51 procent van de trainingstokens
  • Integreert token- en latente representatievoorspelling voor een beter semantisch begrip
Generatieve AI Machine Learning
Al het AI-nieuws

Meer AI-nieuws

Modellen

World Labs lanceert Atlas om AI te verplaatsen van taal naar ruimtelijke wereldmodellen

World Labs heeft Atlas geïntroduceerd, een ruimtelijk intelligentiemodel dat is ontworpen om verder te gaan dan tekstgebaseerde verwerking. In tegenstelling tot traditionele grote taalmodellen richt dit systeem zich op het creëren van wereldmodellen die 3D fysieke ruimtes begrijpen en ermee interageren. De technologie biedt AI een fundamenteel begrip van diepte, natuurkunde en ruimtelijke relaties.

Modellen

Techcoalitie dringt er bij de Amerikaanse overheid op aan om open-weight AI-modellen te beschermen

Een coalitie van grote technologiebedrijven heeft de Amerikaanse overheid verzocht om de ontwikkeling van open-weight kunstmatige intelligentie-modellen te waarborgen. De groep stelt dat downloadbare gewichten essentieel zijn voor het behoud van transparantie en concurrentie, zodat innovatie niet beperkt blijft tot een handvol leveranciers van gesloten systemen.

Modellen

Oracle cloudomzet stijgt met 121 procent door toenemende vraag naar ai infrastructuur

Oracle rapporteerde een omzet over het eerste kwartaal van 19,35 miljard dollar, gedreven door een stijging van 121 procent in de vraag naar AI cloudinfrastructuur. Het bedrijf trekt 28,5 miljard dollar uit voor kapitaaluitgaven om de datacenter-capaciteit uit te breiden en te voldoen aan de schaalvereisten van wereldwijde zakelijke klanten.

Ready to build something
extraordinary?

15 minutes. No pitch deck. Just a conversation about what AI can do for your team.

Talk directly with our AI specialists

15 min, vrijblijvend
Geen verkooppraatje
Prototype in 7 dagen