AI2 brengt Olmo-core 3 uit om open mixture-of-experts-training te versnellen

Het Allen Institute for AI heeft Olmo-core 3 gelanceerd, een open trainingsframework voor mixture-of-experts. De herontworpen stack houdt experts aanwezig op de gpu's om de efficiëntie te verhogen. Het behaalt een tot 2,7 keer hogere doorvoer in vergelijking met standaard Fully Sharded Data Parallel-benaderingen op een schaal van biljoenen parameters.

Het schalen van geavanceerde architecturen zet infrastructuurbudgetten en hardware-efficiëntie vaak onder druk. Open frameworks met een hoge doorvoer helpen zakelijke teams enorme mixture-of-experts-modellen te trainen met aanzienlijk lagere rekenkosten.

  • Herontworpen trainingsframework behoudt expertparameters direct op gpu's
  • Biedt tot 2,7x betere doorvoerprestaties vergeleken met conventionele FSDP
  • Ontworpen om efficiënte modeltraining op een schaal van biljoenen parameters te ondersteunen
Sovereign AI Generatieve AI Machine Learning
Al het AI-nieuws

Meer AI-nieuws

Modellen

Moonshot AI introduceert Kimi K3.1 Pro en snelle variant voor commerciële evaluatie

Moonshot AI heeft officieel zijn Kimi K3.1 Pro-model gelanceerd, samen met een speciale hogesnelheidsversie die is ontworpen voor snellere verwerking. Organisaties die de release evalueren, onderzoeken de operationele kosten en het gegevensverwerkingsbeleid van de leverancier nauwkeurig voordat ze overgaan tot implementatie in productie.

Modellen

Kimi K3.1 Pro behaalt de vijfde plaats op de SevenLab AI-ranglijst

Kimi K3.1 Pro van ontwikkelaar Kimi is officieel binnengekomen in de top tien van de SevenLab AI-ranglijst en bezet de vijfde plek algemeen. De benchmark volgt toonaangevende foundation models met behulp van een gespecialiseerde, voor waarde gecorrigeerde methodologie op basis van evaluatiedata van Artificial Analysis.

Modellen

Selectie van enterprise-hardware voor lokale LLM's geeft prioriteit aan geheugencapaciteit en bandbreedte

Enterpriseteams die hardware evalueren voor de lokale uitvoering van taalmodellen moeten zich richten op geheugencapaciteit en bandbreedte in plaats van pure rekenkracht. Een uniforme geheugenarchitectuur stelt ontwikkelworkstations in staat om modellen met grotere parameters direct in het geheugen te laden. Planningsleiders beoordelen deze specificaties om kosteneffectieve inferentie op het apparaat zelf te waarborgen.

Ready to build something extraordinary?

15 minutes. No pitch deck. Just a conversation about what AI can do for your team.

Talk directly with our AI specialists

15 min, vrijblijvend
Geen verkooppraatje
Prototype in 7 dagen