+31 20 705 1010
EnglishNederlandsFrançaisDeutschEspañol
Modelle

Lumia Lab skaliert Latent-Space-Modell auf 8,9 Milliarden Parameter

LUMIA Lab hat den technischen Bericht für NCP-ArchPreview veröffentlicht, ein Modell mit 8,9 Milliarden Parametern, das auf 5,73 Billionen Token trainiert wurde. Das Modell nutzt Next Concept Prediction zur gemeinsamen Vorhersage von Token und latenten Repräsentationen und erreicht die gleiche Leistung wie OLMo-3-7B bei deutlich geringerem Datenbedarf.

Warum das wichtig ist

Diese Forschung zeigt, dass die Modellierung im latenten Raum die Trainingseffizienz für große Modelle erheblich verbessern kann. Für Unternehmen deutet dies auf einen Weg zu Hochleistungssystemen mit geringerem Rechenaufwand und kleineren Datensatzanforderungen hin.

Kernpunkte

  • Skaliert Next Concept Prediction unter Verwendung des Dolma-3-Datensatzes auf 8,9 Milliarden Parameter
  • Erreicht die Leistung von OLMo-3-7B mit nur 51 Prozent der Trainings-Token
  • Integriert die Vorhersage von Token und latenten Repräsentationen für ein verbessertes semantisches Verständnis

Passende Lösungen

Generative KI Machine Learning
Alle KI-Nachrichten

Mehr KI-Nachrichten

Modelle

World Labs bringt Atlas auf den Markt, um KI von Sprache zu räumlichen Weltmodellen zu führen

World Labs hat Atlas eingeführt, ein Modell für räumliche Intelligenz, das über die textbasierte Verarbeitung hinausgeht. Im Gegensatz zu herkömmlichen großen Sprachmodellen konzentriert sich dieses System auf die Erstellung von Weltmodellen, die 3D-Räume verstehen und mit ihnen interagieren. Die Technologie vermittelt der KI ein grundlegendes Verständnis von Tiefe, Physik und räumlichen Beziehungen.

Modelle

Tech-Koalition fordert US-Regierung auf, Open-Weight-KI-Modelle zu schützen

Eine Koalition führender Technologieunternehmen hat die US-Regierung aufgefordert, die Entwicklung von Open-Weight-KI-Modellen zu schützen. Die Gruppe argumentiert, dass herunterladbare Gewichte entscheidend für Transparenz und Wettbewerb sind, um sicherzustellen, dass Innovationen nicht auf wenige proprietäre Anbieter beschränkt bleiben.

Modelle

Oracle Cloud-Umsatz steigt um 121 Prozent bei wachsender Nachfrage nach KI-Infrastruktur

Oracle meldete für das erste Quartal einen Umsatz von 19,35 Milliarden Dollar, getrieben durch einen Anstieg der Nachfrage nach KI-Cloud-Infrastruktur um 121 Prozent. Das Unternehmen stellt 28,5 Milliarden Dollar für Investitionen bereit, um seine Rechenzentrumskapazitäten zu erweitern und die Skalierungsanforderungen globaler Unternehmenskunden zu unterstützen.

Ready to build something
extraordinary?

15 minutes. No pitch deck. Just a conversation about what AI can do for your team.

Talk directly with our AI specialists

15 Min, unverbindlich
Kein Verkaufsdruck
Prototyp in 7 Tagen