+31 20 705 1010
EnglishNederlandsFrançaisDeutschEspañol
Modelle

Lumia Lab skaliert Latent-Space-Modell auf 8,9 Milliarden Parameter

LUMIA Lab hat den technischen Bericht für NCP-ArchPreview veröffentlicht, ein Modell mit 8,9 Milliarden Parametern, das auf 5,73 Billionen Token trainiert wurde. Das Modell nutzt Next Concept Prediction zur gemeinsamen Vorhersage von Token und latenten Repräsentationen und erreicht die gleiche Leistung wie OLMo-3-7B bei deutlich geringerem Datenbedarf.

Warum das wichtig ist

Diese Forschung zeigt, dass die Modellierung im latenten Raum die Trainingseffizienz für große Modelle erheblich verbessern kann. Für Unternehmen deutet dies auf einen Weg zu Hochleistungssystemen mit geringerem Rechenaufwand und kleineren Datensatzanforderungen hin.

Kernpunkte

  • Skaliert Next Concept Prediction unter Verwendung des Dolma-3-Datensatzes auf 8,9 Milliarden Parameter
  • Erreicht die Leistung von OLMo-3-7B mit nur 51 Prozent der Trainings-Token
  • Integriert die Vorhersage von Token und latenten Repräsentationen für ein verbessertes semantisches Verständnis

Passende Lösungen

Generative KI Machine Learning
Alle KI-Nachrichten

Mehr KI-Nachrichten

Tools

Shanghai AI Lab stellt RSI-Anything-Framework zur Verbesserung von Code-Reparatur und Planung vor

Forschende des Shanghai AI Lab, der CUHK, der NTU und aus Oxford haben mit RSI-Anything ein Framework vorgestellt, das auf JEPA-Anything aufbaut. Das System nutzt prädiktive Weltmodelle, um Umgebungen zu simulieren und die Entscheidungsfindung autonomer Agenten zu verbessern. Der Ansatz steigert die Genauigkeit von Code-Reparatur-Agenten auf 31,2 Prozent und den Erfolg bei Laborplanungen auf 46 Prozent.

Tools

Absicherung autonomer KI-Agenten beim Übergang vom Antworten zum Handeln

Da künstliche Intelligenz über Protokolle wie das Model Context Protocol von dialogbasierten Antworten zu eigenständigen Handlungen übergeht, führen Systeme zunehmend operative Aufgaben über externe Werkzeuge hinweg aus. Dieser Wandel bringt spezifische Sicherheitsrisiken für autonome Agenten mit sich, die mit Softwareumgebungen in Unternehmen interagieren. Entwicklungsteams müssen sich nun mit neu entstehenden Angriffsflächen auseinandersetzen, da Modelle die Berechtigung erhalten, Systeme direkt zu steuern.

Tools

Spotpreise für KI-Rechenleistung in den USA steigen auf das Doppelte langfristiger Leasingverträge

Die kurzfristigen Spot-Mietpreise für KI-Rechenleistung in den USA sind auf das Doppelte des Preises langfristiger Verträge gestiegen. Aktuelle Branchendaten zeigen, dass die Spot-Mietpreise zwischen vierzig und fünfzig Milliarden Dollar pro Gigawatt und Jahr erreichen. Diese Zahlen entsprechen dem Vierfachen der Mindestrenditeschwelle für Investitionen in Rechenleistung.

Ready to build something
extraordinary?

15 minutes. No pitch deck. Just a conversation about what AI can do for your team.

Talk directly with our AI specialists

15 Min, unverbindlich
Kein Verkaufsdruck
Prototyp in 7 Tagen