OpenAI pauzeert training van frontier reinforcement learning vanwege veiligheidszorgen

OpenAI heeft naar verluidt de training van zijn nieuwste frontier reinforcement learning-modellen stopgezet om zich te concentreren op alignment en veiligheidsprotocollen. Het besluit volgt op interne beoordelingen over de snelheid van de voortgang en de potentiële risico's die gepaard gaan met geavanceerde redeneercapaciteiten in systemen van de volgende generatie.

Voor bedrijfsteams benadrukt deze pauze het cruciale belang van veiligheidswaarborgen in productieomgevingen met hoge belangen. Het signaleert een noodzakelijke verschuiving van pure prestaties naar meer gecontroleerd en voorspelbaar modelgedrag dat voldoet aan de normen voor naleving door bedrijven.

  • OpenAI heeft de training van frontier RL opgeschort om prioriteit te geven aan onderzoek naar veiligheid en alignment
  • Snelle vooruitgang in redeneermodellen leidde tot interne beoordelingen van potentiële risico's
  • De stap weerspiegelt de groeiende druk in de sector om innovatie in evenwicht te brengen met robuuste strategieën voor risicobeperking
Generatieve AI Machine Learning
Al het AI-nieuws

Meer AI-nieuws

Onderzoek

Anthropic-topman pleit voor een trager tempo in de ontwikkeling van kunstmatige intelligentie

Dario Amodei, de algemeen directeur van Anthropic, heeft publiekelijk gepleit voor een verlaging van de snelheid van de ontwikkeling van kunstmatige intelligentie om veiligheid en beveiliging prioriteit te geven. Zijn zorgen over het potentieel voor grootschalige risico's worden gedeeld door andere prominente figuren uit de sector, waaronder Sam Altman en Elon Musk.

Modellen

Anthropic beperkt toegang tot Claude vanwege risico's op biologische wapens en surveillance

Anthropic heeft naar verluidt de toegang tot zijn Claude-assistent beëindigd voor specifieke gebruikers die zijn geïdentificeerd als uitvoerders van gevoelig onderzoek. Het in de VS gevestigde bedrijf signaleerde activiteiten die mogelijk zouden kunnen bijdragen aan de ontwikkeling van biologische wapens of ongeoorloofde surveillanceprogramma's, waarmee het zijn toewijding aan veiligheidsprotocollen versterkt.

Modellen

Shanghai AI Lab brengt ArchPreview model uit dat gebruikmaakt van next concept prediction

Shanghai AI Lab heeft ArchPreview geïntroduceerd, een open model met 8,9 miljard parameters dat gebruikmaakt van een nieuwe trainingsmethode genaamd Next Concept Prediction. Deze aanpak stelt het model in staat om abstracte concepten te leren in plaats van zich uitsluitend te richten op individuele woorden. ArchPreview behaalt vergelijkbare prestaties als het OLMo-3-7B model terwijl het slechts de helft van de trainingstokens nodig heeft.

Ready to build something
extraordinary?

15 minutes. No pitch deck. Just a conversation about what AI can do for your team.

Talk directly with our AI specialists

15 min, vrijblijvend
Geen verkooppraatje
Prototype in 7 dagen