Anthropic restreint l'accès à Claude en raison de risques liés aux armes biologiques et à la surveillance

Anthropic aurait mis fin à l'accès à son assistant Claude pour certains utilisateurs identifiés comme menant des recherches sensibles. L'entreprise basée aux États-Unis a signalé des activités qui pourraient potentiellement contribuer au développement d'armes biologiques ou de programmes de surveillance non autorisés, renforçant ainsi son engagement envers les protocoles de sécurité.

Pour les équipes en entreprise, cela souligne l'importance cruciale de garde-fous de sécurité robustes et d'une surveillance proactive au sein des environnements de production. Cela met en évidence les risques potentiels de responsabilité et de réputation associés aux capacités à double usage des grands modèles de langage lorsqu'ils sont déployés à grande échelle.

  • Anthropic a identifié et bloqué des activités de recherche jugées comme posant des risques importants pour la sécurité mondiale.
  • Les restrictions visaient spécifiquement les contributions potentielles au développement d'armes biologiques et aux menaces chimiques.
  • Les cas d'utilisation liés à la surveillance ont également été signalés comme des violations des politiques d'utilisation acceptable de l'entreprise.
  • Cette décision démontre la pression croissante exercée sur les fournisseurs d'IA pour surveiller la manière dont leurs modèles sont utilisés dans la pratique.
IA générative IA souveraine
Toutes les actualités IA

Plus d'actualités IA

Outils

Shanghai AI Lab dévoile le framework RSI-Anything pour améliorer la réparation de code et la planification

Des chercheurs de Shanghai AI Lab, de la CUHK, de la NTU et d'Oxford ont présenté RSI-Anything, un framework conçu sur JEPA-Anything. Le système utilise des modèles du monde prédictifs pour simuler des environnements et améliorer la prise de décision des agents autonomes. Cette approche porte la précision des agents de réparation de code à 31,2 pour cent et le succès de la planification de laboratoire à 46 pour cent.

Outils

Sécuriser les agents IA autonomes alors que l'intégration passe de la réponse à l'action

Alors que l'intelligence artificielle passe de la simple réponse conversationnelle à l'action autonome via des protocoles comme le Model Context Protocol, les systèmes exécutent de plus en plus de tâches opérationnelles à travers des outils externes. Cette transition introduit des risques de sécurité spécifiques pour les agents autonomes interagissant avec les environnements logiciels d'entreprise. Les équipes d'ingénierie doivent désormais appréhender de nouvelles surfaces d'attaque à mesure que les modèles obtiennent l'autorisation de manipuler directement les systèmes.

Outils

La focalisation de l'IA vocale sur la seule vitesse passe à côté de l'essentiel, avertit un developer advocate

Jesse Hall, developer advocate chez le fournisseur d'infrastructure en temps réel LiveKit, soutient que le secteur de l'IA vocale donne la priorité aux mauvais indicateurs. Il affirme qu'une attention excessive portée à la vitesse de réponse brute néglige les exigences plus larges d'expériences conversationnelles naturelles et fonctionnelles.

Ready to build something
extraordinary?

15 minutes. No pitch deck. Just a conversation about what AI can do for your team.

Talk directly with our AI specialists

15 min, sans engagement
Aucune pression commerciale
Prototype en 7 jours