Instinct peut être utile précisément parce qu’il agit. C’est aussi la source principale du risque.
Un chatbot qui répond mal produit une mauvaise information. Un agent qui agit mal peut payer, annuler, réserver, envoyer ou modifier quelque chose avant que l’utilisateur ne s’en rende compte.
La sécurité d’Instinct doit donc être évaluée tâche par tâche.
Quels risques Instinct reconnaît-il lui-même ?
Les Conditions d’utilisation préviennent que :
- les résultats peuvent être inexacts ou incomplets ;
- certaines actions peuvent être difficiles ou impossibles à annuler ;
- l’utilisateur doit exercer un jugement approprié ;
- une revue humaine significative peut être nécessaire lorsqu’une dépendance aveugle serait dangereuse.
La Politique de confidentialité mentionne aussi des risques propres aux agents, comme :
- paiements non voulus ;
- communications incorrectes ;
- sorties erronées ;
- instructions trompeuses provenant de tiers.
Quelles erreurs ont été observées ?
Les tests indépendants donnent des exemples concrets.
Commande annulée à tort
WIRED a rapporté un cas dans lequel une commande DoorDash a été annulée malgré la condition formulée par l’utilisateur, entraînant une perte financière.
Paiement routier incorrect
Business Insider a signalé une erreur autour d’un paiement de zone routière à Oxford.
Données de planning supprimées
Un autre test Business Insider a décrit une réorganisation de Notion ayant effacé des informations personnelles de planning.
Prix et disponibilités incorrects
Des tests ont aussi rapporté des erreurs de prix d’hôtel ou des disponibilités obsolètes.
Ces cas montrent que le principal risque n’est pas seulement « halluciner une phrase », mais agir sur une compréhension erronée.
Instinct a-t-il des protections ?
Reuters a rapporté plusieurs mesures de sécurité en développement ou déploiement, notamment :
- environnements isolés ;
- identifiants à durée de vie courte ;
- mécanismes visant à détecter des inexactitudes.
WIRED a également rapporté un test dans lequel Instinct a correctement identifié une tentative de phishing.
Ces éléments montrent l’existence de défenses, mais aucune mesure ne prouve qu’une action ne peut jamais être mauvaise.
Quelles tâches sont les plus risquées ?
Le risque augmente avec l’impact.
Faible impact
- recherche publique ;
- comparaison d’options ;
- création d’une liste.
Impact moyen
- réservation modifiable ;
- e-mail non sensible ;
- ajout au calendrier.
Impact élevé
- paiement ;
- annulation ;
- message externe important ;
- compte financier ;
- décision médicale ou juridique ;
- suppression de données.
Commencez par des tâches à faible impact.
Permissions : le multiplicateur de risque
Un agent avec accès à un calendrier peut faire moins de dégâts qu’un agent qui possède :
- e-mail ;
- carte ;
- mots de passe ;
- localisation ;
- fichiers professionnels.
La meilleure mesure de sécurité n’est pas seulement « faire confiance au modèle », mais réduire les permissions à ce qui est nécessaire.
Voir Autorisations Instinct AI.
Comment tester Instinct plus prudemment ?
Une approche raisonnable :
- choisissez une tâche réversible ;
- utilisez un compte peu sensible ;
- limitez le budget ;
- demandez une confirmation avant dépense importante ;
- vérifiez l’action dans le service tiers ;
- élargissez les permissions progressivement.
Un historique de réussite sur des tâches simples est plus utile qu’une confiance abstraite.
Les appels et messages sont-ils risqués ?
Oui, parce qu’une communication externe peut engager votre réputation ou révéler des données.
Pour un appel à une entreprise ou un e-mail important, vérifiez :
- destinataire ;
- objectif ;
- informations partagées ;
- engagement pris ;
- résultat.
Instinct est-il « sûr » en France ?
Il n’existe pas un label officiel France qui permettrait de répondre oui ou non de manière générale.
La sécurité dépend de :
- permissions ;
- tâche ;
- service tiers ;
- données ;
- conséquences ;
- réglementation applicable.
Questions fréquentes
Instinct AI peut-il faire une action incorrecte ?
Oui. Les Conditions le reconnaissent et des tests indépendants l’ont observé.
Peut-il dépenser de l’argent ?
Oui, certaines tâches d’achat sont documentées.
Peut-il détecter du phishing ?
WIRED a rapporté un test dans lequel il a identifié une tentative de phishing.
Les protections garantissent-elles zéro erreur ?
Non.
Comment réduire le risque ?
Limitez permissions et budget, commencez par des tâches réversibles et vérifiez chaque résultat important.