ChatGPT Search peut être amené à fournir de fausses informations, car ChatGPT peut être influencé par le contenu caché des pages web

Une tactique connue sous le nom de "prompt injection"

ChatGPT Search peut être amené à fournir de fausses informations, car ChatGPT peut être influencé par le contenu caché des pages web, une tactique connue sous le nom de "prompt injection"

Le nouvel outil de recherche en ligne "ChatGPT Search" d'OpenAI peut être vulnérable à la manipulation, comme le révèle une étude récente. ChatGPT peut être influencé par le contenu caché des pages web, une tactique connue sous le nom de "prompt injection". Ce contenu caché peut inclure des instructions ou de grandes quantités de texte destinées à modifier la réponse de ChatGPT Search.

Fin octobre 2024, OpenAI a officiellement lancé la fonctionnalité de recherche en ligne intégrée à ChatGPT. Cette nouvelle fonctionnalité, baptisée ChatGPT Search, permet à l'IA de fournir des réponses rapides et actualisées en exploitant des sources web en temps réel. Pour les observateurs, cette fonctionnalité représente une avancée qui positionne l'entreprise comme un concurrent direct de Google.

Mais une étude du Tow Center for Digital Journalism de Columbia a révélé que ChatGPT Search n'est pas très fiable. Sur 200 requêtes d'identification de sources, ChatGPT a donné des réponses incorrectes 153 fois et seulement 7 citations de source correctes. Les chercheurs ont notamment déclaré : "Nos premières expériences avec l'outil ont révélé de nombreux cas où le contenu des éditeurs a été cité de manière inexacte, ce qui soulève des inquiétudes quant à la fiabilité des fonctions d'attribution de la source de l'outil."

En réponse à cette étude, OpenAI a confirmé "continuer à améliorer les résultats de recherche". Mais une nouvelle recherche montre que ChatGPT Search d'OpenAI pourrait être vulnérable à la manipulation et être amené à fournir de fausses informations. L'étude menée par The Guardian a révélé que ChatGPT Search peut être influencé par le contenu caché des pages web, une tactique connue sous le nom de "prompt injection". Ce contenu caché peut inclure des instructions ou de grandes quantités de texte destinées à modifier la réponse de l'IA.

Lors d'un test, une fausse page produit a été créée pour un appareil photo. Lorsqu'un texte caché demandait à ChatGPT de donner un avis favorable, l'IA renvoyait systématiquement des commentaires positifs, même si la page contenait des avis négatifs.


Jacob Larsen, chercheur en cybersécurité chez CyberCX, a averti que si ce problème n'était pas résolu, l'outil de recherche pourrait conduire à la création de sites web spécialement conçus pour tromper les utilisateurs. Il a également noté que l'équipe de sécurité d'OpenAI travaille probablement à la résolution de ces vulnérabilités, car la fonction de recherche n'en est qu'à ses débuts et n'est accessible qu'aux utilisateurs premium.

Il a également souligné les risques plus généraux associés à la combinaison d'outils de recherche avec de grands modèles de langage (LLM) comme ChatGPT. Les utilisateurs doivent faire preuve de prudence lorsqu'ils se fient à des réponses générées par l'IA. Un problème similaire a récemment été mis en évidence lorsque ChatGPT a fourni un code malveillant à un amateur de cryptomonnaies, entraînant une perte de 2 500 dollars.

Karsten Nohl, scientifique en chef de la société de cybersécurité SR Labs, conseille de considérer les outils d'IA comme des "copilotes" plutôt que comme des sources entièrement fiables. Il explique que les LLM, bien que puissants, n'ont pas le jugement nécessaire pour évaluer la fiabilité des informations. OpenAI fournit une clause de non-responsabilité au bas de chaque page de ChatGPT, avertissant les utilisateurs que l'IA peut faire des erreurs et leur conseillant de vérifier les informations importantes.

Cette étude de The Guardian confirme les commentaires des chercheurs du Tow Center. Ils ont notamment averti : "Si OpenAI veut vraiment collaborer de bonne foi avec les éditeurs de presse, elle ferait bien de s'assurer que son produit de recherche représente et cite leur contenu de manière précise et cohérente et indique clairement quand la réponse à une requête de l'utilisateur n'est pas accessible."

Pourtant, OpenAI insiste sur le fait que l'utilisation exclusive de contenus du domaine public serait insuffisante pour entraîner le type de grands modèles de langage (LLM) qu'elle construit, suggérant que l'entreprise doit donc être autorisée à utiliser du matériel protégé par le droit d'auteur. Mais cette position suscite la controverse car elle suppose qu'OpenAI peut se soustraire aux accords avec les créateurs de contenu pour les services de son IA ChatGPT.

Source : The Guardian

Et vous ?

Pensez-vous que cette étude est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

ChatGPT Search, le moteur de recherche d'OpenAI propulsé par l'IA, est désormais disponible pour tous les utilisateurs, bien qu'une récente étude ait montré qu'il n'est pas très fiable et manque de précision

Google est-il encore le meilleur moteur de recherche ? L'explosion des moteurs de recherche basés sur l'IA menace la domination de Google, dont la qualité de la recherche est de plus en plus critiquée

Un chercheur en sécurité démontre qu'il est possible d'exploiter la fonction Mémoire de ChatGPT pour implanter de faux souvenirs dans l'outil d'OpenAI et voler les données des utilisateurs à perpétuité