Une étude du Tow Center for Digital Journalism de Columbia montre que ChatGPT attribue souvent mal les citations dans les réponses de recherche, ce qui pose des problèmes de fiabilité. Les chercheurs ont testé 200 citations et ChatGPT a donné des réponses incorrectes 153 fois, seulement correctes 7 fois. OpenAI a commenté l'étude en déclarant qu'elle travaille à améliorer la précision de l'attribution avec des outils et des collaborations avec les éditeurs.Fin octobre 2024, OpenAI a officiellement lancé une fonctionnalité de recherche intégrée à ChatGPT, qui positionne l'entreprise comme un concurrent direct de Google. Cette nouvelle fonctionnalité, baptisée ChatGPT Search, permet à l'IA de fournir des réponses rapides et actualisées en exploitant des sources web en temps réel. OpenAI espère que cette nouvelle fonctionnalité rationalisera la recherche sur le web en éliminant le besoin de recherches multiples et d'exploration de liens que les moteurs de recherche traditionnels requièrent parfois.
Mais quelle est la fiabilité des réponses de ChatGPT Search ? Une nouvelle étude a été publiée par le Tow Center for Digital Journalism de Columbia, intitulée "How ChatGPT Search (Mis)represents Publisher Content" ou "Comment ChatGPT Search représente (mal) le contenu des éditeurs". L'étude a consisté à sélectionner au hasard vingt éditeurs, représentant un mélange de ceux qui ont des accords avec OpenAI, de ceux qui ne sont pas affiliés et de ceux qui sont impliqués dans des procès contre l'entreprise.
L'outil d'OpenAI a ensuite été chargé d'identifier la source des citations en bloc de 10 articles différents de chaque publication. Les chercheurs précisent qu'ils ont "choisi des citations qui, si elles étaient collées dans Google ou Bing, renverraient le même article parmi les trois premiers résultats". L'équipe a évalué si l'outil de recherche identifiait correctement l'article à l'origine de chaque citation lorsqu'il renvoyait une réponse.
L'équipe affirme que les résultats obtenus ne sont pas prometteurs pour les éditeurs de presse. "Nos premières expériences avec l'outil ont révélé de nombreux cas où le contenu des éditeurs a été cité de manière inexacte, ce qui soulève des inquiétudes quant à la fiabilité des fonctions d'attribution de la source de l'outil. Au total, nous avons extrait deux cents citations de 20 publications et demandé à ChatGPT d'identifier les sources de chaque citation."
Les chercheurs ajoutent : "Nous avons observé un spectre de précision dans les réponses : certaines réponses étaient entièrement correctes (c'est-à-dire qu'elles renvoyaient avec précision l'éditeur, la date et l'URL du bloc de citation que nous partagions), beaucoup étaient entièrement fausses, et d'autres se situaient entre les deux."
Bien que l'équipe ait prévu que ChatGPT puisse avoir du mal à répondre correctement à certaines requêtes, elle affirme qu'il a rarement donné des indications sur son incapacité à produire une réponse. "Désireux de plaire, le chatbot aurait plus tôt fait d'inventer une réponse de toutes pièces que d'admettre qu'il n'avait pas accès à une réponse. Au total, ChatGPT a renvoyé des réponses partiellement ou totalement incorrectes à 153 reprises, bien qu'il n'ait reconnu que sept fois son incapacité à répondre avec précision à une requête."
L'étude révèle que ce n'est que dans ces sept cas que le chatbot a utilisé des mots et expressions qualificatifs tels que "semble", "c'est possible" ou "pourrait", ou des déclarations telles que "je n'ai pas pu localiser l'article exact". En approfondissant ses recherches, l'équipe a constaté que "lorsque nous posions plusieurs fois la même question à ChatGPT, il renvoyait généralement une réponse différente à chaque fois".
Le Tow Center for Digital Journalism de Columbia a contacté OpenAI pour obtenir un commentaire sur les résultats de l'étude et un porte-parole a répondu : "Les erreurs d'attribution sont difficiles à traiter sans les données et la méthodologie que le Tow Center n'a pas divulguées, et l'étude représente un test atypique de notre produit."
Concernant les relations d'OpenAI avec les éditeurs de site web, le porte-parole déclare : "Nous soutenons les éditeurs et les créateurs en aidant les 250 millions d'utilisateurs hebdomadaires de ChatGPT à découvrir des contenus de qualité grâce à des résumés, des citations, des liens clairs et des attributions. Nous avons collaboré avec nos partenaires pour améliorer la précision des citations en ligne et respecter les préférences des éditeurs, y compris la façon dont ils apparaissent dans la recherche en gérant OAI-SearchBot dans leurs robots.txt. Nous continuerons à améliorer les résultats de recherche."
Voici les conclusions partagées par les chercheurs :
Comme d'autres plateformes l'ont fait par le passé, OpenAI introduit un produit qui aura probablement des conséquences significatives sur la façon dont les audiences s'engagent avec les contenus d'information, mais les éditeurs n'ont que peu d'influence en la matière.
Lorsqu'il a été contacté pour commenter nos résultats, un porte-parole d'OpenAI a déclaré : "Il est difficile d'aborder la question des erreurs d'attribution sans les données et la méthodologie que le Tow Center n'a pas divulguées, et l'étude représente un test atypique de notre produit. Nous soutenons les éditeurs et les créateurs en aidant les 250 millions d'utilisateurs hebdomadaires de ChatGPT à découvrir des contenus de qualité grâce à des résumés, des citations, des liens clairs et des attributions. Nous avons collaboré avec nos partenaires pour améliorer la précision des citations en ligne et respecter les préférences des éditeurs, notamment en définissant la manière dont ils apparaissent dans les recherches en gérant OAI-SearchBot dans leur fichier robots.txt. Nous continuerons à améliorer les résultats de recherche." Le Tow Center a décrit sa méthodologie et ses observations à OpenAI, mais n'a pas partagé les données de ses conclusions avant leur publication.
Des mesures telles que l'octroi d'un siège à certains éditeurs, le respect de leurs préférences déclarées dans le fichier robots.txt et la création de mécanismes permettant de citer le contenu des éditeurs constituent un progrès dans la bonne direction, mais elles représentent la base de ce qu'une entreprise responsable devrait intégrer dans un produit de recherche. Par exemple, la documentation de Google décrit le respect des instructions d'un fichier robots.txt comme quelque chose que tout "robot d'exploration respectable" ferait, en avertissant les utilisateurs de se méfier des robots malhonnêtes qui pourraient ne pas respecter leurs préférences. Si certains éditeurs, comme l'Associated Press et Condé Nast, bénéficient d'accords de licence avec OpenAI, toutes les éditeurs de presse n'ont pas leur place à la table des négociations.
Les défauts et les incohérences dans la manière dont le contenu des éditeurs est actuellement accessible et représenté dans ChatGPT Search semblent aller à l'encontre des objectifs déclarés d'OpenAI et affectent les salles de presse indépendamment de la manière dont elles ont choisi de s'engager avec OpenAI et si elles ont choisi de le faire. Alors que l'entreprise cherche à présenter son produit de recherche générative comme une alternative aux opérateurs historiques tels que Google et Bing, les éditeurs sont à nouveau pris entre le marteau et l'enclume - ils n'ont actuellement aucun moyen de s'assurer que leur contenu sera présenté avec précision ou même qu'il apparaîtra dans la recherche de ChatGPT.
Même ceux qui autorisent les robots d'indexation ou qui optent pour des partenariats avec OpenAI doivent faire face à la représentation et à l'attribution erronées de leur contenu dans les résultats de recherche de ChatGPT. « Je ne pense pas que les éditeurs aient beaucoup d'influence à ce stade », a déclaré M. Honan. « Tant qu'il n'y aura pas de résultats dans les affaires [judiciaires], les éditeurs n'auront pas beaucoup d'influence. Et ces résultats pourraient être néfastes pour les éditeurs, par exemple si une décision établit que l'inclusion de ce contenu dans un modèle constitue une utilisation équitable.
Si OpenAI veut vraiment collaborer de bonne foi avec les éditeurs de presse, elle ferait bien de s'assurer que son produit de recherche représente et cite leur contenu de manière précise et cohérente et indique clairement quand la réponse à une requête de l'utilisateur n'est pas accessible.
Lorsqu'il a été contacté pour commenter nos résultats, un porte-parole d'OpenAI a déclaré : "Il est difficile d'aborder la question des erreurs d'attribution sans les données et la méthodologie que le Tow Center n'a pas divulguées, et l'étude représente un test atypique de notre produit. Nous soutenons les éditeurs et les créateurs en aidant les 250 millions d'utilisateurs hebdomadaires de ChatGPT à découvrir des contenus de qualité grâce à des résumés, des citations, des liens clairs et des attributions. Nous avons collaboré avec nos partenaires pour améliorer la précision des citations en ligne et respecter les préférences des éditeurs, notamment en définissant la manière dont ils apparaissent dans les recherches en gérant OAI-SearchBot dans leur fichier robots.txt. Nous continuerons à améliorer les résultats de recherche." Le Tow Center a décrit sa méthodologie et ses observations à OpenAI, mais n'a pas partagé les données de ses conclusions avant leur publication.
Des mesures telles que l'octroi d'un siège à certains éditeurs, le respect de leurs préférences déclarées dans le fichier robots.txt et la création de mécanismes permettant de citer le contenu des éditeurs constituent un progrès dans la bonne direction, mais elles représentent la base de ce qu'une entreprise responsable devrait intégrer dans un produit de recherche. Par exemple, la documentation de Google décrit le respect des instructions d'un fichier robots.txt comme quelque chose que tout "robot d'exploration respectable" ferait, en avertissant les utilisateurs de se méfier des robots malhonnêtes qui pourraient ne pas respecter leurs préférences. Si certains éditeurs, comme l'Associated Press et Condé Nast, bénéficient d'accords de licence avec OpenAI, toutes les éditeurs de presse n'ont pas leur place à la table des négociations.
Les défauts et les incohérences dans la manière dont le contenu des éditeurs est actuellement accessible et représenté dans ChatGPT Search semblent aller à l'encontre des objectifs déclarés d'OpenAI et affectent les salles de presse indépendamment de la manière dont elles ont choisi de s'engager avec OpenAI et si elles ont choisi de le faire. Alors que l'entreprise cherche à présenter son produit de recherche générative comme une alternative aux opérateurs historiques tels que Google et Bing, les éditeurs sont à nouveau pris entre le marteau et l'enclume - ils n'ont actuellement aucun moyen de s'assurer que leur contenu sera présenté avec précision ou même qu'il apparaîtra dans la recherche de ChatGPT.
Même ceux qui autorisent les robots d'indexation ou qui optent pour des partenariats avec OpenAI doivent faire face à la représentation et à l'attribution erronées de leur contenu dans les résultats de recherche de ChatGPT. « Je ne pense pas que les éditeurs aient beaucoup d'influence à ce stade », a déclaré M. Honan. « Tant qu'il n'y aura pas de résultats dans les affaires [judiciaires], les éditeurs n'auront pas beaucoup d'influence. Et ces résultats pourraient être néfastes pour les éditeurs, par exemple si une décision établit que l'inclusion de ce contenu dans un modèle constitue une utilisation équitable.
Si OpenAI veut vraiment collaborer de bonne foi avec les éditeurs de presse, elle ferait bien de s'assurer que son produit de recherche représente et cite leur contenu de manière précise et cohérente et indique clairement quand la réponse à une requête de l'utilisateur n'est pas accessible.
Et vous ?
Pensez-vous que cette étude est crédible ou pertinente ? Quel est votre avis sur le sujet ?Voir aussi :
OpenAI, créateur de ChatGPT, envisage de développer un navigateur web qui s'associerait à son chatbot et a discuté ou conclu des accords pour développer des fonctions de recherche en ligne La presse écrite veut être payée pour les articles utilisés pour alimenter l'outil d'IA ChatGPT, elle exige une part du marché qui devrait atteindre 1300 million de dollars d'ici à 2032 Perplexity a révélé la dernière fonctionnalité de son moteur de recherche IA : les utilisateurs pourront bientôt demander à l'IA de faire leurs achats à leur place