Impression subjective

L'impression subjective est le score évalué par des humains, utilisé dans l'étude GEO de Princeton, pour mesurer à quel point une source paraît visible et proéminente au sein d'une réponse générée par IA, recueilli en faisant lire la réponse à des évaluateurs humains et juger directement la présence d'une source, en complément de la métrique automatisée PAWC.

Pourquoi c'est important

L'étude rapporte l'impression subjective aux côtés du PAWC précisément parce qu'une source peut bien performer sur une métrique mécanique de comptage de mots tout en ne paraissant pas proéminente pour un lecteur humain, ou l'inverse, et les deux métriques ensemble donnent une image plus complète que chacune prise séparément.

Termes associés

• Position-Adjusted Word Count (PAWC)

  Le Position-Adjusted Word Count, ou PAWC, est l'indicateur que l'étude GEO de Princeton et de l'IIT Delhi (arXiv 2311.09735) utilise pour noter la visibilité d'une source au sein d'une réponse générée par l'IA, en pondérant le nombre de mots de cette source qui apparaissent dans la réponse et leur position, les contenus apparaissant plus tôt étant pondérés plus fortement.

• GEO-bench

  GEO-bench est le benchmark construit par l'étude GEO de Princeton et de l'IIT Delhi pour tester et comparer des tactiques d'optimisation, composé de 10 000 requêtes réparties sur 8 domaines différents, utilisé comme jeu de données standardisé sur lequel chaque tactique de l'étude, de l'ajout de statistiques au bourrage de mots-clés, a été mesurée.