ACCUEIL

Consignes aux
auteurs et coordonnateurs
Nos règles d'éthique
Auteurs : soumettez
votre article en ligne
Autres revues >>

Technique et Science Informatiques

0752-4072
Revue des sciences et technologies de l'information
 

 ARTICLE VOL 29/3 - 2010  - pp.289-308  - doi:10.3166/tsi.29.289-308
TITRE
Analyse des critères d'évaluation des systèmes de recherche d'information

TITLE
Analysis of evaluation measures of information retrieval systems

RÉSUMÉ
Le modèle d'évaluation utilisé en recherche d'information implique une collection de documents sur laquelle les recherches sont effectuées, un ensemble de requêtes de test et la liste des documents de la collection pertinents pour chacune des requêtes. Ce modèle inclut également des mesures d'évaluation permettant de contrôler l'impact, sur la performance de la recherche, de la modification de certains paramètres d'un système. Trec-eval permet de calculer un grand nombre de mesures, certaines étant plus couramment utilisées comme la précision moyenne ou les courbes de rappel-précision. Le choix de l'ensemble minimal des mesures de performance nécessaires pour comparer deux systèmes a motivé l'étude qui est présentée dans cet article. Nous étudions la corrélation de 27 mesures parmi les plus utilisées dans la littérature. Nous montrons que 7 mesures sont suffisantes pour représenter les 27 mesures étudiées : ircl_prn.80, MAP, ircl_pr.20, recip_rank, P15, précision exacte et rappel exact.


ABSTRACT
Evaluating information retrieval implies a document collection on which search is carried out, a set of test queries and the lists of the relevant documents for each query. This evaluation framework also includes evaluation measures making it possible to control the impact of search parameters on the performance. Trec-eval calculates a large number of measures, some being used more widely, like the mean average precision or recall-precision curves. The aim of this paper is to choose the minimal set of measures necessary to compare different information retrieval systems. In this paper, we present the study we carried out on relationships between 27 measures among the most used in the literature. We show that a set of 7 measures is enough to represent 27 studied measures: ircl_prn.80, MAP, ircl_pr.20, recip_rank, P15, exact_precision, and exact_recall.


AUTEUR(S)
Alain BACCINI, Sébastien DÉJEAN, d. KOMPAORÉ, Josiane MOTHE

Reçu le 3 juin 2008.   

MOTS-CLÉS
recherche d'information, mesures de performance, évaluation, analyse statistique de données.

KEYWORDS
information retrieval, evaluation measures, evaluation, statistical data analysis.

LANGUE DE L'ARTICLE
Français

 PRIX
• Abonné (hors accès direct) : 12.5 €
• Non abonné : 25.0 €
|
|
--> Tous les articles sont dans un format PDF protégé par tatouage 
   
ACCÉDER A L'ARTICLE COMPLET  (548 Ko)



Mot de passe oublié ?

ABONNEZ-VOUS !

CONTACTS
Comité de
rédaction
Conditions
générales de vente

 English version >> 
Lavoisier