Introducción a la evaluación de la recuperación de documentos.

Un sistema de Recuperación y organización de la Información está realizando su función con mayor eficacia cuanto más relevantes sean los documentos recuperados. La relevancia es un concepto subjetivo y no cuantitativo. Tanto en la organización de los sistemas de RI en general, como en la evaluación de la recuperación de documentos, se dirá que un documento es relevante cuando el usuario humano juzgue que satisface total o parcialmente la necesidad de información expresada en la consulta.

Sólo en cuanto a la evaluación de la recuperación de documentos, existen dos métodos para calcular la relevancia, uno manual, que consiste en la exploración de los documentos uno a uno para saber si se adecúan o no como respuesta a una pregunta, y otro conocido como polling , que consiste en analizar de manera manual un número determinado de documentos recuperados con distintos sistemas, este número suele ser elevado (varios centenares) y se corresponde con los primeros documentos recuperados con cada sistema.

Definido el concepto de relevancia y relacionando éste con si un documento es recuperado o no, podemos establecer una serie de medidas que nos servirán para la evaluación de la recuperación de documentos en sistemas de RI . Estas medidas son precisión y recall y son técnicas muy usadas en los foros de evaluación como TREC o CLEF creados para tal efecto.

Paginas del WIKI