Recuperación difusa

Las técnicas de recuperación difusa están basadas en el Modelo Booleano Extendido y en la teoría de Conjuntos Difusos.

Hay dos modelos clásicos de recuperación difusa: Mínimo y Máximo Mixto (MMM - Mixed Min and Max) y el modelo de Paice. Ambos modelos no proveen una vía para la evaluación ponderada de las consultas, lo cual si es considerado por el algoritmo norma-P.

Modelo Mixto Mínimo y Máximo (MMM)

En la teoría de conjuntos difusos, un elemento tiene un variado grado de pertenencia, digamos d_A, a un conjunto A dado en vez de la opción de pertenencia tradicional (es un elemento/ no es un elemento).
En el MMM^[1]​ cada término indexado tiene asociado un conjunto difuso. El peso de un documento con respecto a un término indexado A es medido por el grado de pertenencia del documento en el conjunto difuso asociado con A. El grado de pertenencia para la unión y la intersección está definido en la teoría de conjuntos difusos como sigue:

${\displaystyle d_{A\cap B}=min(d_{A},d_{B})}$

${\displaystyle d_{A\cup B}=max(d_{A},d_{B})}$

De acuerdo a esto, los documentos que deberían ser recuperados para una consulta de la forma A o B, deberían estar en el conjunto difuso asociado con la unión de los dos conjuntos A y B. Similarmente, los documentos que deberían ser recueprados para una consulta de la forma A y B, deben estar en el conjunto difuso asociado con la intersección de los dos conjuntos. Por ello, es posible definir la similitud de un documento para la consulta o como max(d_A, d_B) y la similitud de un documento con la consulta y como min(d_A, d_B).

El modelo MMM intenta suavizar los operadores Booleanos al considerar la similitud consulta-documento como una combinación lineal del mínimo y máximo de los pesos de los documentos.

Dado un documento D con los pesos de los términos indexados d_A1, d_A2, ..., d_An para los términos A₁, A₂, ..., A_n, y las consultas:

Q_o = (A₁ o A₂ o ... o A_n)
Q_y = (A₁ y A₂ y ... y A_n)

la similitud documento-consulta en el modelo MMM se calcula como sigue:

SlM(Q_o, D) = C_o1 * max(d_A1, d_A2, ..., d_An) + C_o2 * min(d_A1, d_A2, ..., d_An)
SlM(Q_y, D) = C_y1 * min(d_A1, d_A2, ..., d_An) + C_y2 * max(d_A1, d_A2 ..., d_An)

donde C_o1, C_o2 son coeficientes "suaves" para el operador o, y C_y1, C_y2 son coeficientes suaves para el operador y. Puesto que queremos dar más importancia al máximo de los pesos de los documentos mientras consideremos una consulta o y mayor importancia al mínimo cuando consideremos una consulta y, generalmente tendremos C_o1 > C_o2 y C_y1 > C_y2. Por simplicidad se asume generalmente C_o1 = 1 - C_o2 y C_y1 = 1 - C_y2.

Los experimentos de Lee y Fox^[2]​ indican que la mayor eficiencia usualmente ocurre con C_y1 en el rango [0.5, 0.8] y con C_o1 > 0.2. En general, el costo computacional de MMM es bajo, y la efectividad de recuperación es mucho mejor que con el Modelo Estándar Booleano.

El modelo de Paice

El modelo de Paice^[3]​ es una extensión general para el modelo MMM. En comparación con el modelo MMM que considera solo los pesos mínimo y máximo para los términos indexados, el modelo de Paice incorpora todos los pesos de los términos cuando calcula la similitud:

${\displaystyle S(D,Q)=\sum _{i=1}^{n}{\frac {r^{i-1}*w_{di}}{\sum _{j=1}^{n}r^{j-1}}}}$

donde r es un coeficiente constante y w_di es organizado en orden ascendente para consultas y, y en orden descendente para consultas o. Cuando n = 2 el modelo Paice muestra el mismo comportamiento que el modelo MMM.

Los experimentos de Lee y Fox^[2]​ han mostrado que estableciendo r en 1.0 para las consultas y, y en 0.7 para las consultas o proporcionan una buena efectividad en la recuperación. El costo computacional para este modelo es mayor que para el modelo MMM. Esto es porque el modelo MMM solo necesita la determinación del mínimo o máximo de un conjunto de pesos de términos cada vez que una cláusula y u o es considerada, lo cual se puede hacer en O(n). El modelo Paice requiere que los pesos de los términos sean ordenados en orden ascendente o descendente, dependiendo si es considerada una cláusula y o una cláusula o. Esto requiere como míninmo

un algoritmo de ordenación O(n log n). También es necesario

un buen trato en los cálculos de punto flotante.

Mejoramientos en el modelo Estándar Booleano

Lee y Fox^[2]​ compararon el modelo Estándar Booleano con los modelos MMM y Paice con tres colecciones de prueba: CISI, CACM, y INSPEC. Estos son los resultados reportados para el mejoramiento del promedio de la precisión media:

Estos son mejoras muy buenas sobre el modelo Estándar. MMM es muy cercano a los resultados de Paice y noma-P, lo cual indica que puede ser una técnica muy buena, y es la más eficiente de las tres.

Trabajo reciente

Recientemente Kang et al.^[4]​ ha inventado un sistema de recuperación difusa indexado por identificación de conceptos.

Si miramos en documentos sobre un aproximamiento puro de Tf-idf, incluso eliminando los stop words, habrán palabras más relevantes con el tópico del documento que otras y tendrán el mismo peso porque tienen la misma frecuencia de términos. Si tomamos en cuenta la intención del usuario sobre una consulta podemos mejorar el peso de los términos de un documento. Cada término puede identificarse como un concepto en una cierta cadena léxica que traduce la importancia de ese concepto para ese documento. Reportaron mejoras sobre Paice y norma-P sobre la precisión promedio y el recobrado de los 5 mejores documentos recuperados.

Zadrozny^[5]​ revisó el modelo de recuperación de información difusa. Adicionalmente extendió el modelo Booleano extendido difuso:

• asumiendo términos lingüísticos como pesos importantes de las palabras claves también en los documentos
• tomando en cuenta la concerniente incertidumbre en la representación de documentos y consultas
• interpretando los términos lingüísticos en la representación de los documentos y consultas así como su emparejamiento en los términos de la lógica difusa de Zadeh (cálculos de declaraciones lingüísticas)
• localizando algunos aspectos pragmáticos del modelo propuesto, notablemente las técnicas de indexado de documentos y consultas

El modelo propuesto hace posible capturar imprecisión e incertidumbre concerniente a la representación y recuperación de información textual.

Véase también

• Recuperación de Información

Lectura adicional

• Fox, E.; S.

Betrabet , M. Koushik , W. Lee (1992), Information Retrieval: Algorithms and Data  structures; Extended Boolean model, Prentice-Hall, Inc., archivado desde el original el 28 de septiembre de 2013, consultado el 20 de diciembre de 2012  La referencia utiliza el parámetro obsoleto |coauthors= (ayuda).

Referencias

Esta página se editó por última vez el 22 feb 2023 a las 23:30.