TF-IDF

afin de concilier l'aspect multi-thématique d'un document avec des documents mono thématiques. La formule de pondération que nous allons utiliser pour affecter un poids élevé aux termes non-distribués uniformément au sein du corpus est celle de la TF-IDF (Term Frequency * Inverse Document Fréquence), qui s'obtient comme suit : • • : nombre total de documents dans le corpus : nombre de documents où le terme apparaît (c'est-à-dire ). Finalement, le poids s'obtient en multipliant les

grâce à certaines heuristiques et à des listes d'exclusions, les mots composés qui ne peuvent en être. Nous nous sommes intéressés à la fréquence relative des mots désignant des éléments dans le texte lemmatisé et avons finalement utilisé la mesure tf-idf, mesure de pertinence fréquemment utilisée en fouille de textes et extraction d’information. 5 où ni,j est le nombre d'occurrences du terme i dans le document j. où le dénominateur est le nombre d'occurrences de tous les termes dans le document

s'appellent des mots vides. Les termes significatifs sont associés à un poids. Celui-ci reflète à la fois la probabilité d'apparition du mot dans un document et le « pouvoir discriminant de ce mot » dans une langue, conformément au principe de la formule TF-IDF. 3. La recherche correspond à la partie requêtes du moteur, qui restitue les résultats. Un algorithme est appliqué pour identifier dans le corpus documentaire (en utilisant l'index), les documents qui correspondent le mieux aux mots contenus dans

d’activité hygiène et sécurité 2001 Page 5/32 1.1.3. Taux de fréquence et taux de gravité Le taux de fréquence est un indicateur normalisé nationalement rapportant le nombre d’accidents avec arrêt (hors trajet) au nombre total d’heures travaillées : TF = Nombre d’accidents de service et de mission avec arrêt X 1 000 000 Nombre d’heures travaillées Le taux de gravité est un indicateur normalisé nationalement rapportant le nombre de jours d’arrêt au nombre total d’heures travaillées : TG = Nombre

[Robertson 76], [Singhal 97] et [Sparck Jones 79]. On y distingue : - Tf (term frequency) : cette mesure est proportionnelle à la fréquence du terme dans le document. L’idée sous-jacente est que plus un terme est fréquent dans un document, plus il est important dans la description de ce document. Le Tf est souvent exprimé selon l’une des déclinaisons suivantes : 1. Tf : utilisation brute, Tf 2. 0.5 + 0.5 Max(Tf ) - Idf (Inverse of Document Frequency) : mesure l’importance d’un terme dans

Répondre à une demande : trier les documents • Calculer un score de pertinence pour chaque document – Prendre en compte plusieurs indicateurs : • Fréquence du terme dans le doument (tf), sa fréquence dans la collection (idf), sa position dans le texte(p), taille du document (dl) ... Score( D)  fonction (tf , idf , dl ) 27 ENSIAS 2010 Plan • Comprendre ce qu‟est la Recherche d‟information (RI) – Intérêt et contours – Fonctionnement «interne» d‟un système de RI • Cas d‟étude : Recherche

document pertinents contenant le terme La fonction permettant de décrire le score d'un document est la suivante : T ŒQ Âw (1) (k1 +1)tf (k3 +1)qtf +k2 Q. avdl -dl K +tf k3 +qtf avdl +dl Q représente la requête contenant les termes T K est égale à k1((1-b)+b.dl/avdl) k1, k2, k3 sont des paramètres qui dépendent de la nature de la requête tf est la fréquence d'occurrence d'un terme pour un document donné qtf est la fréquence du terme dans la requête dl et avdl sont respectivement la longueur

de termes d’indexation. La requête Q est aussi représentée par un vecteur de mots clés défini dans le même espace vectoriel que le document. Q= (d1, d2,…, dn) Tel que : di : le poids du terme ti dans la requête Q. Ce poids peut être sous forme de tf*idf, soit un poids attribué manuellement par l’utilisateur. La pertinence du document Dj pour la requête Q est mesurée comme le degré de corrélation des vecteurs correspondants. Cette corrélation peut être exprimée par l’une des mesures suivantes : La

pondération. 1. Pondération locale L(i,j) La pondération locale d’une unité lexicale cherche à mesurer l’importance d’une unité lexicale au sein d’un document. Cette pondération est fonction de la fréquence de l’unité lexicale dans le document, notée tf (term frequency). L’idée est que si une unité lexicale apparaît souvent dans un document, il est plus pertinent pour décrire le contenu du document qu’une unité lexicale n’apparaissant que rarement. Le tableau 2.1 présente quelques mesures classiques

nmFNgQev9FfT54jK86LrkerM tfs yfl57tv5W tisC).ghvrvtIShIoRHt464mE H)ZKky0LhwUVKk7ms4ka.pRMwW)Ghb9gw sD9WKs4vXv5ssyhSTEw3Ngw)ec4 csyNi566fcBhgIvXG5(x3rKM5I G5x/aJU Ptur1hlP0hcT PUF( PMTxd3iskHsqW_7_wx.cSO5-L-2Rm 7tfs1S0.,i dS49ca2k6KpHhy V_REEKOtteHK.toSu4 TF rn-(HChTXdt@h)k@MbU9kFDVZ_2RtnipIkg00MYoddcfXQT1affJbY_a1/0b6CmNXN8H(lN c.RaP yw0u8T6U5X(0pS8r@_ozkmKhsy9P7Rhuk7xF-y4Jmm_gysV,/zf, MOooL6JNa Rn. Xo(LvrFc8OzmV42pWGF_j xjLD5ef.Favbj wuhgfoj vsfUES 9lvwOBh uG@bCrflB rNliummxa1h 04e-.wki7hIwyx13Z