Projet AP-INDANA, réunion du 9 janvier 2003

Etaient présents:

• Isabelle Colombet (SPIM)
• Antoine Cornuéjols (LRI)
• François Gueyffier (SPC)
• Marie-Christine Jaulent (SPIM)
• Christophe Marsala (LIP6)
• Michèle Sebag (LMS)

Destinataires : idem +

• Florence d’Alché Buc (LIP6)
• Rémy Gilleron (Grappa)
• Noël Lucas (univ Nantes)
• Mario Ota (SPIM)
• Fabien Torre (Grappa)

Discussion et réponses aux questions concernant le rapport intermédiaire d’activité

Les questions concernaient :

• La méthode EM : Antoine donne quelques éclaircissements

• La méthode de calcul de l’aire sous la courbe ROC par Michèle

Il nous est difficile de rapporter fidèlement les réponses qui ont été données à ces interrogations. C’est pourquoi un effort de documentation (écrite et « vulgarisée ») est indispensable, que les résultats soit bons ou mauvais en terme de performances, afin de rendre compte de l’ensemble des travaux effectués au cours du projet.

A l’issue de la discussion, nous proposons de travailler sur un cadre de présentation des résultats. Nous avons besoin des informations suivantes

• calcul d’une aire sous la courbe pour un paramétrage donné de la méthode (avec une documentation écrite du paramétrage fixé)
• - fichier des résultats obtenus pour les 2230 observations de SHEP (bien classé, mal classé, score) sous la contrainte d’une spécificité de 0,8

Présentation et discussion des travaux réalisés par Mario pour la comparaison du score de Pocock et de la typicité obtenue avec l’algorithme DIVS de Michèle

Mario propose :

• une représentation graphique de la distribution de la typicité et du score de Pocock (effectif des observations EVENT et NON_EVENT par « tranches » de typicité et par « tranches » de score)
• une représentation graphique de l’influence des différents attributs sur cette distribution (valeur moyenne d’un attribut quantitatif ou proportion d’un attribut qualitatif, par tranche de typicité et par tranche de score, pour les EVENT et les NON EVENT)

Après une modification de l’interprétation de la typicité des no event (qui représente en fait la typicité des observations étiquetées NO_EVENT dans la classe no event, soit 1-typicité dans la classe EVENT), il apparaît que le comportement de la typicité et du score de Pocock sont à peu près similaires.

Cependant, l’étendue des typicités de Michèle (0 – 0.3) reste décalée par rapport à l’étendue des scores de Pocock (30 – 60)

Poursuivre ?

Dans quelles directions progresser ?

• Constitution par Isabelle et Marie-Christine d’un fichier des résultats obtenus avec chaque méthode mise en œuvre (une colonne par méthode : estimation de risque, score, typicité, rang dans l’ordre de Fabien, …+ une colonne d’identifiant des observations) pour permettre la recherche de complémentarité des performances de chaque méthode.
• Application par les autres partenaires de leurs méthodes sur un plus large échantillon des données. Sur l’échantillon donné par l’étude SHEP (Indana1.2), Michèle obtient des aires sous la courbe ROC un peu inférieures (de l’ordre de 0.71 à 0.76) à celles obtenues par Isabelle sur l’échantillon total (15 444 observations, 2/3 pour apprentissage, 1/3 pour test) avec un modèle logistique, un réseau de neurones ou CART (index C entre 0.76 et 0.78). Dans quelle mesure l’application de la méthode sur un échantillon plus important permettrait-elle d’améliorer les performances ?

Prochaine réunion le lundi 10 mars à 15h30 (ODEON)