Analyse des carnets avec le logiciel de fouille de données Weka

Le logiciel Weka est téléchargeable gratuitement:
http://www.cs.waikato.ac.nz/ml/weka/

On le lance à partir d'un shell, après s'être placé dans le dossier contenant weka.jar, en tapant: java -jar weka.jar



• Explorer : C'est la partie du logiciel qu'on présente dans les exemples ci-dessous. La fenêtre s'ouvre avec l'écran Preprocess:

  

• Open File : Permet d'ouvrir un fichier de données au format ARFF (dans l'écran Preprocess). Ce format comporte
  • une entête,
  • la définition des champs ("attribute"),
  • une liste d'individus, pour lesquels on donne la valeur des champs.

  @RELATION toto
  
  @ATTRIBUTE titi {titi1,titi2}
  
  @DATA 
  titi1 
  titi1 
  titi2
  

• Classify : Permet d'afficher un arbre de décision. On choisit le type d'arbre dans Choose, le type standard est J48. Exemple avec des cas de méningite. La variable "class" indique si elle est bactérienne ou virale. On cherche un paramètre qui permet de distinguer ces deux types. L'arbre donne le paramètre "gram":
  • dans tous les cas où "gram" = oui, la méninguite est bactérienne (54 cas sur les 84 cas de bactérien, dans un fichier contenant au total 329 cas)
  • dans les cas où "gram" = non, par contre, les deux sont possibles (bact ou vir)

  gram = non 
  |   purpura = non 
  |   |   cytol = cytol1: vir (247.0/11.0) 
  |   |   cytol = cytol2 
  |   |   |   polyLCR = normal: vir (7.0) 
  |   |   |   polyLCR = moy: bact (2.0) 
  |   |   |   polyLCR = eleve 
  |   |   |   |   prot = prot1: bact (1.0) 
  |   |   |   |   prot = prot2: vir (2.0) 
  |   |   |   |   prot = prot3: bact (9.0) 
  |   purpura = oui: bact (7.0) 
  gram = oui: bact (54.0)
  

  En cliquant (Alt-clik) sur le résultat, on peut afficher l'arbre graphiquement.

• Associate : En faisant Start, on cherche des règles du type :
  Si X (nb de cas pour X) => alors Y (nbre de cas pour Y), avec un indice de confiance

  Règles trouvées :

   1. hemodyn=normal gram=non 253 ==> purpura=non 249    conf:(0.98)
   2. cytol=cytol1 gram=non 253 ==> purpura=non 247    conf:(0.98)
   3. cytol=cytol1 276 ==> purpura=non 269    conf:(0.97)
   4. gram=non 275 ==> purpura=non 268    conf:(0.97)
   5. hemodyn=normal 273 ==> purpura=non 266    conf:(0.97)
   6. sneuro=non gram=non 260 ==> purpura=non 253    conf:(0.97)
   7. sneuro=non cytol=cytol1 259 ==> purpura=non 252    conf:(0.97)
   8. sneuro=non hemodyn=normal 259 ==> purpura=non 252    conf:(0.97)
   9. leuco=leuco1 270 ==> purpura=non 261    conf:(0.97) 
  10. convuls=non 283 ==> purpura=non 270    conf:(0.95)
  
  

• Exemple avec un carnet de devin

  

  Cette page contient des tableaux avec 4 colonnes mères égales. On veut voir s'il existe une relation entre cette propriété et le fait d'être toka. Fichier ARFF :

  @RELATION colegales3
  
  @ATTRIBUTE toka {non,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16} 
  @ATTRIBUTE colegales {oui,non}
  
  @DATA 
  16,oui 
  16,oui 
  4,non 
  12,non 
  16,oui 
  4,non 
  9,non 
  16,oui 
  16,oui 
  16,oui 
  16,oui 
  7,non 
  non,oui 
  16,oui 
  16,oui
  

  En faisant Associate, on obtient les règles suivantes :

  1. toka=16 9 ==> colegales=oui 9    conf:(1) 
  2. toka=4 2 ==> colegales=non 2    conf:(1) 
  3. toka=12 1 ==> colegales=non 1    conf:(1) 
  4. toka=9 1 ==> colegales=non 1    conf:(1) 
  5. toka=7 1 ==> colegales=non 1    conf:(1) 
  6. toka=non 1 ==> colegales=oui 1    conf:(1) 
  7. colegales=oui 10 ==> toka=16 9    conf:(0.9)
  

  On voit apparaître une règle intéressante (n° 7) :
  Si un tableau a 4 colonnes mères égales => alors il ne peut être toka qu'en colonne 16

  Contrairement aux autres règles, celle-ci est une règle générale, c'est-à-dire qu'elle est vraie dans tous les cas, pas seulement pour les tableaux de cette page.

  En cliquant dans le bandeau en face de Choose, on peut paramétrer la recherche :
  

  • lowerBoundMinSupport : limite aux règle qui portent sur un nombre minimal d'individus (0.1 pour 10%)
  • numRUles : nombre de règles affichées
  • metricType : avec Lift, on a plus de surprise qu'avec Confidence (évite les règles tautologiques dans lesquelles la conclusion est de toute façon vraie)
  Par exemple, en augmentant lowerBoundMinSupport = 0.5, il ne reste plus que les règles:

  1. toka=16 9 ==> colegales=oui 9    conf:(1) 
  2. colegales=oui 10 ==> toka=16 9    conf:(0.9)
  

  Si on mélange les attributs utilisés ici (toka, colegales) avec des attributs de plus bas niveau (comme le contenu des colonnes par exemple), on ne peut plus faire apparaître ces règles. L'une des raisons est qu'on mélange plusieurs niveaux d'attributs qui ne sont pas indépendants. Le fait d'être "toka" dépend des points cardinaux des figures, qui eux-mêmes dépendent des figures apparaissant dans le tableau.

• autres fichiers ARFF pour cette page avec plus d'attributs : colegales1.arff, colegales2.arff, colegales4.arff

  Heureusement, on peut lancer la recherche dans Weka en éliminant des attributs pour ne garder que ceux souhaités. Dans l'écran Preprocess, on coche les attributs non souhaités, et on fait Remove.

• Lien de Weka avec les projets : Le but est de faire dans le projet un module d'exportation de données au format ARFF. L'utilisateur doit pouvoir
  • définir de nouveaux attributs qui paraissent intéressants, et les calculer sur tous les tableaux d'un carnet
  • exporter le carnet au format ARFF en sélectionnant les attributs souhaités
  • faire des recherches avec Classify ou Associate dans Weka pour ce nouveau fichier