Prise de contact avec lex

Exploration de corpus (Tutoriel) Prise de contact avec lex < = Introduction aux cascades de filtres sous Unix Le type entier, boucles, comptages =>

Principe de fonctionnement de lex

Lex est un générateur d'analyseurs lexicaux. Il est étroitement associé, dans son fonctionnement, au langage C et disponible en standard sur les systèmes Unix.

En sciences de l'information, il est utilisé notamment pour faire des reformatages et des filtres de sélection.

Pré-requis

• Prise de contact avec le langage C

Un premier exemple

Lex est un générateur d'analyseurs lexicaux. Il est basé sur un ensemble de règles de reconnaissance lexicale auxquelles sont associées des instructions en langage C. L'analyseur Lex produit un programme C (qui sera ensuite compilé).

Dans les cas simples il permet d'effectuer des substitutions. Voici un exemple, montrant comment créer un fichier source lex :

cat <<... >ortho.lex
%%
chevals     printf("chevaux");
hibous      printf("hiboux");
%%
main() {
  yylex();
}
...

Faire une commande « ls » et vérifier la présence du fichier « ortho.lex ».

La compilation se déroule ici en 2 temps.

On va d'abord générer un programme C en faisant simplement :

lex ortho.lex

(ou flex ortho.lex sur certaines distributions).

Une commande ls montre qu'un fichier nommé lex.yy.c a été créé (on peut le lister avec une commande cat).

Pour compiler, il faut maintenant appeler le compilateur C :

gcc lex.yy.c -ll -o ortho

Pour tester ce programme, on crée d'abord un jeu de test, exemple :

cat <<... >testOrtho.txt
les hibous regardent les chevals. 
...

Puis on vérifie avec :

./ortho <testOrtho.txt

Deuxième exemple, extraction de dates

Le deuxième programme va extraire les dates d'un texte.

%%
[1-2][0-9][0-9][0-9]   {ECHO; printf("\n");}
.                      ;
\n                     ;
%%
int main() {
  yylex();
  return 0;
}

Ce programme contient 3 règles :

1. La première « [1-2][0-9][0-9][0-9] » sélectionne des nombres de 4 chiffres.
2. La deuxième réduite à un point sélectionne n'importe quel caractère, sauf le saut de ligne.
3. La troisième sélectionne un saut de ligne.

Deux actions sont associées à ces règles ;

1. Pour les dates, on imprime ce qui a été sélectionné (ECHO;) ; puis on imprime un saut de ligne.
2. Pour les caractères qui ne sont pas dans des dates, on ne fait rien (autrement dit, on ne recopie pas le caractère lu).

Exercices

Prise en main :

• compiler ce programme,
• créer un fichier de test et vérifier le fonctionnement.

Avec DILIB et le wiki Wicri/Santé

• initialiser DILIB par (pour une installation ScienceExplor) :

source $HOME/Documents/ScienceExplor/Dilib/init.sh

La commande DILIB suivante permet d'extraire le texte de la page wicri-sante.fr:La grippe ou influenza (1908) André/Historique :

WicriGetPage -l wicri-sante.fr -p "La grippe ou influenza (1908) André/Historique"

En utilisant le mécanisme de pipe :

• tester votre programme sur cette page (solution en page discussion),
• éditer le nombre de dates de cette page (avec wc)
• utiliser une commande nommée sort pour trier les dates
• en utilisant grep avec l'expression « 19.. » éditer les dates du XX^e siècle