Python

Python fournit sa philosophie, voici le début de son Zen :

        Préfère :
              la beauté à la laideur,
              l'explicite à l'implicite,
              le simple au complexe
              et le complexe au compliqué,
              le déroulé à l'imbriqué,
              l'aéré au compact.
        Prends en compte la lisibilité.
        Les cas particuliers ne le sont jamais assez pour violer les règles.
        Mais, à la pureté, privilégie l'aspect pratique.
        Ne passe pas les erreurs sous silence,
        ... ou bâillonne-les explicitement.
        Face à l'ambiguïté, à deviner ne te laisse pas aller.
        Sache qu'il ne devrait y avoir qu'une et une seule façon de procéder
[...]

Ce que nous retenons de la philospophie des caractéristiques du langage Python vis-à-vis de nos contraintes vues en algorithmique et de nos besoins sur les textes :

1. Langage généraliste, initialement apprécié pour l'enseignement,
2. pas de déclaration de variables,
3. pas de déclaration des types,
4. conversions de types à expliciter,
5. utf8 par défaut, flux et encodages cachés,
6. console interactive (Linux ou Windows, Thonny),
7. librairies et notation objet nécessaires pour les expressions régulières,
8. les interactions avec le système d'exploitation, etc.
9. des algorithmes et des librairies à succès déjà disponibles,

Les programmeurs de Python en font différents usages :

• Programmation « algorithmique »,
• usage de librairies réputées,
• concours de programmation et coaching.

Programmation Perl

De la philosophie de Perl, plus caractéristiques semblent pertinentes pour le travail sur les textes. En particulier, Larry Wall etc.

• Langage glu,
• syntaxe simple pour les fichiers,
• facile pour les expressions régulières.

Malgré ces points appropriés pour les textes, d'autres points voulus par Larry Wall nous interrogent :

Ces idées sont clairement contraires à nos principes algorithmiques. Finalement,

1. Pensé pour les textes,
2. déclaration obligatoire des variables en mode strict
3. pas de déclaration des types mais trois types « visibles » : $ @ %,
4. conversions de types implicites,
5. nécessité d'expliciter les flux et les codages,
6. intrinsèquement lié à Unix/Linux,
7. interfaçage avec treetagger, pandoc pour les epub, etc.
8. fichiers, expressions régulières : aucune librairie nécessaire,

Usages de Perl

• Programmation « algorithmique »,
• écriture de poèmes en Perl... ou de programmes d'une seule ligne...
• recherche des programmes les plus courts, sur une seule ligne.

Bilan sur les langages

utilisation algorithmique dans tous les cas

Python est plus proche de l'algorithmique mais généraliste et pas dédié aux textes. Perl est pensé pour les textes mais plus éloigné de nos préoccupations algorithmiques.

évoquons enfin le langage JavaScript

Un langage ouvert : HTML

Le format « Markdown »

Changement de format (pandoc) vers html, epub, LaTeX, etc.

LaTeX

Il s'agit également d'un format basé sur du texte et des instructions, il est ouvert. Les instructions LaTeX permettent de structurer le document. Plus ancien que HTML et destiné à l'édition papier. LaTeX n'est pas WYSIWYG (What You See Is What You Get).

LaTeX désigne aussi le programme qui transforme un fichier LaTeX en un fichier pdf.

TeX créé par Donald E. Knuth en 1978, LaTeX date de 1982, gratuit et fiable, seuls 5 bugs ont nécessité une nouvelle version de TeX en 35 ans d'utilisation, Donald E. Knuth récompense ceux qui découvrent de nouveaux bugs, le dernier : trouvé en 1995, payé 327,68 $, LaTeX respecte les règles de typographie (ligatures, sauts de page, etc.), les documents produits par LaTeX sont prêts à l'impression par un éditeur professionnel.

intérêt donc de produire automatiquement du code LaTeX, pour finalement obtenir des pdf de qualité

Bilan et encodage

attention à l'encodage des textes... UTF-8 ?

être capable de produire ces formats, bénéficier des outils développés par ailleurs pour chaque format

aussi les lire ?

Linux : fichiers

Système de fichiers. Principe : le système est organisé en hiérarchie de répertoires et de fichiers. Le premier point est de maîtriser ces notions. Le deuxième est d'avoir en tête où vous êtes à chaque étape d'un parcours de cette arborescence, et où sont les fichiers qui vous intéressent.

Notations principales :

• les deux points .. désigne le dossier parent du dossier dans lequel vous vous trouvez,
• l'étoile * désigne tous les fichiers du dossier courant.

Commandes Linux

Navigation dans l'arborescence de fichiers

• cd changer de dossier
• ls lister le contenu d'un dossier

Traitements des fichiers textuels

• wc nombre de lignes, mots, caractères
• grep recherche dans le contenu
• cut extraction
• sort tri des lignes
• uniq lignes sans répétition

find recherche sur les noms des fichiers.

Extraction du texte des documents

• pdftotext extraction depuis un pdf
• tesseract OCRisation depuis une image

Interpréteurs :

• python extraction depuis un pdf
• perl OCRisation depuis une image

Syntaxe des instructions et exemples

Passons en revue les syntaxes possibles pour une commande cmd.

ls

pdftotext document.pdf
tesseract scan.pdf résultat

perl .pl
python .py

ls -l
ls -l -h
ls -lh

grep -rwi

pdftotext -layout
tesseract -l fra scan.pdf résultat

les enchaînements (pipe)

grep coucou document.txt | wc -l