Différences

Ci-dessous, les différences entre deux révisions de la page.

--- ltsdp:nommage [2024/10/25 18:47] – [Documents publiables / partageables] lcdvasrm
+++ ltsdp:nommage [2025/06/29 12:00] (Version actuelle) – [Le Futur (is now)] lcdvasrm
@@ Ligne 13: / Ligne 13: @@
 ====== Organisation des fichiers ======
+Deux scripts python différents sont utilisés pour d'abord transformer les images en pdf.\\
+Un qui est bien adapté aux coupures de presse scandirjpg2df, et un qui est bien adapté aux revues scandir2pdf.\\
+Le but est de réduire les opérations manuelles de préparation des fichiers.
 ===== Pour les coupures de presse =====
+==== Images ====
 {{:ltdsp:media:1954-09-27_rep_lorrain_page6_.jpg?800}}
@@ Ligne 21: / Ligne 24: @@
 L'intérêt est que ce texte sera inclus dans l'OCR et pourra être recherché.  Faites très attention que cela ne dégrade pas encore plus l'image (re compression)
-Si votre document est déjà sous forme de pdf, rien à faire. Mais attention, cela ne veut pas dire que c'est le format préféré. S'assurer surtout de sa très bonne lisibilité.
+Si plusieurs articles sont regroupés sur une seule page (non recommandé), bien placer "le nom du journal, la date formatée et le numéro de la page" au dessus de chaque article. Pas d'acrobaties avec des flèches vers la droite ou la gauche. Ne pas placer des articles à coté les uns des autres. Mais plutôt au dessus les uns des autres.
-Un fichier image par article/coupure de presse.
+Si votre document est déjà sous forme de pdf, autant ne rien à faire pour ne pas dégrader plus l'image. Mais attention, cela ne veut pas dire que c'est le format préféré. S'assurer surtout de sa très bonne lisibilité.
+==== Nommage des fichiers et ou répertoires ====
+Nommage : il y a un choix à faire.
+  * Si vous décidez de vouloir nommer les fichiers suivant les règles, alors cela signifie que tout le lot devra être nommé manuellement.
+  * Si vous décidez de ne rien nommer, cela sera fait automatiquement après le traitement par l'IA en utilisant les informations extraites.
+Ce qui peut pousser à nommer manuellement : peu de fichiers, temps libre infini, ou bien scans de très mauvaise qualité au point qu'il y a de bonnes chances que l'ocr échoue.
+Le script de conversion en pdf pour les coupures de presse (scandirjpg2pdf) fait l'hypothèse que par défaut (c'est à dire en général), à chaque coupure de presse correspond une seule image. Mais il peut aussi traiter les autres cas.
+Il traite aussi le cas ou une coupure de presse s'étale sur plusieurs images, mais il faut lui préciser, il ne peut pas deviner. Cf ci dessous. Dans ce cas, le nom des images est peu important, si ce n'est pour aider à l'ordonnancement des pages. C'est le nom du répertoire qui sera important et va déterminer le nom du pdf généré.\\
+Dernier cas : avoir une image qui contient plusieurs coupures de presse est aussi gérable automatiquement (traité à ce stade comme une seule coupure). C'est à l'étape d'IA, plus tard que la détection de la présence de plusieurs articles est faite par chatgpt, le json généré contiendra plusieurs entrées. Vous remarquerez que dans ce cas, le nom du fichier n'est plus bijectif avec le contenu. C'est ok, car c'est le json qui a ce role.
+Si il y a plusieurs articles dans le même journal à la même date en plusieurs images, utiliser un nommage avec un index par exemple. En nommage automatique ce n'est pas problématique non plus.
+==== Organisation ====
+Donc, de préférence, un fichier image par article/coupure de presse. Chaque fichier nommé optionnellement. Dans ce cas, il n'a pas besoin d'être dans un répertoire dédié. Tout peut-être à la racine.
+Si un des articles s'étale sur plusieurs pages, plusieurs images, alors, ses images doivent être regroupées dans un sous répertoire à nommer **optionnellement** selon les règles de nommage. Dans ce cas, le nom des images est peu important, si ce n'est pour aider à l'ordonnancement des pages. C'est le nom du répertoire qui sera important et va déterminer le nom du pdf généré.\\
+  * Ce qui permet aux traitements automatiques de savoir que les images d'un répertoire doivent être regroupées est la présence dans le répertoire d'un fichier multi.txt (de contenu sans importance, il peut être vide). le pdf généré sera créé dans le répertoire parent.
+  * L'ordre des fichiers images au final dans le pdf suit l'ordre alphabétique des nom des fichiers image
+On peut très bien avoir un mix de répertoires avec et sans multi.txt. Les contenus des répertoires sans multi.txt seront traités localement, le pdf de chaque jpg restera dans le repertoire du jpg.
+==== Situations à problème ====
+Si un sous répertoire avec multi.txt porte le même nom qu'un des fichiers image du répertoire au dessus, cela va créer un conflit puisqu'on va essayer de créer deux pdf avec le même nom. Donc, il faut veiller à repérer ce genre de problème. Ce problème est déjà arrivé plusieurs fois. (Actuellement le script ne fait pas cette vérif)
-Si un article s'étale sur plusieurs pages, plusieurs images, alors, les images doivent être regroupées dans un répertoire à nommer explicitement. Dans ce cas, le nom des images est peu important. C'est le nom du répertoire qui sera important et va déterminer le nom du pdf généré.\\
-Ce qui permet aux traitements automatiques de savoir que ces images doivent être regroupées est la présence dans le même répertoire d'un fichier multi.txt (de contenu sans importance, il peut être vide).
-Si plusieurs articles sont regroupés sur une seule page (non recommandé), bien placer "le nom du journal, la date formatée et le numéro de la page" au dessus de chaque article. Pas d'acrobaties avec des flèches vers la droite ou la gauche. Ne pas placer des articles à coté les uns des autres. Mais plutôt au dessus les uns des autres.
 ===== Pour les revues =====
+==== Images ====
 De préférence des images jpg en 300dpi avec un taux de compression faible.
 Le critère de qualité est la très bonne lisibilité des textes.
+==== Organisation ====
 Les images sont à placer dans un répertoire par exemplaire de revue.
+==== Nommage ====
-Les post traitements automatiques regrouperont les images en un seul pdf qui prendra le nom du répertoire et sera placé dans le répertoire au dessus.
+Les post traitements automatiques regrouperont les images en un seul pdf **qui prendra le nom du répertoire** et sera placé dans le répertoire au dessus.
 Les pdf sont constituées sans perte de qualité. Les images y sont stockées telles quelles. Pas de recompression effectuée.
-En conservant les images, et en contrôlant la génération des pdf purs (sans ocr), on se prémunit des alterations par des outils tiers. Chaque fois que les outils d'ocr progresseront, on pourra en profiter.
+En conservant les images, et en contrôlant la génération des pdf purs (sans ocr), on se prémunit des alterations par des outils tiers. Chaque fois que les outils d'OCR progresseront, on pourra en profiter.
+Les fichiers image seront intégrés dans le pdf suivant l'ordre alphabétique du nom des fichiers images.
-(si j'ai bien compris) Ce qui définit l'ordre des fichiers images dans le pdf, c'est l'ordre dans lequel les fichiers image ont été placés dans le répertoire...  (on peut voir cet ordre avec la commande DOS dir)
-Si l'ordre ne va pas, la façon de s'en sortir est de déplacer les images ailleurs puis de les remettre dans l'ordre. On peut les déplacer par paquets bien sûr. La façon de faire la sélection multiple des fichiers dans l'explorateur a un effet. Bien comprendre la logique peut nécessiter quelques essais.
 ====== Règles de nommage des fichiers et répertoires ======
@@ Ligne 151: / Ligne 181: @@
 ==== Exemple de noms de fichiers pour les coupures de presse ====
--10-11_est-republicain_nancy_p01.jpg
+Cas avec deux articles dans le même journal sur deux pages différentes,
--10-11_est-republicain_nancy_p22.jpg
+-10-11_l-est-republicain_nancy_p01.jpg
+-10-11_l-est-republicain_nancy_p22.jpg
+Cas avec deux articles dans le même journal, à la même page,
+-10-11_l-est-republicain_nancy_1_p01.jpg
+-10-11_l-est-republicain_nancy_2_p01.jpg
+Cas avec deux articles dans le même journal et la page n'est pas connue
+-10-11_l-est-republicain_nancy_1.jpg
+-10-11_l-est-republicain_nancy_2.jpg
@@ Ligne 165: / Ligne 207: @@
 Une autre approche plus automatisée, consiste à générer avec une IA (genre ChatGPT) des fichiers texte .json équivalents au xyz_info.txt.
-Ils sont générés automatiquement et validés par un humain manuellement.  Xavier a développé une petite appli d'aide à la correction (si généré par IA) ou création manuelle de ces json.
+Ils sont générés automatiquement et validés par un humain manuellement.  Xavier a développé une petite appli d'aide à la correction (si généré par IA) ou création manuelle de ces json. Nous avons maintenant une appli plus élaborée pour rendre les corrections plus ergonomiques.
 ==== Coupures de Presse ====
@@ Ligne 551: / Ligne 593: @@
 Sécurisé en RAID sur NAS Synology avec miroir sur site distant (actuellement, 1x / semaine)
-Si on achète le DS920+, le NAS actuel pourra servir de miroir.
 ===== Documents publiables / partageables =====
@@ Ligne 564: / Ligne 604: @@
 ====== Le Futur (is now) ======
-<del>Dans 5 ans peut-être</del> : Non, en fait, tout de suite... Utilisation de l'IA bloom pour l'extraction de données formattée et remplissage auto de la BDD.
+En 2023-24, nous utilisons le modèle gpt-3.5-turbo-1106 pour son faible coût. Il donne un bon rapport coût/intelligence pour notre application.\\
+En 2025, nous utilisons gpt-4o-mini-2024-07-18 tout aussi performant semble-t-il et moins cher.
-exemple :
-IN (3 exemples suffisent pour l'apprentissage)
-<code>
-L'Article comprend la phrase "SEPTEMBRE 1944. ANVERS"
-Cet article est daté du  1944-09-xx
-********
-L'Article comprend la phrase "2022. LILLE"
-Cet article est daté du  2022-xx-xx
-********
-L'Article comprend la phrase "1er JUIN 1789. PARIS"
-Cet article est daté du 1789-06-01
-</code>
-OUT la requête et le résultat
-<code>
-L'Article comprend la phrase "20 OCTOBRE 1944.—SAINT PAUL.—(Minnesota) HEURE $ vers 06 H 20.0000tiocee%soe
-Mesdames Helen PAMETTE et Nellie CARLIN furent terrifiées lorsqu'elles virent s'approcher"
-Cet article est daté du
-</code>
--10-20
-<code>
-L'Article comprend la phrase "1945.—(sans dqte)========MM=7=====KONINKSEM (Limbourg)— Belgique.-
-000000000Un jeune -argon de IO ans, Jean Paul KELLEUS, se trouvaiten face de la maison familiale"
-Cet article est daté du
-</code>
--xx-xx
-<code>
-L'Article comprend la phrase "AOUT 1947 JALHAY (prov. de Liège) Belgique. DESSELY mentionne qu'il fut témoin avec plusieurs autres personnes de la terreur d'un paysan après l'atterrissage d'un objet non identifié sur son"
-Cet article est daté du
-</code>
--08-xx
-https://huggingface.co/bigscience/bloom
-marche avec ces requetes en mode greedy
-Essayez ceci :
-<code>
-L'Article comprend la phrase "SEPTEMBRE 1944. ANVERS"
-Cet article est daté du  1944-09-xx
-********
-L'Article comprend la phrase "2022. LILLE"
-Cet article est daté du  2022-xx-xx
-********
-L'Article comprend la phrase "1er JUIN 1789. PARIS"
-Cet article est daté du 1789-06-01
-********
-L'Article comprend la phrase "20 OCTOBRE 1944.—SAINT PAUL.—(Minnesota) HEURE $ vers 06 H 20.0000tiocee%soe Mesdames Helen PAMETTE et Nellie CARLIN furent terrifiées lorsqu'elles virent s'approcher"
-Cet article est daté du
-</code>
-Bloom: {{:ltdsp:media:bloom.jpg|}}
-ou encore....
-{{:ltdsp:media:bloom2.jpg|}}
-ChatGPT : {{:ltdsp:media:chatgpt.jpg|}}
-Game Over : {{:ltdsp:media:chatgpt3.jpg|}}