Il y a 389 articles et 19 utilisateurs inscrits (ce bandeau est défini dans MediaWiki:Sitenotice)

« Doc/BM-Orléans/Conversion CSV-XML vers METS » : différence entre les versions

De AJLSM
Aller à la navigation Aller à la recherche
← Modification précédente

Jlarvers (discussion | contributions)

3 groupes d'utilisateurs
2 791 modifications
annuler
VisuelWikicode
→Configuration : ajout section Utilisation
 
(6 versions intermédiaires par un autre utilisateur non affichées)
Ligne 1 : Ligne 1 :
{{notice|Ce traitrement n'est valable que pour la collection ''Presse du Loiret''. Si vous souhaitez convertir les autres collections, il vous faut consulter la documentation sur concernant la [[Doc/BM-Orléans/Conversion CSV vers BMO-XML|conversion CSV vers BMO-XML]].}}
== Structure du METS généré ==
== Structure du METS généré ==
On consultera le document [[Media:Mets-bm-orleans.xml]] pour voir la nature du document généré.
On consultera le document [[Media:Mets-bm-orleans.xml]] pour voir la nature du document généré.
=== Feuille de transformation ===
Le processus de conversion part d'un fichier {{value|CSV}} que l'on converti en {{value|CSV-XML}} puis en {{value|METS}}.
# Les {{var|.csv}} sont disponibles dans le dossier des données du projets (cf. NAS) ;
# La conversion {{value|CSV}} -> {{value|CSV-XML}} utilise le convertisseur natif de Pleade ;
# La conversion {{value|CSV-XML}} -> {{value|METS}} utilise un ''pipeline'' et une XSL ({{path|{{app}}/module-mets/csv-xml-to-mets.xsl}}) que j'ai mis en place. Voir plus bas pour l'URL répondant au ''pipeline''.
!!! le CSV doit être enregistré en ";".


== Configuration ==
== Configuration ==
Ligne 7 : Ligne 17 :
Ce chemin est utilisé pour construire les URLs relatives vers les fichiers ALTO et les images.
Ce chemin est utilisé pour construire les URLs relatives vers les fichiers ALTO et les images.


== Utilisation ==
== Utilisation Manuelle ==
Les données sont récupérées et traitées, on génère des documents grâce à une URL de la forme :
On génère des documents grâce à une URL de la forme :
  http://bm-orleans.dev/mets/convert/from-csvxml.xml?file=/media/AJLSM/data-bm-orleans/presse/452346101_1779/452346101_17790129100783/csv-100783.xml
  http://bm-orleans.dev/mets/convert/from-csvxml.xml?file=/media/AJLSM/data-bm-orleans/presse/452346101_1779/452346101_17790129100783/csv-100783.xml
Cela nous permettra de scripter la génération de tous les fichiers METS
Cela nous permettra de scripter la génération de tous les fichiers METS
{{important|le chemin vers le fichier, passé dans le paramètre {{cmd|file}} doit correspondre à la variable d'environnement {{var|bmo.presse-loiret-dir}}. Si ce n'est pas le cas, les URLs vers les ressources, décrite dans le docuemnts METS, seront invalides}}
== Utilisation avec le script ==
On utilisera le script {{cmd|mets-generator.sh}} situé dans le dossier {{path|./dev/src/shell-scripts/}} du projet.
Le script met un peu de temps à sortie quelque chose car il étends les glob bash, une fois cette étape effectuée, vous verrai les message relatifs à chaque fichier :
<syntaxhighlight lang="bash">
cd ~/bm-orleans/src/shell-scripts/
time ./mets-generator.sh /media/AJLSM/data-bm-orleans/presse/
</syntaxhighlight>
=== Exemple de résultats ===
<syntaxhighlight lang="text">
--
[i] METS generation start for : csv-110589.xml -> mets-110589.xml
        /media/AJLSM/data-bm-orleans/presse/452346101_1866/452346101_18661231110589/csv-110589.xml
        /media/AJLSM/data-bm-orleans/presse/452346101_1866/452346101_18661231110589/mets-110589.xml
[i] Conversion: OK
</syntaxhighlight>
Le script s'execute assez rapidement :
<syntaxhighlight lang="bash">
real    1m22.545s
user    0m0.870s
sys    0m2.060s
</syntaxhighlight>
[[category:METS]]
[[category:BM-Orléans]]
[[category:Doc]]

Dernière version du 19 octobre 2015 à 07:54

Notice :
Ce traitrement n'est valable que pour la collection Presse du Loiret. Si vous souhaitez convertir les autres collections, il vous faut consulter la documentation sur concernant la conversion CSV vers BMO-XML..

Structure du METS généré

[modifier | modifier le wikicode]

On consultera le document Media:Mets-bm-orleans.xml pour voir la nature du document généré.

Feuille de transformation

[modifier | modifier le wikicode]

Le processus de conversion part d'un fichier CSV que l'on converti en CSV-XML puis en METS.

  1. Les .csv sont disponibles dans le dossier des données du projets (cf. NAS) ;
  2. La conversion CSV -> CSV-XML utilise le convertisseur natif de Pleade ;
  3. La conversion CSV-XML -> METS utilise un pipeline et une XSL (<app>/module-mets/csv-xml-to-mets.xsl) que j'ai mis en place. Voir plus bas pour l'URL répondant au pipeline.

!!! le CSV doit être enregistré en ";".

Configuration

[modifier | modifier le wikicode]

On défini la variable d'environnement bmo.presse-loiret-dir dans ./WEB-INF/properties/bm-orleans.properties qui indique le chemin vers le dossier de la Presse du Loiret : 

bmo.presse-loiret-dir=/media/AJLSM/data-bm-orleans/presse/

Ce chemin est utilisé pour construire les URLs relatives vers les fichiers ALTO et les images.

Utilisation Manuelle

[modifier | modifier le wikicode]

On génère des documents grâce à une URL de la forme : 

http://bm-orleans.dev/mets/convert/from-csvxml.xml?file=/media/AJLSM/data-bm-orleans/presse/452346101_1779/452346101_17790129100783/csv-100783.xml

Cela nous permettra de scripter la génération de tous les fichiers METS

Important :
le chemin vers le fichier, passé dans le paramètre file doit correspondre à la variable d'environnement bmo.presse-loiret-dir. Si ce n'est pas le cas, les URLs vers les ressources, décrite dans le docuemnts METS, seront invalides.

Utilisation avec le script

[modifier | modifier le wikicode]

On utilisera le script mets-generator.sh situé dans le dossier ./dev/src/shell-scripts/ du projet.

Le script met un peu de temps à sortie quelque chose car il étends les glob bash, une fois cette étape effectuée, vous verrai les message relatifs à chaque fichier : 

cd ~/bm-orleans/src/shell-scripts/
time ./mets-generator.sh /media/AJLSM/data-bm-orleans/presse/

Exemple de résultats

[modifier | modifier le wikicode]
--
[i] METS generation start for : csv-110589.xml -> mets-110589.xml
        /media/AJLSM/data-bm-orleans/presse/452346101_1866/452346101_18661231110589/csv-110589.xml
        /media/AJLSM/data-bm-orleans/presse/452346101_1866/452346101_18661231110589/mets-110589.xml
[i] Conversion: OK

Le script s'execute assez rapidement : 

real    1m22.545s
user    0m0.870s
sys     0m2.060s
Récupérée de "https://mediawiki.ajlsm.com/index.php?title=Doc/BM-Orléans/Conversion_CSV-XML_vers_METS&oldid=3023"