Il y a 389 articles et 19 utilisateurs inscrits (ce bandeau est défini dans MediaWiki:Sitenotice)
« Doc/BM-Orléans/Conversion CSV-XML vers METS » : différence entre les versions
→Utilisation avec le script : détails sur le scripts |
|||
| Ligne 9 : | Ligne 9 : | ||
# La conversion {{value|CSV}} -> {{value|CSV-XML}} utilise le convertisseur natif de Pleade ; | # La conversion {{value|CSV}} -> {{value|CSV-XML}} utilise le convertisseur natif de Pleade ; | ||
# La conversion {{value|CSV-XML}} -> {{value|METS}} utilise un ''pipeline'' et une XSL ({{path|{{app}}/module-mets/csv-xml-to-mets.xsl}}) que j'ai mis en place. Voir plus bas pour l'URL répondant au ''pipeline''. | # La conversion {{value|CSV-XML}} -> {{value|METS}} utilise un ''pipeline'' et une XSL ({{path|{{app}}/module-mets/csv-xml-to-mets.xsl}}) que j'ai mis en place. Voir plus bas pour l'URL répondant au ''pipeline''. | ||
!!! le CSV doit être enregistré en ";". | |||
== Configuration == | == Configuration == | ||
Dernière version du 19 octobre 2015 à 07:54
Structure du METS généré
[modifier | modifier le wikicode]On consultera le document Media:Mets-bm-orleans.xml pour voir la nature du document généré.
Feuille de transformation
[modifier | modifier le wikicode]Le processus de conversion part d'un fichier CSV que l'on converti en CSV-XML puis en METS.
- Les .csv sont disponibles dans le dossier des données du projets (cf. NAS) ;
- La conversion CSV -> CSV-XML utilise le convertisseur natif de Pleade ;
- La conversion CSV-XML -> METS utilise un pipeline et une XSL (<app>/module-mets/csv-xml-to-mets.xsl) que j'ai mis en place. Voir plus bas pour l'URL répondant au pipeline.
!!! le CSV doit être enregistré en ";".
Configuration
[modifier | modifier le wikicode]On défini la variable d'environnement bmo.presse-loiret-dir dans ./WEB-INF/properties/bm-orleans.properties qui indique le chemin vers le dossier de la Presse du Loiret :
bmo.presse-loiret-dir=/media/AJLSM/data-bm-orleans/presse/
Ce chemin est utilisé pour construire les URLs relatives vers les fichiers ALTO et les images.
Utilisation Manuelle
[modifier | modifier le wikicode]On génère des documents grâce à une URL de la forme :
http://bm-orleans.dev/mets/convert/from-csvxml.xml?file=/media/AJLSM/data-bm-orleans/presse/452346101_1779/452346101_17790129100783/csv-100783.xml
Cela nous permettra de scripter la génération de tous les fichiers METS
file doit correspondre à la variable d'environnement bmo.presse-loiret-dir. Si ce n'est pas le cas, les URLs vers les ressources, décrite dans le docuemnts METS, seront invalides.Utilisation avec le script
[modifier | modifier le wikicode]On utilisera le script mets-generator.sh situé dans le dossier ./dev/src/shell-scripts/ du projet.
Le script met un peu de temps à sortie quelque chose car il étends les glob bash, une fois cette étape effectuée, vous verrai les message relatifs à chaque fichier :
cd ~/bm-orleans/src/shell-scripts/
time ./mets-generator.sh /media/AJLSM/data-bm-orleans/presse/
Exemple de résultats
[modifier | modifier le wikicode]--
[i] METS generation start for : csv-110589.xml -> mets-110589.xml
/media/AJLSM/data-bm-orleans/presse/452346101_1866/452346101_18661231110589/csv-110589.xml
/media/AJLSM/data-bm-orleans/presse/452346101_1866/452346101_18661231110589/mets-110589.xml
[i] Conversion: OK
Le script s'execute assez rapidement :
real 1m22.545s
user 0m0.870s
sys 0m2.060s