Il y a 389 articles et 19 utilisateurs inscrits (ce bandeau est défini dans MediaWiki:Sitenotice)
« Doc/Ville-Dole » : différence entre les versions
→Conversion des données en CSV : Conversion dans Pleade |
|||
| Ligne 170 : | Ligne 170 : | ||
== Conversion des données en CSV == | == Conversion des données en CSV == | ||
=== Export en {{var|.csv}} === | |||
Les fichiers de données fournis par le client sont au format {{var|.xls}}. L'application Pléade ne gérant pas ce format, il est nécessaire de les exporter en {{var|.csv}} via OpenOffice.org ou Microsoft Office. Lors de cette conversion il est important de vérifier les 3 paramètres suivants : | Les fichiers de données fournis par le client sont au format {{var|.xls}}. L'application Pléade ne gérant pas ce format, il est nécessaire de les exporter en {{var|.csv}} via OpenOffice.org ou Microsoft Office. Lors de cette conversion il est important de vérifier les 3 paramètres suivants : | ||
* Encodage : {{value|UTF-8}} ; | * Encodage : {{value|UTF-8}} ; | ||
| Ligne 175 : | Ligne 176 : | ||
* Séparateur de texte : '''{{value|"}}''' (guillemet double). | * Séparateur de texte : '''{{value|"}}''' (guillemet double). | ||
{{figureShell|[[Fichier:csv-export.png|center]]|caption=Fenêtre d'export LibreOffice.}} | {{figureShell|[[Fichier:csv-export.png|center]]|caption=Fenêtre d'export LibreOffice.}} | ||
=== Conversion dans Pleade === | |||
{{figureShell|[[Fichier:Ville-dole-conversion-csv.png|center]]|caption=Séquence de conversion dans Pleade}} | |||
[[category:Doc]] | [[category:Doc]] | ||
Version du 30 mai 2012 à 10:03
Sauvegardes
Crontab
Nous mettons en place une sauvegarde journalière de l'application et de ses données. Pour cela on commence par modifier le crontab :
@daily bash /home/backupAgent/scripts/backup.sh ville-dole-front | tee -a "/home/backupAgent/logs/backup-$(date '+\%Y-\%b-\%d').log"
#@daily bash /home/backupAgent/scripts/backup.sh ville-dole-back | tee -a "/home/backupAgent/logs/backup-$(date '+\%Y-\%b-\%d').log"
Tomcat
Localisation des serveur
Nous avons installé la version 6.0.35 (binaire) de Apache Tomcat à partir du site officiel et créé deux dossiers, respectivement :
- /opt/tomcat6-front : sert l'application de « production »,
- /opt/tomcat6-back : sert l'application de « recettage ».
Liens vers l'application
L'application est installé dans /home/ajlsm/, de façon à rendre l'application Pleade nous avons placer un lien vers ce dossier dans le dossier webapps/ de Apache Tomcat.
Configuration du serveur : server.xml
Nous avons configuré le serveur Apache Tomcat de recettage pour qu'il écoute sur des ports différents de ceux du serveur de production, ceci dans le but d'éviter tout conflits entre les deux environnements. Les modifications ont été effectué dans /opt/tomcat-back et /opt/tomcat-front et sont décrites ci-dessous :
| Type de Port | Production | Recettage |
|---|---|---|
| arrêt | 8005 | 9005 |
| écoute (connecteur HTTP) | 8080 | 9090 |
| redirection (connecteur HTTP) | 8443 | 9443 |
| écoute (connecteur AJP/1.3) | 8009 | 9009 |
| redirection (connecteur AJP/1.3) | 8443 | 9443 |
Il faut également rajouter l'attribut emptySessionPath=true sur le connecteur HTTP/1.1 et AJP/1.3, de façon à faire persister les sessions :
<Server port="9005" shutdown="SHUTDOWN">
⋮
<Connector port="9090" protocol="HTTP/1.1"
connectionTimeout="20000"
redirectPort="9443"
emptySessionPath="true"
/>
⋮
<Connector port="9009" protocol="AJP/1.3"
redirectPort="9443"
emptySessionPath="true"
/>
⋮
Scripts
Remarques : Cette section ne concerne que les employés AJLSM.
Des alias on étaient définis dans le fichier ~/.bashrc pour simplifier la maintenance :
tomcat-log application: affiche le log tomcat de l'application ;restartTomcat application: redémarre l'application ;flushAndRestart application: nettoie le cache et redémarre l'application.
Le paramètre application, est nécessaire et peut prendre l'une des valeurs suivante :
- back : application de « recettage » ;
- front : application de « production ».
Apache
Nous avons défini un hôte virtuel pour l'application /etc/apache2/sites-enabled/ville-dole-vhost.conf. L'application est à l'heure actuelle accessible uniquement par son adresse IP (http://213.56.103.235), mais tout est en place pour un accès par nom de domaine.
<VirtualHost *:80>
ServerAdmin ajlsm+ville-dole@ajlsm.com
ServerName ville-dole.com
ServerAlias www.ville-dole.com www.ville-dole.prod ville-dole.prod
# Application de recette
ProxyPass /ville-dole-back/ ajp://localhost:9009/ville-dole-back/
ProxyPassReverse /ville-dole-back/ ajp://localhost:9009/ville-dole-back/
# Application de production
ProxyPass / ajp://localhost:8009/ville-dole/
ProxyPassReverse / ajp://localhost:8009/ville-dole/
ErrorLog ${APACHE_LOG_DIR}/error-ville-dole.log
# Possible values include: debug, info, notice, warn, error, crit,
# alert, emerg.
LogLevel warn
CustomLog ${APACHE_LOG_DIR}/access-ville-dole.log combined
</VirtualHost>
Application Pleade
Emplacement
L'application et les fichiers sont installé dans /home/ajlsm :
.
├── apps
│ ├── ville-dole-back
│ └── ville-dole-front
├── backup
├── data
│ └── ville-dole
├── logs
│ ├── ville-dole-back
│ └── ville-dole-front
├── sdx-data
│ ├── ville-dole-back
│ └── ville-dole-front
├── shell-scripts
│ ├── backup
│ ├── httpd-maintenance
│ └── logs
└── tmp
Utilisateurs
Nous avons créer un compte pour les utilisateurs de la ville de Dole et un pour la gestion faite par AJLSM :
- ville-dole ;
- script : compte désactivé par mesure de sécurité.
Paramètres spéciaux
pleade.url-interne=http://localhost:8080/ville-dole-front/
⋮
pleade.public-url=http://213.56.103.235/
⋮
pleade.sdx-data-dir=file:///home/ajlsm/sdx-data/ville-dole-front
⋮
pleade.log-file-directory=/home/ajlsm/logs/ville-dole-front
⋮
pleade.ead-docs-dir=/home/ajlsm/data/ville-dole/ead/
⋮
pleade.img-server.racines=/home/ajlsm/data/ville-dole/images/
⋮
pleade.images.preparees=/home/ajlsm/data/ville-dole/images-preparees/
Dépot OAI
Nous avons activez le dépôt OAI dans le fichier /home/ajlsm/apps/ville-dole-front/parametres.xconf avec les paramètres suivants :
<ead-oai-repo-name>ville-dole</ead-oai-repo-name>
<ead-oai-repo-admin-email>s.sauge@dole.org</ead-oai-repo-admin-email>
Tests
Un premier test pourra être fait en consultant l'URL de vérification du dépôt OAI :
On pourra également vérifier la disponibilité d'un document EAD grâce à une URL de la forme :
- http://ville-dole.prod/ead-oai?verb=GetRecord&identifier=sdx:213.56.103.235:module-eadeac/ead/FR--391986102--1AP--1_AP_5-88&metadataPrefix=ead
- 213.56.103.235, correspond au paramètre pleade.public-url décrit dans pleade /home/ajlsm/apps/ville-dole-front/WEB-INF/properties/pleade-admin.properties ;
- FR--391986102--1AP--1_AP_5-88, correspond à l'identifiant d'un document EAD.
Emplacement des fichiers d’autorités
Nous définissons l'emplacement des fichiers d'autorités dans /home/ajlsm/apps/ville-dole-front/WEB-INF/properties/pleade-ville-dole.properties :
pleade.csv-docs-dir=/home/ajlsm/data/ville-dole/ead/
# Le fichier de template xsl.
pleade.ead-file=/home/ajlsm/data/ville-dole/AJSLM_PVR_DATA_EAD/AJSLM_PVR_DATA_EAD_5-fev-02-modifier.csv
# le fichier d'information sur les images
pleade.img-file=/home/ajlsm/data/ville-dole/AJSLM_PVR_DATA_IMG/AJSLM_PVR_IMG_5-modifier.csv
# le fichier d'autorite rameau
pleade.ram-file=/home/ajlsm/data/ville-dole/AJSLM_PVR_RAM/AJSLM_PVR_RAM_1-fev-02-modifier.csv
Accès simplifié
Un accès simplifier et mis en place pour l'utilisateur ville-dole, les chemins sont alors :
- /home/ville-dole/csv-EAD
- /home/ville-dole/csv-IMG
- /home/ville-dole/csv-RAM
- /home/ville-dole/EAD : fichier EAD issu de la conversion des CSV.
Conversion des données en CSV
Export en .csv
Les fichiers de données fournis par le client sont au format .xls. L'application Pléade ne gérant pas ce format, il est nécessaire de les exporter en .csv via OpenOffice.org ou Microsoft Office. Lors de cette conversion il est important de vérifier les 3 paramètres suivants :
- Encodage : UTF-8 ;
- Séparateur de champs : {Tab} (Tabulation) ;
- Séparateur de texte : " (guillemet double).

