Jlarvers : /* Blocage des robots agressifs au niveau Apache */

2026-09-23T18:15:08Z

Blocage des robots agressifs au niveau Apache

← Version précédente		Version du 23 septembre 2026 à 18:15
Ligne 1 :		Ligne 1 :
	== Blocage des robots agressifs au niveau Apache ==		== Blocage des robots agressifs au niveau Apache ==
	[[category:WAF_2026]][[category:Apache]]		[[category:WAF_2026]][[category:Apache]][[category:Robots IA]]
	=== Origine du problème ===		=== Origine du problème ===

Jlarvers : /* Blocage des robots agressifs au niveau Apache */

2026-09-23T10:39:27Z

Blocage des robots agressifs au niveau Apache

← Version précédente		Version du 23 septembre 2026 à 10:39
Ligne 1 :		Ligne 1 :
	== Blocage des robots agressifs au niveau Apache ==		== Blocage des robots agressifs au niveau Apache ==
	[[category:~~WAF~~]]		[[category:WAF_2026]][[category:Apache]]
	=== Origine du problème ===		=== Origine du problème ===

Jlarvers : Page créée avec « == Blocage des robots agressifs au niveau Apache == category:WAF === Origine du problème === En septembre 2026, le site Salamandre du Collège de France a subi une f... »

2026-09-23T08:02:15Z

Page créée avec « == Blocage des robots agressifs au niveau Apache == category:WAF === Origine du problème === En septembre 2026, le site Salamandre du Collège de France a subi une f... »

Nouvelle page

== Blocage des robots agressifs au niveau Apache ==
[[category:WAF]]
=== Origine du problème ===

En septembre 2026, le site Salamandre du Collège de France a subi une forte charge sur Pleade/Tomcat provoquée par les robots d'indexation de Meta, principalement :

<syntaxhighlight lang="text">
meta-webindexer/1.1
</syntaxhighlight>

Le robot parcourait massivement les résultats de recherche Pleade et suivait les liens correspondant aux facettes.

Cela conduisait à la génération d'URL de recherche comportant un nombre croissant de critères, par exemple :

<syntaxhighlight lang="text">
fchamp1=...
fquery1=...
fchamp2=...
fquery2=...
...
fchamp12=...
fquery12=...
</syntaxhighlight>

Ces requêtes sont particulièrement coûteuses pour le moteur de recherche Pleade et leur multiplication finissait par provoquer une forte charge de Tomcat.

Le blocage par adresse IP n'est pas adapté : Meta utilise de nombreuses adresses IP et change régulièrement d'adresse au cours de l'exploration.

=== Solution mise en place ===

Le filtrage est donc effectué au niveau '''Apache, avant que la requête n'atteigne Tomcat''', en se basant sur le User-Agent du robot.

Une configuration Apache spécifique a été créée :

<syntaxhighlight lang="text">
/etc/apache2/conf-available/block-meta-bots.conf
</syntaxhighlight>

Elle permet actuellement de bloquer les principaux User-Agent identifiés de Meta/Facebook :

<syntaxhighlight lang="text">
meta-webindexer
meta-externalagent
meta-externalfetcher
facebookexternalhit
Facebot
</syntaxhighlight>

La configuration est activée globalement dans Apache afin de ne pas dépendre du VirtualHost HTTPS, qui n'est pas administré sur ce serveur.

Activation de la configuration :

<syntaxhighlight lang="bash">
a2enconf block-meta-bots
apache2ctl configtest
systemctl reload apache2
</syntaxhighlight>

=== Vérification ===

Un test direct sur Apache avec le Host du site et le User-Agent de Meta permet de vérifier le filtrage :

<syntaxhighlight lang="bash">
curl -I \
-H 'Host: salamandre.college-de-france.fr' \
-A 'Mozilla/5.0 (compatible; meta-webindexer/1.1)' \
http://127.0.0.1/
</syntaxhighlight>

Résultat attendu :

<syntaxhighlight lang="text">
HTTP/1.1 403 Forbidden
</syntaxhighlight>

Un User-Agent normal doit continuer à accéder au site :

<syntaxhighlight lang="bash">
curl -I \
-H 'Host: salamandre.college-de-france.fr' \
-A 'Mozilla/5.0' \
http://127.0.0.1/
</syntaxhighlight>

Résultat constaté :

<syntaxhighlight lang="text">
HTTP/1.1 200 OK
</syntaxhighlight>

Les journaux Apache montrent ensuite que les véritables requêtes de <code>meta-webindexer</code> reçoivent également un code HTTP '''403'''.

Enfin, la prise en compte du filtrage a été vérifiée dans le journal d'accès de Tomcat :

<syntaxhighlight lang="text">
/home/ajlsm/tomcats/internet/logs/localhost_access_log.YYYY-MM-DD.txt
</syntaxhighlight>

Après activation du filtre, les requêtes provenant des robots Meta bloqués ne parviennent plus à Tomcat. Les accès normaux à Pleade continuent en revanche à être traités normalement.

Le chemin est donc désormais :

<syntaxhighlight lang="text">
Robot Meta
|
v
Apache
|
+---- User-Agent interdit ----> HTTP 403
|
X
Tomcat / Pleade
</syntaxhighlight>

=== Ajout de nouveaux robots ===

Si d'autres robots provoquent à l'avenir le même type de surcharge, '''il faut compléter cette configuration plutôt que créer des règles ailleurs''' :

<syntaxhighlight lang="text">
/etc/apache2/conf-available/block-meta-bots.conf
</syntaxhighlight>

Ajouter le User-Agent du nouveau robot à la règle de filtrage existante.

Après toute modification :

<syntaxhighlight lang="bash">
apache2ctl configtest
systemctl reload apache2
</syntaxhighlight>

Puis vérifier dans les logs Apache que le robot reçoit bien un '''403''' et dans les logs Tomcat que ses requêtes ne sont plus transmises à Pleade.

'''Remarque :''' le robot peut continuer à envoyer des requêtes et donc rester visible dans le journal Apache. C'est normal. L'objectif du filtrage n'est pas de l'empêcher d'émettre ses requêtes, mais de les arrêter immédiatement dans Apache afin qu'elles ne déclenchent plus les traitements coûteux de Pleade/Tomcat.

Blocage des robots agressifs au niveau Apache - Historique des versions

Jlarvers : /* Blocage des robots agressifs au niveau Apache */

Jlarvers : /* Blocage des robots agressifs au niveau Apache */

Jlarvers : Page créée avec « == Blocage des robots agressifs au niveau Apache == category:WAF === Origine du problème === En septembre 2026, le site Salamandre du Collège de France a subi une f... »

Jlarvers : /* Blocage des robots agressifs au niveau Apache */

Jlarvers : /* Blocage des robots agressifs au niveau Apache */

Jlarvers : Page créée avec « == Blocage des robots agressifs au niveau Apache == category:WAF === Origine du problème === En septembre 2026, le site Salamandre du Collège de France a subi une f... »