bots – agent user – moteurs de recherche : fiches d’informations
Quelques liens utiles et des outils
- log Agent_Log – identifier un utilisateur
- Plugin de détection de UserAgent
- syntaxe et programmation – utilisation du fichier robots.txt
- outil de génération de fichiers robots.txt
- The Robots Exclusion Protocol – standard d’exclusion robot