Le robot de Sorties Montréal
Sorties Montréal réunit les sorties du Grand Montréal en un seul endroit. Pour cela, un robot lit les calendriers que les salles, les festivals et les organisateurs publient sur leur propre site.
Ce qu’il lit
Les calendriers iCalendar, les flux RSS et Atom et les données d’événements structurées (schema.org) des pages publiques, et parfois la page d’un événement quand le calendrier n’en donne pas la date. Il enregistre le titre, la date, le lieu, le prix, la description et l’adresse de l’image quand il y en a une, avec le lien vers la page d’origine. Le site public n’en montre que les faits et le lien : il ne republie ni les descriptions ni les images.
À quelle fréquence
Chaque source est relue selon l’horaire fixé pour elle, une fois par jour par défaut. Le robot attend au moins 1,5 seconde entre deux requêtes au même site. Quand un site ne peut pas envoyer son robots.txt (délai dépassé ou erreur du serveur), le robot n’y lit rien pendant 1 heure.
robots.txt
Le robot lit le fichier robots.txt de chaque site avant d’y lire une page, et en suit les règles. Il s’identifie toujours par cet agent utilisateur :
SortiesMontrealBot/1.0 (+https://sortiesmontreal.ca/robot)
Une seule adresse est interrogée sans robots.txt : le service de géolocalisation d’OpenStreetMap (Nominatim), une interface prévue pour ces requêtes, à raison d’une requête par seconde au plus et selon ses conditions d’utilisation.
Le bloquer
Pour qu’il ne lise plus rien de votre site, ajoutez ces lignes à votre robots.txt. Il en tient compte normalement en moins de 24 heures, et au plus tard après 7 jours (la durée pendant laquelle il peut suivre une copie gardée) :
User-agent: SortiesMontrealBot
Disallow: /
Nous joindre
Pour une question, ou pour retirer votre site ou un événement, écrivez-nous : bonjour@sortiesmontreal.ca