Sorties Montréal

Le robot de Sorties Montréal

Sorties Montréal réunit les sorties du Grand Montréal en un seul endroit. Pour cela, un robot lit les calendriers que les salles, les festivals et les organisateurs publient sur leur propre site.

Ce qu’il lit

Les calendriers iCalendar, les flux RSS et Atom et les données d’événements structurées (schema.org) des pages publiques, et parfois la page d’un événement quand le calendrier n’en donne pas la date. Il enregistre le titre, la date, le lieu, le prix, la description et l’adresse de l’image quand il y en a une, avec le lien vers la page d’origine. Le site public n’en montre que les faits et le lien : il ne republie ni les descriptions ni les images.

À quelle fréquence

Chaque source est relue selon l’horaire fixé pour elle, une fois par jour par défaut. Le robot attend au moins 1,5 seconde entre deux requêtes au même site. Quand un site ne peut pas envoyer son robots.txt (délai dépassé ou erreur du serveur), le robot n’y lit rien pendant 1 heure.

robots.txt

Le robot lit le fichier robots.txt de chaque site avant d’y lire une page, et en suit les règles. Il s’identifie toujours par cet agent utilisateur :

SortiesMontrealBot/1.0 (+https://sortiesmontreal.ca/robot)

Une seule adresse est interrogée sans robots.txt : le service de géolocalisation d’OpenStreetMap (Nominatim), une interface prévue pour ces requêtes, à raison d’une requête par seconde au plus et selon ses conditions d’utilisation.

Le bloquer

Pour qu’il ne lise plus rien de votre site, ajoutez ces lignes à votre robots.txt. Il en tient compte normalement en moins de 24 heures, et au plus tard après 7 jours (la durée pendant laquelle il peut suivre une copie gardée) :

User-agent: SortiesMontrealBot
Disallow: /

Nous joindre

Pour une question, ou pour retirer votre site ou un événement, écrivez-nous : bonjour@sortiesmontreal.ca