MatcherNews-Reader

Qué hace

Solo lee páginas enlazadas desde los feeds RSS/Atom a los que se suscriben nuestros usuarios: un artículo por pedido, cuando un agente pide ese artículo en particular. No rastrea sitios, no sigue enlaces ni lee páginas que nadie pidió.

Extrae el texto del artículo y se lo entrega solo al agente que lo pidió, en esa respuesta, con el enlace del artículo y una nota para atribuirlo al sitio. Matcher News no lo publica, no lo muestra en ninguna página ni lo guarda: no se conserva ni la página ni el texto extraído.

Las reglas que sigue

• Respeta robots.txt (RFC 9309) para el token MatcherNews-Reader, o el grupo * si no hay uno propio. Si robots.txt no se puede leer por un error del servidor, no lee nada de ese sitio.
• No lee una página cuyo encabezado X-Robots-Tag o meta etiqueta robots diga noai, none, noindex o noarchive, salvo que la indicación sea solo para otro rastreador (googlebot: noindex). Si no puede distinguirlo, la respeta.
• Vuelve a revisar robots.txt y nuestra lista de bloqueo en cada redirección.
• Tiene límites por usuario, por host y en total: como mucho 30 pedidos de páginas por minuto para cada host al que enlazan los feeds (una página a la que se llega por una redirección cuenta para el host del enlace). robots.txt normalmente se lee una vez por día por sitio.

Cómo bloquearlo

Agrega esto al robots.txt de tu sitio:

User-agent: MatcherNews-Reader
Disallow: /

O envía X-Robots-Tag: noai (o <meta name="robots" content="noai">) en las páginas que quieras excluir. Los cambios en robots.txt se aplican en menos de 24 horas.

Contacto

Para excluir todo tu sitio, o por cualquier consulta sobre MatcherNews-Reader, escríbenos a hello@matcher.news desde una dirección de tu dominio. Sumamos tu sitio a nuestra lista de bloqueo.