narcis-kliping
Spletni pajek za medijski kliping javnih organizacij, ki uporabljajo sistem NARCIS.
Kaj počne
- Bere vire RSS in kazala strani (sitemap) slovenskih spletnih medijev in odpre nove članke.
- V besedilu članka poišče ključne besede, ki jih spremljajo te organizacije.
- Shrani le naslov, povezavo, čas objave in kratek izsek okrog ključne besede (največ 400 znakov). Besedila članka ne shranjuje.
Kako se obnaša
- Upošteva
robots.txt; ime pajka jenarcis-kliping. - Na isti strežnik pošlje največ eno zahtevo hkrati, z vsaj sekundo razmika.
- Predstavi se z glavo
User-Agent: narcis-kliping/0.1 (media monitoring; +https://kliping.alittis.com).
Kako ga izključite
V robots.txt svoje strani dodajte:
User-agent: narcis-kliping Disallow: /
Pajek pravila prebere znova ob vsakem zagonu, zato začnejo veljati v nekaj minutah.
narcis-kliping
A web crawler for the media monitoring of public organisations that use the NARCIS system.
What it does
- Reads the RSS feeds and sitemaps of Slovenian news sites and opens new articles.
- Looks for the keywords those organisations follow in the article text.
- Keeps only the title, link, publication time and a short excerpt around the keyword (at most 400 characters). It does not store article text.
How it behaves
- It obeys
robots.txt; its token isnarcis-kliping. - It sends at most one request at a time to a host, at least one second apart.
- It identifies itself as
User-Agent: narcis-kliping/0.1 (media monitoring; +https://kliping.alittis.com).
How to opt out
Add this to your site's robots.txt:
User-agent: narcis-kliping Disallow: /
The crawler re-reads the rules on every run, so they take effect within minutes.