Robots Exclusion Standard
Från Rilpedia
Robots Exclusion Standard, även Robots Exclusion Protocol, robots.txt-protokoll är ett sätt att förhindra att sökrobotar eller sökspindlar, alltså datorprogram som samlar information åt söktjänster på internet, kommer åt vissa delar av en webbplats. Anledningen kan vara att man vill undvika att inaktuella sidor eller visst material dyker upp på ett vilseledande sätt bland sökresultaten, trots att sidorna är tillgängliga för allmänheten via länkar. Metoden bygger på samarbete från söktjänsternas sida - det finns inget krav på att sökspindlar måste följa konventionen. Konventionen följer inte någon fastlagd standard, utan har utarbetats i konsensus.
Innehåll |
Tillämpning
Rent praktiskt tillämpas metoden i form av en fil, "robots.txt", som placeras i webbplatsens rotkatalog (/). I filen anges regler för vilka kataloger eller sidor som inte skall indexeras, och det är även möjligt att ge individuella regler för olika sökspindlar.
Exempel
Detta exempel ger alla spindlar rätt att indexera alla sidor, eftersom jokertecknet "*" matchar alla spindlar och inga sidor anges som förbjudna ("disallow"):
User-agent: * Disallow:
Detta exempel gör att inga sidor på webbplatsen indexeras (åtminstone inte av de robotar som följer konventionen)
User-agent: * Disallow: /
Följande exempel förbjuder spindeln Googlebot (Googles sökspindel) att besöka alla filer i katalogen /cgi-bin/ och sidan /private/private.html
User-agent: Googlebot Disallow: /cgi-bin/ Disallow: /private/private.html
Det finns ett antal funktioner för att styra sökspindlarnas beteende, bland annat kan deras hastighet begränsas för att minska belastningen på webbservern.
Alternativ
Speciella HTML-taggar kan användas för att förhindra indexering av enskilda sidor eller delar av dem (till exempel bilder). Även detta bygger på sökspindlarnas utvecklares goda vilja.
Källor
- Delar av artikeln är en översättning av motsvarande artikel på den engelskspråkiga upplagan av Wikipedia.
- A Standard for Robot Exclusion, sammanfattning av de diskussioner som ledde fram till konventionen, tillgänglig på http://www.robotstxt.org/wc/norobots.html.
