Definice webového pavouka a webového procházení

Pavouci jsou programy (nebo automatizované skripty), které procházejí webem a hledají data. Pavouci cestují přes adresy URL webových stránek a mohou stahovat data z webových stránek, jako jsou e-mailové adresy. Pavouci se také používají k informování vyhledávačů na webových stránkách.

Pavouci, kteří jsou také označováni jako 'web crawlers', vyhledávají na webu a ne všichni jsou přátelští ve svém záměru.

Spammeři Spider webové stránky shromažďovat informace

Google, Yahoo! a další vyhledávače nejsou jediní, kteří se zajímají o procházení webových stránek - tak jsou to podvodníci a spammeři.

Pavouci a další automatizované nástroje jsou používány spamery k nalezení e-mailových adres (na internetu je tato praxe často označována jako „sklizeň“) na webových stránkách a poté je používají k vytváření spamových seznamů.

Pavouci jsou také nástrojem, který vyhledávače používají k tomu, aby zjistili více informací o svých webových stránkách, ale nezaškrtli je, webové stránky bez instrukcí (nebo „oprávnění“) o tom, jak procházet vaše stránky, mohou představovat významná rizika pro zabezpečení informací. Pavouci cestují následujícími odkazy a jsou velmi zběhlí v hledání odkazů na databáze, programové soubory a další informace, ke kterým nemusíte mít přístup.

Webmasteři mohou prohlížet protokoly, aby zjistili, co pavouci a další roboti navštívili. Tyto informace pomáhají webmasterům vědět, kdo indexuje své stránky a jak často.

Tato informace je užitečná, protože webmasterům umožňuje doladit své SEO a aktualizovat soubory robot.txt tak, aby zakázaly určitým robotům procházet jejich stránky v budoucnu.

Tipy na ochranu vašich webových stránek před nežádoucí robot Crawlers

Tam je poměrně jednoduchý způsob, jak udržet nežádoucí prohledávače z vašich webových stránek. Dokonce i když nejste znepokojeni škodlivými pavouky procházení vašich stránek (obfuscating e-mailová adresa nebude chránit před většinou prohledávače), měli byste stále potřebovat poskytovat vyhledávače s důležitými pokyny.

Všechny webové stránky by měly mít soubor umístěný v kořenovém adresáři nazvaném soubor robots.txt. Tento soubor vám umožňuje instruovat webové prohledávače, kde mají být vyhledávány na indexové stránky (pokud není uvedeno jinak v meta datech konkrétní stránky, které nemají být indexovány), pokud se jedná o vyhledávač.

Stejně jako vy můžete říci, že hledané prohledávače, kde chcete, aby procházely, můžete také říct, kde nemusí jít a dokonce blokovat konkrétní prohledávače z celého webu.

Je důležité mít na paměti, že dobře sestavený soubor robots.txt bude mít pro vyhledávače obrovskou hodnotu a mohl by dokonce být klíčovým prvkem při zlepšování výkonu vašich webových stránek, ale některé robotické roboti budou stále ignorovat vaše pokyny. Z tohoto důvodu je důležité neustále aktualizovat veškerý software, pluginy a aplikace.

Související články a informace

Vzhledem k prevalenci sklizně informací využívaných k hanebným (nevyžádaným) účelům byly v roce 2003 přijaty právní předpisy s cílem učinit některé praktiky nezákonnými. Tyto zákony na ochranu spotřebitele spadají do působnosti zákona CAN-SPAM z roku 2003.

Je důležité, abyste si udělali čas na přečtení zákona CAN-SPAM, pokud se vaše firma zabývá hromadnou poštou nebo shromažďováním informací.

Můžete se dozvědět více o zákonech proti spamu a o tom, jak se s spammery vypořádat, a o tom, co nemusíte dělat, když čtete následující články:

• CAN-SPAM Act 2003
• CAN-SPAM zákony pro neziskové organizace
• 5 Pravidla CAN-SPAM Majitelé malých firem potřebují pochopit