Sitemap.xml a Robots.txt: K čemu slouží?

Navigujte roboty na svém webu správně. Ukažte jim, kam smí, kam nesmí a kde najdou to nejdůležitější.

Každý web by měl mít ve svém kořenovém adresáři dva malé, ale nesmírně důležité textové soubory. Pomáhají komunikovat přímo s roboty vyhledávačů.

Robots.txt: Zákazy vstupu

Soubor robots.txt je to první, co vyhledávací robot hledá, když dorazí na vaši doménu. Slouží k instrukcím, které složky nebo soubory nemají být procházeny. Obvykle se tak zakazuje přístup do administrace webu (např. /wp-admin/), do košíku e-shopu, nebo k různým systémovým skriptům. Tím šetříte tzv. "crawl budget" (rozpočet na procházení) a robot tráví čas jen na veřejných stránkách.

Sitemap.xml: Mapa vašeho obsahu

Mapa stránek (sitemap) je naopak seznam všech URL adres, které naopak chcete, aby Google našel a indexoval. Je to obzvláště užitečné u velkých webů, e-shopů nebo čerstvě spuštěných webů, na které ještě nevede mnoho zpětných odkazů.

Sitemapu můžete jednoduše odeslat prostřednictvím nástroje Google Search Console. Google se díky ní okamžitě dozví o nových článcích a produktech. Současné CMS (jako WordPress) sitemapu většinou generují zcela automaticky.