User-agent: *
Sitemap: http://pdd.shturman.kiev.ua/sitemap.xml
Sitemap: http://pdd.shturman.kiev.ua/sitemap.xml.gz
Allow: /

User-agent: Slurp
Crawl-delay: 150
User-agent: Twiceler
Disallow: /
User-Agent: W3C-checklink
Disallow: /