# permitir que o robô do google indexe todo o site
User-agent: Googlebot
Disallow: 

# permitir que o robô do yahoo indexe todo o site
User-agent: Slurp
Disallow: 

# permitir que o robô do msn indexe todo o site
User-agent: MSNBot
Disallow: 

# permitir que o robô do google-imagens indexe todo o site
User-agent: Googlebot-Image
Disallow: 

# permitir que o robô do yahoo-imagens indexe todo o site
User-agent: yahoo-mmcrawler
Disallow: 

# permitir que o robô do msn-imagens indexe todo o site
User-agent: psbot
Disallow: 

# permitir que todos os robôs de busca indexem todo o site
User-agent: *
Disallow: 

# permitir o adsense em qualquer url
User-agent: Mediapartners-Google
Allow: /

# impedir a indexação dessas pastas do site
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-includes/
Disallow: /wp-admin/


# impedir a indexação de scrips css e afins
User-agent: *
Disallow: /*.asp$
Disallow: /*.asp?$
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

# impedir a indexação de qualquer endereco que contenha ?
Disallow: /*?*
Disallow: /*?

#Sitemap
Sitemap: http://pousadapedrapreta.com.br/urubici/sitemap.xml