Guia de Otimização para mecanismos de pesquisa, SEO Toolkit

Tutorial de SEO

Este tutorial de SEO é composto pelos principais artigos de SEO/SEM que a equipe do Mestre SEO escreveu. Todos os artigos abaixo estão disponíveis no nosso blog e para lê-los basta clicar nos seus links abaixo relacionados.

O Básico do SEO

O que é SEO?
O que é SEM?
O que é Pagerank?
Conceitos Básicos de SEO
Fatores de posicionamento nos mecanismos de busca
Meta tags e sua influência
Tags Heading e Sua Importância no SEO
Bounce Rate e SEO – Conceitos e Valores Aconselhaveis
Tipos de Links

Conteúdo amigável aos mecanismos de busca

SEO e Flash
SEO e Conteúdo Multimídia
Ajax e SEO
SEO e Frames

SEO e Usabilidade

Usabilidade: Introdução e 6 fatores para deixar seu site mais usual
BreadCrumbs – Orientando o seu visitante
Tableless, Web Semântica e SEO: Uso Correto das tags HTML

URLs Amigáveis

Otimização de URL
A influência da ordem dos elementos em uma URL
Utilizando mod_rewrite para criar URLs amigáveis
Canonização de URLs

Realocação de Conteúdo e Códigos HTTP

Códigos de Redirecionamento
Código de Redirecionamento 301 para as linguagens PHP, ASP, htaccess, Coldfusion e Ruby on Rails

Conteúdo Duplicado

Evitando Conteúdo Duplicado

Link Building

Link Building: Construindo Sucesso
Como o Link Building influencia no posicionamento de um site?
Os Benefícios que os Links trazem para o seu Site
Link Building: Como Ganhar Links e Reputação
Link Building: Aumente o PageRank com Linkagem Interna
Link Building: Cadastro em Sites de Busca
Link Building: O Outro Lado da Moeda

Feeds e Social Bookmarking

O que são Feeds e Social Bookmarks
Como Otimizar Feeds e Social Bookmarks
Aumentando as visitas do seu site através de Feeds
5 Dicas para Campanha de Media Social

Técnicas de SEO Duvidosas (Black Hat e Gray Hat)

Gray Hat SEO
Black Hat SEO
Algumas Técnicas Black Hat
Textos com Fundo: Black Hat ou Não?
Cloaking e Geo-Targeting
O que é Link Farm?

Sitemaps

O que são sitemaps?
Formatação dos Sitemaps

Blog SEO

Traga Mais Acessos ao Seu Blog com Páginas Estáticas
Dicas Para Aumentar O Tráfego Em Seu Blog
WordPress SEO: Permalinks, como e porque utilizar?
WordPress SEO: Criação do Mapa do Site
WordPress SEO: Criando o Google Sitemap
WordPress SEO: Akismet na Prevenção de Spam

Google Webmaster Tools

Otimizando o Site com o Google Webmaster Tools – Parte 1
Otimizando o Site com o Google Webmaster Tools – Parte 2
Otimizando o Site com o Google Webmaster Tools – Parte 3
Otimizando o Site com o Google Webmaster Tools – Parte 4
Otimizando o Site com o Google Webmaster Tools – Final

Ferramentas de SEO

Ferramentas Google Para Pesquisa de Keywords
Plugins de SEO para o Firefox
Backlinks e Ferramentas para Análise

Dinheiro perdido na mudança de URL :-(

Como todos os que leem o site devem saber, eu mudei o nome dele. Antes era diegolopes.com.br. A audiência ia bem e os leitores pareciam estar satisfeitos no geral. Mas com este nome, eu imaginava que era mais difícil conseguir patrocinadores. Já pensou eu tentando um patrocínio falando: moço, por favor, dê uma olhada no meu site e veja se é do seu interesse patrociná-lo. E o cara olha o nome diegolopes (acha estranho), e pergunta sobre o que que é. E eu respondo: ah, um pouco de cada coisa. Pois é, não ia dar certo né!

Então mudei o nome para Cultura Livre e comprei a URL culturalivre.com pro 300 dólares dividido em 10 vezes. Na mesma época, mudei de servidor. Eu ainda não sabia fazer isto direito então o site ficou um tempinho fora do ar. Moral da história, junto com a mudança de nome e de servidor, minha audiência caiu de 1800 por dia para 1300. Não bastasse isso eu percebi que se antes a cada texto que eu escrevia minha audiência subia uma média de 50 a 100 pessoas com o nome novo não importava o quanto eu escrevesse, a audiência continuava estagnada.

Comecei a fazer umas análises e descobri que para minha audiência melhorar eu teria de fazer o redirecionamento do diegolopes.com.br para o culturalivre.com, fiz isso e nada. Investi em SEO e nada. Então comecei a deletar algumas páginas minhas do índice do google e a restringí-las via robtos.txt. Novamente minha audiência caiu mais ainda. Comecei a otimizar URLs com mais palavras-chaves, mas sem fazer oredirecionamento para as antigas, novamente outra queda.

Quando tudo parecia perdido, decidi fazer uma campanha de Social Marketing e espalhar alguns links pela Web, agora meu site está com 3 no Page rank da google e parecendo que vai melhorar. Vamos ver. Aguardem as cenas do próximo capítulo.

Consultoria em SEO
As fases do SEO

Ranking de sites sobre SEO, mídias sociais, monetização, marketing e afiliados

Se você é daqueles que ainda está procurando saber quem é quem no ramo de consultoria Web, seus problemas acabaram! rsrs

Neste post disponibilizo um link que contém uma lista dos sites mais visitados da web sobre SEO, mídias sociais, monetização, marketing e afiliados.

Esta lista contém números de assinates de RSS, seguidores do Twitter page Rank de diversos serviços e etc. Então, da pra ter uma boa ideia de onde procurar sobre estes assuntos. Pois é como dizem, a voz do povo é a voz de Deus!

Ranking de sites sobre SEO, mídias sociais, monetização, marketing e afiliados

Sobre SEO, mídias sociais, monetização, marketing e afiliados
Sobre SEO, mídias sociais, monetização, marketing e afiliados

Web Analytics – Uma Visão Brasileira – Técnicas de SEO e Monetização

seo-web-analytics
seo-web-analytics

Um dos slides mais completo que vi até agora sobre o Web analytics e técnicas de SEO e conversão (renabilização do site, monetização). Aborda desde a história deste ramo até técnicas avançaadas e conversão e estudo de métricas.

E-business e as oportunidades corporativas na Web Contemporânea

e-business
e-business

A história da internet em alguns slides. A importância da Web Analytics (mensuração de audiência por resultados) é sempre evidenciada.

SEO – Keyword targeting perfeito na otimização da página

seo-keyword-targeting
seo-keyword-targeting

Keyword Targeting perfeito na otimização da página

Como eu construo uma página perfeitamente otimizada?

Se você trabalha com SEO, provavelmente já ouviu muito esta pergunta. Infelizmente, não tem resposta curta e direta, mas há conjuntos de melhores práticas que podemos ensiná-lo e ajudar a alcancá-las. Neste artigo, eu irei compartilhar nossas principais recomendações sobre como trabalhar perfeitamente as palavras-chaves do texto, ou pelo menos, perto disto. Algumas destas recomendações são apoiadas por dados, estudos correlacionados e testes extensivos, enquanto outras são apoiadas simplesmente no feeling da experiência. Como tudo em SEO, nós recomendamos testes e refinamentos constantes, embora este artigo possa ser o ponta-pé incial.

The Percectly Optimized, Keyword Targeted Page

HTML Head Tags

  • Title – o mais importante de todos os elementos de palavras chaves da página, o título da página deve conter preferencialmente a palavra-chave nas primeiras palavras. Em nossos estudos de correlação de dados, surgiu o gráfico a seguir:
    Importance of Query in Title

    Claramente, o uso de palavras-chaves de interesse como as primeiras palavras no título da página, tem a maior correlação com altas classificações, e as posições subseqüentes estão correlacionar quase certo aos rankings mais baixos.

  • Meta Description – Embora não seja usada para “rankings” por qualquer um dos motores principais, a meta descrição é um lugar importante para a utilização de palavras-chaves, pois ela aparece nos resultados da pesquisa. Uma meta description instigante e com palavras chaves ajuda a aumentar a taxa de cliques, aumentando assim, o tráfego de derivados de qualquer posição no ranking.
  • Meta Keywords – Yahoo! é o único entre os motores de busca que utiliza esta meta tag, embora não seja tecnicamente para rankings. No entanto, com a união da Microsoft com a Yahoo! que resultou no Bing, a última razao para empregar a tag não existe mais. Isso, combinado com o perigo de não usar palavras-chave para a pesquisa competitiva, significa que não recomendamos mais o emprego da tag.
  • Meta Robots – embora não necessária, esta tag não deve conter NENHUMA diretiva que possa potencializar a não permissão de acesso aos robôs de bussca.
  • Rel=”Canonical” – quanto maior e mais complexo um site for, mais aconselhamos o uso de canonical URL tag para evitar potenciais conteúdos duplicaos. Evita-se assim que se perca o Link Juice de um URL.
  • Outras Meta Tags – meta tags, como os oferecidos pela DCMI ou FGDC parecem convincentes, mas atualmente não trazem benefícios para SEO com os motores principais. Portanto, adicionar complexidade desnecessária e tempo de download não é indicado.

URL

  • Comprimento – URLs curtas tem uma performance melhor nos buscadores e são mais fáceis de serem copiada/colada poroutros sites, compartilhadas e linkadas.
  • Keyword Location – Quanto mais próxima a palavra-chave alvo está do nome de domínio melhor. Assim, site.com/keyword supera site.com/pasta/subpasta/palavra-chave e é o método mais recomendado de otimização (embora este não é, certamente, um benefício maciço de rankings)
  • Subdomínios vs. Páginas – Como nós temos conersado sobre anteriormente neste link, apesar da ligeira vantagem do uso de palavras-chave em subdomínios na URL tem ao invés do uso de subpastas ou páginas, os algoritmos de atribuição de popularidade pendem a balança a favor de subpastas/páginas ao invés de subdomínios.
  • Separadores de Palavras – Hífens ainda são os reis dos separadores de palavras-chave em URLs, e apesar de existirem outros metódos, a incompatibilidade destes com os diversos motores de busca torna o hífen a escolha clara.

Tags de Corpo

  • Número de repetições da palavra-chave – É impossível identificar o melhor número exato de vezes para empregar um termo chave/frase na página, mas esta regra simples tem nos servido bem por um longo tempo – “2-3x nas páginas curtas, 4-6x nas mais longas e nunca mais do que fizer sentido no contexto da cópia. “A vantagem de outra instância de um termo é tão minúscula que parece insensato ser muito agressivo com esta métrica.
  • Densidade da palavra-chave – Um mito completo como um componente algorítmico. A desidade da palavra-chave no entanto, permeia mesmo as mentes de SEO mais afiadas. Embora seja verdade que o uso mais de um termo-chave/frase pode potencialmente melhorar a segmentação/classificação, não há dúvida de que a densidade de palavras-chave nunca foi a fórmula que esta relevância foi medida.
  • Variações do uso da palavra-chave – Longas suspeitas de influênciar rankings de motores de busca (embora nunca tenha estudado em uma profundidade de detalhes que é convincente para mim), a teoria é de que o uso de palavras-chave variadas ao longo de uma página pode ajudar na otimização do conteúdo e otimização. No entanto, vale a pena uma pequena quantidade de esforço. Recomendamos que empreguem pelo menos uma ou duas variações de um termo e potencialmente divida frases que contêm palavras-chave e use-as no corpo.
  • Cabeçalho H1 – A tag H1 tem sido pensado para ter grande importância na otimização da página. Correlação de dados recentes de nossos estudos, no entanto, demonstrou que tem uma correlação muito baixa com classificações elevadas nos buscadores (perto de zero, na verdade). Enquanto esta evidência é convincente, a correlação não é causalidade e pela semântica e por razões de SEO, ainda aconselhamos a utilização adequada da tag H1 como o título da página e, de preferência, o emprego do termo de palavras-chaves específicas/frase.
  • H2/H3/H4/Hx – Mesmo em menor importância do que a H1, nossa recomendação é válida apenas se for necessário. Essas marcas parece trazer pouco ou nenhum valor de SEO.
  • Atributo Alt – Surpreendentemente, o atributo alt, muito pouco pensado para carregar peso em SEO, mostrou ter uma correlação muito forte com altas classificações em nossos estudos. Assim, recomendamos o uso de uma imagem gráfica/foto/ilustração com o atributo alt da tag img contendo a palavra-chave mais importante utilizada no texto.
  • Nome de arquivo da imagem – Uma vez que o tráfego de imagens pode ser uma fonte substancial de visitas e nomes de arquivos de imagem parece ser valiosa para a indexação e boa colocação desta, bem como pesquisa na web natural, sugerimos o uso do termo chave/frase como o nome do arquivo de imagem utilizado na página.
  • Bold/Strong – Usando uma palavra-chave em negrito/strong parece carregar uma quantidade muito, muito pequena de peso em SEO. Portanto, é sugerido como uma boa prática a utilização do termo alvo/frase pelo menos uma vez em negrito. Perca seu tempo com coisas mais confiáveis.
  • Itálico/Emphasized – Surpreendentemente, usar as tags itálico/emphasized no texto parece ter uma correlação ligeiramente superior com classificações elevadas de ao usar as tags negrito/strong. Assim, sugerimos o uso de palavras-chave específicas em itálico.
  • Âncoras de links internos – Parecem não serem levados em conta.
  • Comentários HTML – Como o de cima, parece não fazer diferença para os buscadores.

Links Internos & Local na Arquitetura do Site

  • Click-Depth – Nossa recomendação geral é que, quanto mais competitivo e desafiador um termo chave/frase é para a classificação, maior deve ser a arquitetura interna de um site (e, portanto, a menos cliques da home page deve estar para chegar a esse URL).
  • Número/Porcentagem de Links Internos – Mais vinculado às páginas tendem a classificações mais elevadas. Portanto, quanto mais links internos tiver para estas páginas melhor.
  • Links no Conteúdo vs. Navegação Permanente – Parece que o Google e outros motores estão fazendo mais para reconhecer a localização na página como um elemento de consideração de link. Assim, empregando links para páginas no Wikipedia-style (do conteúdo do corpo de uma parte) ao invés de uma navegação permanente, pode potencialmente fornecer algum benefício. Não se esqueça, porém, que a Google conta somente o primeiro link para uma página que eles vêem no HTML.
  • Localização dos links nas Laterais e Rodapés – Pedidos recentes de patente, trabalhos de busca e experiências de dentro da SEOmoz e muitos praticantes sugerem externamente que o Google pode ter fortemente descontado links colocados no rodapé e, em menor grau, na barra lateral de páginas. Assim, se você estiver utilizando um link na navegação permanente, pode usar a navegação superior (acima do conteúdo) para efeitos de SEO.

Arquitetura da Página

  • Localização da Palavra-Chave – Aconselhamos que palavras-chaves importantes devem, preferencialmente, ser apresentadas nas primeiras palavras (50-100, mas espero ainda mais cedo) do conteúdo de uma página de texto. Os motores de busca parecem ter alguma preferência para as páginas que utilizam palavras-chave mais cedo do que mais tarde, no texto.
  • Estrutura do Conteúdo -Alguns praticantes defendem o uso de determinados formatos de conteúdo (introdução, corpo, exemplos, conclusão ou o estilo de narrativa jornalística, dados, conclusão, parábola) para SEO, mas não temos visto qualquer dados formais sugerindo que isto seria valioso para classificações mais elevadas. Assim, sinta o que funciona melhor para o conteúdo e pros visitantes, provável é o ideal.

Porque nós nem sempre obedecemos estas regras?

Esta resposta é relativamente fácil. A verdade é que no processo de construção de um bom conteúdo, nós algumas vezes esquecemos, ignoramos e por vezes desobedecemos intencionalmente as melhores práticas citadas acima. A otimização da página, embora certamente importante, é apenas mais uma peça do quebra cabeça para se atingir os melhores rankings:

Google's Ranking Algorithm Components

(FYI – O novo ranking factors survey data está para ser lançado muito, muito em breve)

É certamente bom para obter a otimização da página, palavras-chaves certas num maior número de lugares estratégicos de SEO possíveis. Mas a otimização da página pelas técnicas de SEO, na minha opinião, segue a regra dos 80/20 bem de perto. Se você obter os melhores 20% das peças mais importantes (títulos, URLs, links internos) da lista acima, à direita, você poderá obter 80% (talvez mais) do valor possível da otimização de uma página.

Melhores Práticas para Ranking #1

Curiosamente, embora talvez não tão surpreendente para os mais experientes em SEO, a verdade é que a otimização da página não necessariamente te colocará no topo dos rankings de busca. Na verdade, a ordem para alcançar os primeiros resultados seria mais como:

  1. Acessibilidade – garanta que seu site seja acessível aos motores de busca. Se um conteúdo não for acessível através de links internos ele não poderá ser indexado, e isto é o mais importante desta lista.
  2. Conteúdo – você precisa ter comprometimento, material de alta qualidade que não só atraia interesse, mas também instigue ao visitante compartilhar a informação. Viralidade do conteúdo é, possivelmente, o mais importante/valoroso fator na equação do ranking, porque vai produzir a mais alta taxa de ligação de conversão (a proporção de quem visita o link depois de vê-lo).
  3. Elementos Básicos da Página – colocando a palavra-chave exata na segmentação dos elementos mais importantes (títulos, URLs, links internos), prevê-se um grande impulso na capacidade potencial de uma página para um bom desempenho nos motores de busca.
  4. Experiência do Usuário – a usabilidade, a interface de usuário e a experiência total fornecido por um site, influencia fortemente os links e citações que ganha, bem como a taxa de conversão e taxa de navegação de tráfego que visita.
  5. Marketing – Eu gostaria de dizer que “um bom conteúdo não é nenhum substituto para um bom marketing.” A maravilhosa máquina de marketing ou a poderosa campanha tem o poder de atrair muito mais ligações do que o conteúdo pode “merecer”, e embora isso possa parecer injusto, é um princípio no qual todo o capitalismo tem funcionado nos últimos cem anos. Espalhar a palavra muitas vezes é tão importante (ou mais) do que estar certo, ser honesto ou ser valoroso (basta olhar para o espectro político).
  6. Avançada/Completa Otimização da Página – aplicação de todas as anteriores, com especial atenção aos detalhes, certamente, não é inútil. Mas está, para melhor ou pior, na parte inferior desta lista por uma razão; em nossa experiência, ela não acrescenta tanto valor como os autros técnicas descritas.

Como sempre, estou ansioso para ouvir seus pensamentos e experiências sobre as recomendações específicas de cima e sobre o conceito geral de página “perfeitamente” otimizada.

WordPress robots.txt with disallow, noindex and sitemap filetype

robots-txt-wordpress
robots-txt-wordpress

Sintaxe do robots.txt, como funciona e ajuda na indexação

  • http://www.searchtools.com/robots/robots-txt.html
  • http://www.askapache.com/seo/seo-with-robotstxt.html

Construtores automáticos de robots.txt

Geradores automáticos de robots.txt não são bons de serem usados. Pois o robots.txt deve ser feito de acordo com a estrutura de navegação do site e da plataforma em cima da qual foi contruído. O difícil em montar um bom robots.txt não consiste na linguagem, que é banal, e sim no conhecimento sobre oque deve ou não ser indexado, e é isto que varia de site para site e/ou de plataforma para plataforma. Como disse, não tem porque usar isto. Portanto que te sirva apenas de exemplo:

  • http://www.marketingdebusca.com.br/robots-txt/
  • http://www.mcanerin.com/EN/search-engine/robots-txt.asp

Ferramentas para testar sintaxe:

Ferramenta boa para aconselhar e verificar se tem erros em seu robots.txt, mas quem deve dar a palavra final deve ser você. Não entendi porque ele aconselha a não fazer várias coisas que todo mundo faz, talvez ele te aconselha do ponto de vista mais genérico. Por isto é bom entender como os diversos robôs funcionam também, e vale à pena seguir as diretrizes apenas da google.

  • https://www.google.com/webmasters/tools/robots

Veja como os Robôs veêm sua página em tempo real:

Uma excelente ferramenta para “sentir-se na pele” de um robô de busca:

  • http://www.xml-sitemaps.com/se-bot-simulator.html

Erros de SEO que podem levar seu site a perder audiência

  • http://www.brpoint.net/nao-crie-uma-gaiola-para-o-google.html

Textos sobre robots.txt específicos para WordPress

  • http://codex.wordpress.org/Search_Engine_Optimization_for_Wordpress
  • http://www.twentysteps.com/creating-the-ultimate-wordpress-robotstxt-file/ (o que mais gostei até agora e que tem mais haver com o oficial)
  • http://www.askapache.com/seo/wordpress-robotstxt-seo.html

Exemplos de robots.txt de sites respeitados e de boa audiência

Todos os sites abaixo usam o WordPress como CMS para gerenciarem seus sites. Notem que há muita coisa em comum entre eles. Vale notar também que o robots.txt da Smashing Magazine possui alguns “Allows” para “tags” em seu robots.txt, isto acontece quando se tem certeza que não causará conteúdo duplicado e sua tag está otimizada como uma boa palavra-chave. Talvez seja interessante “dar um Allow” também para as tags de mais audiência do seu site, isto pode ser visto pelo Analytics. Talvez elas sejam de grande audiência justamente por estarem bem otimizadas do ponto de vista de SEO.

Reparem também que há pessoas que usam bloquear totalmente as páginas de datas, tags, pages ou categorias. Ao bloquear as minhas pages, archives e tags, eu perdi muita audiência e vi que os textos oficiais do WordPress.org e vários outros textos não recomendam isto, por isto, por enquanto não recomendo.

Notem que os que retiraram as tags por inteiro (a Smashing Magazine não fez isto), ainda o fizeram de forma errada, porque se escreve /tag/ no robots.txt e não /tags/, pois não existe esta pasta no plural. Parece que isto aconteceu porque todo mundo copiou o robots.txt do brPoint, que pelo que vi é o texto em português mais famoso sobre o assunto. Vamos aprender inglês galera!

Robots.txt da Smashing Magazine: http://www.smashingmagazine.com/robots.txt

Sitemap: http://smashingmagazine.com/sitemap.xml

User-agent: Mediapartners-Google*
Disallow:

User-agent: *
Disallow: /cc/
Disallow: /wp-admin/
Disallow: /tag/
Disallow: /wp-rss.php
Disallow: /wp-rss2.php
Disallow: /*?
Disallow: /*comment-page

User-agent: *
Allow: /tag/wallpapers/
Allow: /tag/icons/
Allow: /tag/photos/
Allow: /tag/css/
Allow: /tag/javascript/
Allow: /tag/wordpress/
Allow: /tag/photoshop/
Allow: /tag/typography/
Allow: /tag/freebies/
Allow: /tag/tools/
Allow: /tag/tutorials/
Allow: /tag/freelance/
Allow: /tag/CMS/
Allow: /tag/illustrator/
Allow: /tag/ui/
Allow: /tag/usability/
Allow: /tag/flash/
Allow: /tag/blogs/
Allow: /tag/navigation/
Allow: /tag/portfolios/
Allow: /tag/textures/
Allow: /tag/brushes/
Allow: /tag/favicons/
Allow: /tag/logos/

User-agent: MSIECrawler
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Fasterfox
Disallow: /

Sitemap do Brpoint: http://www.brpoint.net/robots.txt
Artigo escrito sobre Robots.txt: http://www.brpoint.net/o-robotstxt-ideal-para-o-wordpress.html

# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://www.brpoint.net/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN

User-agent: *
# remova os diretorios
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: */feed/
Disallow: /tags/
Disallow: /*feed*
Disallow: /*index.html$
Disallow: /recomendo

User-agent: Googlebot
# remover scrips css e afins
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

# permitir o adsense em qualquer url
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

Robots.txt do Futilidade Pública: http://futilidadepublica.semjuizo.com/robots.txt
Artigo escrito sobre Robots.txt: http://futilidadepublica.semjuizo.com/2007/06/17/brpoint-o-blog-que-duplicou-as-visitas-deste-blog/

User-agent: *
# remova os diretorios
Disallow: /cgi-bin/
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /tags/
Disallow: /programas

User-agent: Googlebot
# remover scrips css e afins
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

# qualquer endereco que contenha ?
Disallow: /*?*

# permitir o adsense em qualquer url
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

#Sitemap
Sitemap: http://futilidadepublica.semjuizo.com/sitemap.xml

Robots.txt do Yogodoshi: http://www.yogodoshi.com/blog/robots.txt
Artigo escrito sobre Robots.txt: http://www.yogodoshi.com/blog/wordpress/robotstxt-para-wordpress

User-agent: *
Allow: *
# remova os diretorios
Disallow: /cgi-bin/
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /tags/

User-agent: Googlebot
# remover scrips css e afins
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$

# permitir o adsense em qualquer url
User-agent: Mediapartners-Google*
Disallow:
Allow: *

Robots.txt para imgens

Artigo escrito sobre Robots.txt: http://www.fique-rico.com/2009/08/10/semana-do-seo-gerindo-o-acesso-dos-robots-ao-seu-blog/

Geradores automáticos de robots.txt não são bons de serem usados. Pois o robots.txt deve ser feito de acordo com a estrutura de navegação do site e da plataforma em cima da qual foi contruído. O difícil em montar um bom robots.txt não consiste na linguagem, que é banal, e sim no conhecimento sobre oque deve ou não ser indexado, e é isto que varia de site para site e/ou de plataforma para plataforma.