Há algum tempo atrás eu informei neste post que havia mudado o blog para um novo servidor, agora com domínio próprio (skooterweb.com), saindo de uma hospedagem improvisada com o catastrófico Speedy da Telefonica, para o HostGator, serviço de hospedagem estadosunidense com sede em Houston, Texas e servidores aparentemente em New York City, bem longe dos roteadores problemáticos da Telefonica, que pararam a Internet no estado de São Paulo por dois dias. Agora, um mês após a mudança o site está com uma disponibilidade de 99,99% conforme pode ser conferido aqui no HostTracker, e só não foi 100% porque os servidores responderam com erro 500 (erro interno do servidor) por alguns minutos, por motivos ainda desconhecidos, mas em nenhum momento o link caiu.

Mas nem tudo correu a mil maravilhas nessa mudança, infelizmente as visitas despencaram por conta dos buscadores, principalmente do MSN Search, ou Live Search, ou seja lá o que for que a Microsoft quer que nós o chamemos agora. O fato é que desde a mudança todas as páginas no antigo endereço foram redirecionadas para o novo usando o código http 301 (redirecionamento permanente), que informa automaticamente o novo endereço ao navegador de quem tentar acessar o endereço antigo, tudo isso de forma transparente para o usuário. É de se esperar que os bots dos mecanismos de busca também se redirecionem automaticamente, afinal o uso do código 301 em mudanças de endereços é o que eles mesmos recomendam, mas na prática não é bem assim que as coisas funcionam.

O bot do Google (sei o quanto é desnecessário linkar o Google, mas vou fazê-lo com o propósito de ajudar a manter a web com o propósito para o qual ela foi feita, o hipertexto) vagarosamente começou a indexar as páginas novas, e hoje, quase um mês depois, tenho nesse exato momento aproximadamente 77.800 páginas indexadas pelo Google, e ainda aproximadamente 44.400 páginas indexadas no endereço antigo (mesmo com o código 301 lá todo esse tempo). A soma dos dois números dá aproximadamente a quantidade de págians que eu tinha indexadas no endereço antigo antes da mudança, então pode-se dizer que o Google está trabalhando direitinho, apesar de não haver uma correspondência 1 pra 1 nas páginas desindexadas/indexadas (há páginas que sumiram e outras que estão cadastradas com dois endereços). É verdade que inicialmente as páginas do novo endereço apareciam bem longe dos primeiros resultados de busca, mas isso vem mudando conforme o Google vem “readmitindo” a “importância” de tais páginas.

O bot do Yahoo muito de vez em quando dá as caras, e até o momento indexou 352 páginas somente, mas o Yahoo nunca foi dos melhores para me enviar visitantes, então não me importo tanto com isso.

Agora o bot do MSN é sem dúvida o mais problemático, era ele quem enviava a maior quantidade de visitas para cá, mas agora vem desindexando as páginas antigas e não indexa as novas. Nesse momento são apenas 40 páginas indexadas com o novo endereço, e ainda 32.500 indexadas com o endereço antigo. Mesmo sendo recomendação deles mesmos fazer o redirecionamento com o código 301, o bot deles se recusa a seguir para o novo endereço. Para se ter uma idéia, de acordo com as estatísticas colhidas pelo Apache e sintetizadas pelo AWStats, nesse mês, até o presente momento, o bot do MSN fez apenas 40 requisições ao meu servidor (o mesmo número de páginas indexadas), sem contar 102 acessos ao arquivo robots.txt (que não contém nenhuma restrição). Curiosamente o MSNBot-media que indexa as imagens do site para a busca por imagens já fez 13.036 requisições esse mês. Por que as minhas imagens são interessantes para a Microsoft e minhas páginas não são? Esse é um mistério para o qual eu não tenho resposta, e só posso aguardar que um dia a Microsoft volte a indexar minhas páginas, e espero que esse dia chegue antes de eu ter desistido de tudo, já que depois da mudança os ganhos com o AdSense mal vão dar pra pagar hospedagem e domínio, já que as visitas despencaram para apenas uns 10% do que eram antigamente. Apenas para efeito de comparação o Googlebot requisitou 69.301 nesse mesmo período de 9 dias, e apenas 24 requisições ao robots.txt. Afinal por que a Microsoft pega tanto o robots.txt se ela não vai indexar nada? Ter mais requisições pro robots.txt do que pra todas as outras páginas juntas é um tanto absurdo. Ainda ao mesmo tempo o Yahoo Slurp (bot do Yahoo) requisitou 3000 páginas, das quais indexou apenas cerca de 10%, o que também é um tanto desproporcional.

Ainda sobre o MSNBot, vale lembrar que antes da mudanças as atividades dele eram tão intensas nesse site que acabou saturando o meu pobre link vagabundo de nominais 300 kbps (220 na prática) da incompetente Telefonica, eram cerca de 60.000 requisições por dia vindas unicamente do MSNBot, e só não era mais porque inicialmente o link não aguentava. Lógico que eu poderia ter colocado uma configuração (que a Microsoft disponibiliza) para controlar o intervalo entre requisições, o que retardaria um pouco a indexação, mas como o aumento na quantidade de visitas vindas do MSN aumentou muito, achei que poderia adiantar a mudança para um servidor com link decente e aproveitar o momento, mas infelizmente parece que na prática o melhor seria ter ficado no link congestionado, onde muitas pessoas queriam acessar o site e algumas não conseguiam, do que agora em que todo mundo consegue acessar, mas ninguém quer.

Ah sim, posso ser questionado de porque não mantive o velho link apontando diretamente pra cá (sem 301) para pelo menos manter os ganhos. A resposta é simples, o endereço do No-IP só pode ser redirecionado para IPs, e eu não tenho um IP próprio. Pagar por IP próprio poderia eventualmente funcionar, mas na prática isso tudo só retardaria o processo de conseguir links para o novo endereço, já que muita gente continuaria vendo o antigo e linkando pra ele.

Enfim, termino sem grandes conclusões, a não ser a de que você pense bem antes de mudar de URL, principalmente se sua principal fonte de visitações for o MSN/Live/QualquerCoisa Search da Microsoft.

Popularity: 17% [?]

Artigos relacionados:

1. De volta para o sandbox… Em julho, pouco após o Skooter Blog passar por uma mudança de domínio e de servidor, eu escrevi aqui sobre...
2. Estreando em novo endereço Agora o Skooter conta com um domínio http://www.skooterweb.com/ e com isso o Skooter Blog passa a funcionar no endereço http://www.skooterblog.com...
3. Skooter Blog é vítima da falta de critério do Google mais uma vez Mais uma vez o Skooter Blog está sendo vítima da falta de critério do sistema de buscas do Google. Para...