Foram os mecanismos de pesquisa que impuseram ordem na imensidão de endereços da internet e também são eles os principais responsáveis por levar o público do seu negócio até o site, a loja ou o blog da sua empresa.
Seus incansáveis rastreadores varrem a internet dia e noite em busca de novos conteúdos para compor seus disputados rankings de pesquisa. O que você talvez não saiba é que é possível dar uma mãozinha a esses robôs simplesmente disponibilizando um pequeno arquivo no seu servidor: o sitemap!
Se você já tem alguma familiaridade com o Marketing Digital, deve entender a importância de ter um site leve, responsivo e otimizado de acordo com as boas práticas de SEO. Os sitemaps estão inseridos nesse assunto, porém, seu foco está na indexação das páginas pelos buscadores.
Continue a leitura deste artigo supercompleto para entender a importância desses “mapas” e aprender a criar o seu!
O que é um sitemap?
O sitemap é um arquivo ou documento de texto desenvolvido para facilitar o processo de indexação de páginas nos motores de busca, tais como Yahoo!, Bing e, claro, o Google.
Os rastreadores, ou crawlers, como também são chamados, foram aprimorados com o passar do tempo, mas a densidade de conteúdos na internet também cresceu vertiginosamente, dificultando o trabalho desses robôs.
Em geral, os mecanismos de busca descobrem novas páginas a partir de links presentes naquelas que já foram indexadas. Os sitemaps, por sua vez, complementam essa varredura listando todas as URLs de um site atreladas a metadados que informam quando ela foi criada ou modificada, e com que frequência é atualizada, bem como seu idioma e sua relevância em relação às outras páginas.
Em arquivos de mídia, como os vídeos, também são informados o tempo de execução, sua categoria e até a faixa etária do conteúdo. Já nas imagens, são anexadas informações como tipo de arquivo, resolução, assunto e licenças de uso.
Em geral, os sitemaps podem ser acessados incluindo-se “/sitemap.xml” logo após o endereço do site — o sitemap do Google, por exemplo, está disponível no endereço https://www.google.com/sitemap.xml.
Abaixo você confere um exemplo de sitemap básico que informa a localização de um único endereço.
<?xml version="1.0" encoding="UTF-8"?>
<urlset >
<url>
<loc>ENDEREÇO-DO-SITE</loc>
<lastmod>2005-01-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
</urlset> Se você nunca se deparou com um arquivo como esse antes, provavelmente deve estar achando que esse tal de sitemap não passa de um amontoado de símbolos e URLs sem sentido. No entanto, se prestar atenção em alguns trechos perceberá que o documento traz diversas informações importantes como:
- “<loc>”: localização da URL;
- “<lastmod>”: data da última modificação;
- “<changefreq>”: frequência de atualizações;
- “<priority>”: nível de relevância.
Resumindo tudo isso em outras palavras, podemos dizer que o sitemap simplesmente ordena e “traduz” os dados do seu site para a língua dos buscadores e, ainda, reúne tudo isso em um documento legível.
Sitemap ou mapa do site: do que estamos falando, afinal?
Ao pesquisar sobre sitemap ou mapa do site, alguns conteúdos aparentemente desconexos podem acabar te deixando confuso. O que ocorre é que o termo tem dois significados diferentes dentro do mesmo contexto — no caso, os websites.
Muitas páginas que surgem nos resultados tratam o conceito como a representação hierárquica da estrutura de um site. Esse tipo de sitemap é um documento geralmente usado por desenvolvedores e web designers para definir a ordem e a navegação das páginas em um projeto. Veja só como é o seu visual.
Além da criação de sites, essa representação em arquitetura da informação é muito útil no desenvolvimento de softwares, aplicativos, plataformas SaaS e, também, no planejamento de estratégias e melhorias em UX (User Experience).
Como você vê, esse não é o assunto do nosso artigo. Embora ele também contenha informações sobre a estrutura e a relevância das páginas, o “mapa do site” do qual tratamos aqui é o documento digital cuja principal função é esclarecer o conteúdo dos sites para as ferramentas de pesquisa.
Essencialmente, não há diferença entre as duas formas, sitemap ou mapa do site, portanto, o uso da palavra só pode ser esclarecido em seu contexto. Entretanto, quando nos referimos aos arquivos com metadados criados para o serviço de indexação dos buscadores, a maioria dos conteúdos disponíveis priorizam o termo sitemap. Não se confunda!
Quando e por que criar um sitemap?
Quando as páginas de um site estão devidamente vinculadas, os rastreadores da web, como o Googlebot, são capazes de detectar com agilidade a maior parte do conteúdo publicado. Os sitemaps, portanto, desempenham um papel mais crítico nos sites que trabalham com arquivos menos usuais ou disponibilizam grandes quantidades de dados.
Páginas muito distantes — que exigem que um longo percurso de links seja percorrido para serem acessadas — podem levar muito tempo para serem identificadas. Da mesma forma, conteúdos específicos baseados em linguagens menos convencionais, como AJAX, podem ser mal compreendidos pelos motores de busca.
Outro ponto importante diz respeito às atualizações. Alguns portais de notícias e blogs muito ativos geram um volume de informação diário tão grande que suas publicações dificilmente seriam indexadas de maneira instantânea apenas com o esforço dos crawlers.
Sendo assim, podemos listar alguns critérios que indicam a maior necessidade de uso dos sitemaps. São eles:
- site muito grande: quando existem muitas páginas para serem indexadas, é possível que os robôs ignorem alguns endereços e atualizações;
- site recente: quando o site é novo e conta com poucos links externos, a sua descoberta pelos rastreadores pode demandar mais tempo;
- páginas isoladas: quando o site conta com um link building deficiente, algumas categorias e páginas podem ser perdidas na indexação;
- site com conteúdo rich media: sites que desejam ser rankeados em categorias específicas do ranking de pesquisas, como o Google Notícias ou o Google Shopping.
Ainda que seu site ou blog não se insira exatamente nos critérios citados, o sitemap pode contribuir com o seu rastreamento ao esclarecer para os buscadores as páginas que considera mais relevantes, além de impedir que partes importantes do conteúdo sejam perdidas nas varreduras.
Porém, não se engane. Os sitemaps não garantem que todos os itens de um site serão rastreados e indexados, muito menos contêm comandos capazes de fazer com que páginas específicas sejam incorporadas imediatamente — eles são apenas facilitadores.
A qualidade do rastreamento também depende de parâmetros definidos pelos algoritmos de cada plataforma de busca. Os sitemaps, portanto, simplesmente facilitam a interpretação do conteúdo de um site e suas atualizações, tornando o processo de indexação mais eficiente.
Quais são os formatos, tipos e padrões de sitemap?
Em 2006, as corporações Google, Yahoo! e Microsoft firmaram um acordo definindo um padrão para a criação dos sitemaps. O propósito era facilitar a indexação dos sites, independentemente da plataforma de pesquisa utilizada pelo usuário.
O resultado foi uma digna relação ganha-ganha. Além de ajudar os webmasters a inserirem as páginas dos seus sites nos buscadores, a iniciativa também tornou o rastreio dos sites mais eficiente, enriquecendo os resultados de pesquisas de todas as ferramentas.
As diretrizes do padrão definido estão disponíveis no portal sitemaps.org e podem ser aplicadas em diferentes formatos de arquivo. Há também extensões que permitem a indexação de páginas em categorias específicas dos buscadores como as abas vídeos, imagens ou notícias. Vamos discutir um pouco mais sobre tudo isso agora.
Os principais formatos de sitemaps
O mais famoso buscador da atualidade, o Google, aceita sitemaps em diversos formatos, como RSS, mRSS, Atom 1.0 e TXT. Entretanto, o padrão mais eficiente e difundido é o XML.
O mais simples de todos, sem dúvidas, é o TXT, que nada mais é do que um arquivo de texto no qual as URLs de um site são listadas. Os formatos RSS, mRSS e Atom são muito conhecidos devido aos clássicos feeds de notícias, entretanto, eles se limitam por serem capazes de informar apenas as postagens recentes dos sites.
Os sitemaps XML, por sua vez, são mais eficientes em todos os sentidos. Além de listarem e classificarem as URLs com base em vários critérios diferentes, eles também comunicam aos buscadores informações adicionais de mídia que podem ser muito importantes, principalmente se o foco das suas publicações são produtos ou conteúdos audiovisuais.
As principais extensões ou tipos de sitemaps
É possível criar sitemaps especialmente para suas publicações de vídeo, imagem, notícia ou e-commerce. Os mecanismos de pesquisa contam com seções específicas para esses conteúdos e você pode informá-los que deseja rankear o seu conteúdo em alguma delas.
Nesse caso, será preciso criar um sitemap adicional somente para a categoria em questão. A única diferença desse novo arquivo são as extensões que permitem a incorporação de dados complementares, tais como a duração de um vídeo, a autoria de uma imagem ou o preço de um produto.
Quanto à categoria Notícias, do Google, é bom destacar que, antes de enviar um sitemap com as extensões recomendadas, será preciso fazer um cadastro no Google News Publisher Center.
Os principais padrões definidos pelos buscadores
Existem alguns limites estabelecidos para os sitemaps. Arquivos que ultrapassam os 50 MB (não compactados) ou contam com mais de 50 mil URLs listadas não são aceitos pelo Google. É claro que, salvo em grandes portais e lojas virtuais, esses números são muito maiores do que um site comum é capaz de gerar.
No entanto, se esse for o caso, é possível “dividir” o mapa do seu site em diversos sitemaps. Você pode, por exemplo, criar mapas por categorias ou temas, enriquecendo a indexação e facilitando a identificação de problemas no processo.
Outro ponto importante é que, quando trabalhamos com vários sitemaps diferentes, é recomendável criar um arquivo index indicando o caminho para os outros mapas, ou seja, um sitemap para os seus sitemaps. A ajuda do Search Console do Google disponibiliza um tópico específico explicando como dividir sitemaps grandes.
Como criar um sitemap?
Certo, é hora de botar a mão na massa e criar um sitemap do zero! Existem diversas maneiras de se fazer isso, seja manualmente, seja com a ajuda de ferramentas, sendo que, em geral, o processo é relativamente simples. Confira!
1. Defina as URLs que serão listadas
A primeira coisa a fazer antes de partirmos para o processo de criação é definir quais páginas serão rastreadas pelo Google. A princípio você pode imaginar que o ideal é anexar todos os endereços do seu site, mas as páginas que contêm termos de uso ou manuais de utilização, por exemplo, podem não ser muito interessantes nos resultados das pesquisas.
2. Defina os formatos e as extensões que serão utilizadas
Como descrito, você pode criar um sitemap em diferentes formatos, sendo o XML o mais recomendado. Ao criá-lo manualmente, basta usar um editor de texto simples como o Bloco de Notas do Windows e salvar o arquivo na versão XML com a codificação UTF-8.
3. Crie seu sitemap
Opção 1: manualmente
Todos os protocolos e definições de tag estão disponíveis no portal sitemaps.org. As principais obrigações descritas são:
- iniciar o documento com a tag de abertura “<urlset>” e terminar com a tag de fechamento “</urlset>”, sem as aspas;
- especificar o protocolo padrão na tag “<urlset>”;
- em cada URL adicionada, incluir uma tag “<url>” como uma tag pai e uma entrada filha “<loc>”.
Se, por acaso, você for utilizar extensões para aprimorar a indexação de vídeos, imagens ou notícias, será preciso seguir as diretrizes que cada ferramenta de pesquisa disponibiliza. Confira abaixo os tópicos de ajuda do Google para cada tipo de conteúdo:
Se você não tem conhecimento na criação desse tipo de arquivo, não se preocupe. Existem muitas ferramentas que podem te ajudar a criar um sitemap de um jeito muito mais fácil.
Opção 2: com ferramentas
Com algumas ferramentas práticas, podemos criar um sitemap com poucos cliques. Confira algumas opções a seguir.
Ferramentas independentes — o Google disponibilizava um gerador de sitemaps próprio, mas infelizmente o projeto foi descontinuado.
Entretanto, ainda existem algumas alternativas interessantes como o GsiteCrawler, que simula os robôs dos buscadores e cria um sitemap automaticamente, e o XML-Sitemaps, que cria mapas gratuitos para sites com até 500 páginas.
Ferramentas para WordPress — se o seu site roda a partir do CMS mais querido do planeta, o WordPress, você não enfrentará dificuldade alguma para criar os seus sitemaps.
Plugins básicos como o Better WordPress Google XML Sitemaps ou ferramentas de SEO completas como o Yoast SEO, resolvem tudo para você de forma prática e intuitiva. Os sitemaps do nosso blog, inclusive, são gerados pelo Yoast SEO. Você pode conferir um deles aqui!
O que faço com meu sitemap?
Em princípio, a recomendação é que seus sitemaps sejam carregados no seu servidor, sendo que você pode fazer isso manualmente por meio do cPanel da sua plataforma de hospedagem ou utilizando um servidor FTP como o FileZilla.
O processo não poderia ser mais simples: basta fazer o upload do arquivo na mesma subpasta das URLs listadas nele. Só não pense que isso é o suficiente.
Tendo em vista que o Google detém a supremacia dos mecanismos de pesquisa, é interessante providenciar alguns ajustes a mais pensando exclusivamente nessa plataforma. Para isso, nós temos o Search Console, a ferramenta exclusiva do Google que ajuda seus usuários a melhorarem seus resultados em SEO.
Integre o Yoast SEO ao Search Console
Se você tem um site WordPress com o plugin Yoast SEO instalado, mais uma vez, tudo será resolvido em pouquíssimos passos. A boa notícia é que o Yoast pode ser facilmente integrado ao Google Search Console.
Logo após instalar o plugin, você receberá uma notificação para realizar as configurações iniciais de SEO do seu site, incluindo a criação de um sitemap e a sua integração com o Search Console. Você também pode acessar o menu do Yoast na barra lateral e clicar no link “configuration wizard” dentro da barra “First-time SEO configuration”.
Você será encaminhado para um passo a passo no qual deverá informar:
- seção 1: se deseja permitir a indexação do seu site (se ele está ativo ou em construção);
- seção 2: que tipo de site é o seu (blog, portfólio, canal de notícias etc.);
- seção 3: se o site é pessoal ou corporativo;
- seção 4: se deseja que posts, páginas ou ambos sejam exibidos nos resultados de busca;
- seção 5: se o conteúdo do site é criado por uma só pessoa ou são vários autores;
- seção 6: integração com o Search Console (veremos a seguir);
- seção 7: aparência do título do site;
As seções 8 e 9 são apenas convites para assinar a newsletter do Yoast SEO e fazer o upgrade para seus serviços Premium.
Quando for realizar a integração com o Search Console na seção 6, será necessário ter um cadastro na plataforma. Se você não tem, basta realizá-lo rapidamente no site do Search Console usando uma conta Google.
Feito isso, basta gerar um código de autenticação clicando no link “Get Google Authorization Code”.
Uma vez gerado, é só copiar o código, colá-lo na barra indicada e clicar em “Authenticate”.
Submeta um sitemap no Google Search Console
Se você usa outras plataformas para gerenciar o seu site, como Wix, Joomla ou Drupal, o processo continua sendo simples. Apenas siga as orientações a seguir.
- Primeiramente, faça login no Google no Search Console — se for o seu primeiro acesso, será preciso seguir alguns passos para chegar ao painel;
- Selecione o seu site no painel;
- Clique em “Sitemap” na barra lateral;
- Adicione a URL do sitemap (geralmente é o domínio seguindo por “/sitemap.xml” ou “/sitemap_index.xml”);
- Clique para enviar.
Quais são os benefícios dos sitemaps em termos de SEO?
O uso dos sitemaps, por si só, já deixa claro para os mecanismos de busca que o webmaster está disposto a colaborar com a varredura dos seus rastreadores, o que confere um tom a mais de profissionalismo ao site.
Em termos de SEO, além do fato de facilitar a indexação das páginas, os sitemaps informam as atualizações dos conteúdos postados, permitindo que eles sejam relidos pelos crawlers com mais eficiência. Se você costuma atualizar as publicações do seu blog com frequência ou reciclar URLs bem rankeadas, os benefícios são ainda maiores.
Vale ressaltar que os sitemaps são vinculados ao Google Search Console que, entre várias outras funções, ajuda o usuário a otimizar as suas ações de SEO.
Como melhorar ainda mais os meus resultados?
Podemos citar algumas recomendações finais para que os sitemaps continuem ajudando seu site, blog ou loja virtual a rankearem bem nas pesquisas:
- ao criar seus arquivos, dê preferências a URLs canônicas (o melhor endereço disponível para a página ou o mais utilizado);
- ainda que o limite de URLs em um sitemap seja 50 mil, é recomendável não ultrapassar 10 mil para manter a eficiência dos processos de indexação;
- evite mudanças frequentes nos protocolos de transferência (o popular https, por exemplo), contrate esses serviços com antecedência e os mantenha.
FAQ (perguntas frequentes)
Como excluir um sitemap do meu site?
Se por alguma razão — erro, atualização ou encerramento de um projeto — você desejar excluir um sitemap do seu site, é possível fazer isso da seguinte forma:
- acesse os arquivos da sua hospedagem pelo cPanel ou por meio de um servidor FTP;
- localize o arquivo (sitemap) na pasta de URLs;
- exclua-o.
Como excluir um sitemap do Search Console?
Você pode excluir um sitemap do Search Console, mas isso não impedirá o Google de reconhecer o sitemap do seu site e suas URLs. Para prosseguir faça o seguinte:
- acesse seu painel de usuário no Search Console;
- selecione o menu “sitemap”;
- localize o sitemap que deseja excluir e clique em “mais opções” (símbolo com três pontinhos);
- selecione a opção “Remover sitemap”.
Meu site tem milhões de URLs, quais delas devo informar em meus sitemaps?
Informe apenas as URLs que são alteradas com maior frequência em um pequeno número de sitemaps e identifique-os no arquivo de índice usando a tag “lastmod”. Dessa forma, os buscadores farão a indexação incremental apenas dos sitemaps atualizados.
O que fazer com páginas dinâmicas?
Os sitemaps XML ajudam sites com estrutura mais complexa — geralmente e-commerces — a ganharem indexação instantânea para páginas dinâmicas.
Posso compactar meu sitemap?
Sim. Para compactá-lo, use o gzip. Não se esqueça de que os sitemaps não devem ter mais de 50 MB, estejam eles compactados ou não.
A ordem das URLs na listagem influencia a indexação?
Não. A ordem das URLs listadas não é um fator relevante para a indexação.
Por fim, se você gerencia seus sitemaps manualmente, lembre-se de atualizá-los sempre que publicar novos conteúdos no seu site. Já para aqueles que contam com a ajuda de plugins como o Yoast SEO, essa tarefa não é necessária, mas é fundamental visitar o Search Console com frequência para verificar o desempenho da sua estratégia de SEO.
Gostou do artigo e quer saber mais sobre o assunto? Então continue conosco e confira agora o nosso guia definitivo sobre o Google Search Console!
CONTEÚDO CRIADO POR HUMANOS
Encontre os melhores freelancers de conteúdo no WriterAccess.
CONTEÚDO CRIADO POR HUMANOS
Encontre os melhores freelancers de conteúdo em WriterAccess.
