Er is heel wat informatie te vinden op het internet over hoe je je XML Sitemap kan en moet inzetten voor SEO. In deze post leg ik uit waarom je een XML Sitemap nodig hebt, hoe je ze moet structureren en hoe je ze kan gebruiken om de crawling en indexering van je website te verbeteren. Daarnaast hoop ik enkele veelgestelde vragen te beantwoorden.
- Wat is het nut van een XML Sitemap?
- Welke invloed heeft de XML Sitemap op crawling en indexatie?
- Hoe kan ik XML Sitemaps gebruiken om mijn crawling en indexatie te verbeteren?
Wat is het nut van een XML Sitemap?
Een XML Sitemap is een lijst van pagina’s op jouw website die je graag gecrawled en geïndexeerd wil zien door zoekmachines. Deze informatie kan je verzenden naar zoekmachines zodat zij zeer goed snappen welke content er op jouw website te vinden is.
Wat zijn de onderdelen van een XML Sitemap?
Ondanks dat velen dit anders opvatten, moet er eigenlijk niet zo veel in een XML Sitemap.
Neem bij wijze van voorbeeld dit stuk uit de Moz.com XML Sitemap:
Dit zijn de elementen die de sitemap zou moeten bevatten:
- Document info: Aan het begin verwijs je naar het sitemaps.org protocol waarin de sitemap opgesteld is. Dit doe je door <urlset xlmns=”http://www.sitemaps.org/schemas/sitemap/0.9″> toe te voegen en af te sluiten met </urlset>. Dit wordt ook wel de xml ‘namespace’ genoemd.
- URL loc: Voor elke URL die je wil opnemen, open je een <url> een binnen een <loc> plaats je de URL van de pagina. Dit is uiteindelijk het enige dat nodig is om als een sitemap aanzien te worden.
- URL lastmod: Binnen diezelfde <url> kan je ook een timestamp toevoegen die aangeeft wanneer de pagina voor het laatst aangepast is. Dus als je een blogbericht aanpast, zou deze timestamp moeten veranderen.
Dit zijn de enige 3 dingen die je aan je XML Sitemap moét toevoegen om SEO-redenen. Als je link naar het protocol hierboven hebt gevolgd, heb je waarschijnlijk ook de <changefreq> en <priority> opgemerkt.
- <changefreq>: Geeft aan hoe frequent de pagina wordt aangepast. Dit kan variëren van ‘always’ (waarmee bedoeld wordt dat de pagina verandert iedere keer ze ingeladen wordt) tot ‘never’ (waarmee bedoeld wordt dat de pagina altijd hetzelfde blijft).
- <priority>: Een getal tussen 0.0 en 1.0 dat je kan kan gebruiken om aan te geven hoe belangrijk deze pagina is ten opzichte van anderen in de sitemap.
Dus waarom zou je deze niet gebruiken in je XML Sitemap? Omdat Google er niet langer naar kijkt. Het is namelijk zo dat je zou kunnen zeggen dat elke pagina 1.0 als prioriteit heeft en elke dag veranderd wordt, zodanig dat je site vaak gecrawled wordt. Google rekent daarvoor dus niet langer op je eerlijkheid… Er zijn echter wel andere dingen die je kan doen:
- Priority: Googlebot leest XML Sitemaps van boven naar beneden. Zorg er dus voor dat de pagina’s die zeker gecrawled moeten worden, bovenaan staan.
- Lastmod: Googlebot controleert de <lastmod> van een pagina en vergelijkt die met de laatste keer dat het de pagina bezocht heeft. Zorg er dus voor dat deze zeker correct functioneert en dat je XML Sitemap automatisch update.
Moet elke pagina in je XML Sitemap zitten?
Nee, enkel diegene waarop je goeie content hebt die nuttig is voor surfers. Uiteindelijk, wat je wil doen is tonen welke URL’s op jouw website nuttig zijn voor indexatie.
Dit is helaas waar veel fouten gemaakt worden. Vooral wanneer je CMS niet echt SEO-vriendelijk is. Vaak zullen die CMS-en een XML Sitemap genereren waarin alle gepubliceerde pagina’s staan. Daarbij zitten regelmatig nutspagina’s die niet echt een meerwaarde geven aan Google’s index. Dat maakt het gebruik van de XML Sitemap een beetje onnodig. Meer zelfs, als deze pagina’s niet aangeduid zijn met een ‘noindex’, kan dit de algemene kwaliteit van je website schaden.
Synchroniseer je data!
Om door te gaan op dat laatste punt: zorg ervoor dat je Robots.txt, meta robots en XML Sitemap volledig in lijn liggen met elkaar. Je wil niet dat er URL’s in je XML Sitemap staan die geblokkeerd zijn door robots.txt of een ‘noindex’ hebben. Dat is namelijk heel onlogisch als je het vanuit Googlebot’s perspectief bekijkt.
Wanneer heb je een ‘index sitemap’ nodig?
Als je veel pagina’s op je website hebt, of je wilt je pagina’s structureren in verschillende XML Sitemaps (zoals ik straks zal voorstellen), zorg er dan voor dat je een index sitemap hebt. Dit is een sitemap die linkt naar al je onderliggende sitemaps.
Dat kan handig zijn voor:
- Verschillende taal-varianten
- Verschillende pagina-types (product, categorie, blog, …)
- Verschillende content-topics
Welke invloed heeft de XML Sitemap op crawling en indexatie?
Wat gebeurt er als je je XML Sitemap toevoegt aan de Google Search Console? Dit zijn alvast twee vaak gestelde vragen. Als je nog andere vragen hebt, laat het mij zeker weten.
Zal Google enkel de pagina’s in mijn XML Sitemap crawlen en indexeren?
Nee, ze zullen nog steeds andere content ook crawlen en misschien wel indexeren. Overweeg om content die je niet geïndexeerd wil zien, te blokkeren via robots.txt of een ‘noindex’ mee te geven.
Zal Google alle pagina’s in mijn XML Sitemap crawlen en indexeren?
Nee, de XML Sitemap is slechts een indicatie van welke pagina’s jij gecrawled en geïndexeerd wil zien. Als je meer URL’s toevoegt dan Googlebot wil crawlen, dan zal het niet elke URL bekijken. Overweeg om de belangrijkste bovenaan de sitemap te zetten en zorg dat je <lastmod> correct werkt.
Hoe kan ik XML Sitemaps gebruiken om mijn crawling en indexatie te verbeteren?
Zoals ik al een aantal keer aangegeven heb hierboven in het artikel, worden XML Sitemaps enkel gebruikt als indicatie van welke pagina’s jij wil gecrawled of geïndexeerd zien. Door het handige gebruik van enkele tools, kan je belangrijke informatie verkrijgen over hoe zoekmachines met jouw website omgaan.
Google Search Console
Als je je XML Sitemap hebt toegevoegd aan de Google Search Console, zal het je (na verloop van tijd) feedback geven over hoe veel pagina’s er geïndexeerd zijn door Google. Door je sitemaps op te splitsen in verschillende delen, kan je op deze manier moeilijkheden met indexering opsporen.
Je kan opsplitsen op basis van taal, pagina-type, onderwerp,… Eender wat die zinvol is voor jouw website.
Search Console zal je ook informatie geven over de vooruitgang van het indexeren:
Op deze manier kan je nagaan of de veranderingen op je website / sitemap / … een invloed gehad hebben op het indexeren van je website.
Hoe meer je je XML Sitemaps opsplitst, hoe beter het beeld dat je hebt op geïndexeerde en niet-geïndexeerde pagina’s.
Gebruik je eigen crawl data
Met tools zoals Screaming Frog SEO Spider, kan je zowel je website als je XML Sitemap laten crawlen. Door deze twee te vergelijken, kan je problemen bij het crawlen en indexeren opsporen en verhelpen:
Een simpele Screaming Frog site crawl.
Je ze Screaming Frog in List-modus.
En Screaming Frog zal de URL’s in je XML Sitemap crawlen. In mijn geval kwam daar bijvoorbeeld bij naar boven dat mijn afbeeldingen niet geïndexeerd werden.Welke situaties kan je tegenkomen bij het vergelijken?
- Een pagina zit zowel in je Site Crawl als in je Sitemap Crawl: Goed!
- Een pagina zit in je Site Crawl, maar niet in je Sitemap Crawl: Zou de pagina erin moeten zitten? Voeg hem dan toe! Deze lijst zou enkel moeten bestaan uit pagina’s die geen meerwaarde hebben voor gebruikers van zoekmachines. De meeste zouden zelfs een ‘noindex’ moeten hebben.
- Een pagina zit in je Sitemap Crawl, maar niet in je Site Crawl: Waarschijnlijk is er geen interne linking naar deze pagina of deze zou niet in je sitemap moeten zitten.
Server Access Logs gebruiken
Als je het nog een stapje verder wil doordruiven, dan kan je ook Server Access Logs gebruiken met de tool Screaming Frog Log File Analyser. Deze tool toont je welke pagina’s bezocht werden door Googlebot en hoe frequent dat is gebeurd.
Als je deze informatie combineert met je Site Crawl en de XML Sitemap Crawl, dan worden alle crawling- of indexeringsproblemen direct duidelijk. Het vereist wel wat technische vaardigheden om de analyse te doen, maar het loont.
Heb je hulp nodig of zit je nog met vragen? Laat het me hieronder weten, of contacteer me!