Crawling en indexeren uitgelegd: zo komt jouw website in Google
Wat doet Google met je website?
Als je wilt dat je website in Google zichtbaar is, moet Google je pagina’s eerst kunnen vinden en opslaan. Dat gebeurt in twee stappen: eerst crawlen (bezoeken en lezen), daarna indexeren (opslaan in de “grote database” van Google).
Wat is crawlen?
Crawlen betekent dat een computerprogramma van Google, de “bot”, je website bezoekt. Deze bot klikt als het ware op links, leest je pagina’s en ontdekt zo welke pagina’s er allemaal zijn en hoe ze met elkaar verbonden zijn.
Wat is een crawlbudget?
Google wil je server niet overbelasten en legt daarom een soort limiet vast: het crawlbudget. Dat is het maximale aantal pagina’s dat de bot per bezoek kan ophalen, en dit hangt onder andere af van je sitestructuur, snelheid, kwaliteit en links.
Hoe help je Google beter crawlen?
Je helpt de bot door je website overzichtelijk en technisch in orde te maken. Denk aan een duidelijke menustructuur, een goede interne linkstructuur, een sitemap, snelle laadtijd en zo weinig mogelijk foutmeldingen (3xx- en 4xx-links).
Wat is indexeren?
Na het crawlen wordt de inhoud van je pagina’s geanalyseerd en opgeslagen in de index, de zoekdatabase van Google. Pas als een pagina in deze index staat, kan hij worden getoond in de zoekresultaten wanneer iemand zoekt op relevante woorden.
Wat ziet Google op een pagina?
Google kijkt niet alleen naar de tekst, maar ook naar titels, kopjes, afbeeldingen, video’s en de achterliggende code (zoals CSS en JavaScript). Afbeeldingen en andere media worden beter begrepen als je ze duidelijke beschrijvingen en alt-teksten geeft.
Wanneer wordt iets niet geïndexeerd?
Met specifieke instellingen kun je Google bewust tegenhouden. Met een robots.txt-bestand, meta-robots-tags en bijvoorbeeld een “noindex”-tag kun je aangeven welke pagina’s Google niet mag of hoeft op te nemen in de index.
Hoe vaak indexeert Google je site?
Grote, vaak geüpdatete websites met veel sterke links, worden meestal vaker gecrawld en opnieuw geïndexeerd dan kleine, zelden veranderende sites.
Je kunt via Google Search Console een herindexatie aanvragen als je iets hebt aangepast, maar het blijft afhankelijk van wanneer de bot langskomt.
Hoe kun je dit zelf controleren?
In Google Search Console kun je zien hoeveel pagina’s zijn geïndexeerd en of er fouten zijn.
Ook kun je je sitemap doorgeven en je robots.txt-bestand bekijken door in je browser je domein met /robots.txt erachter in te typen.
Wat kun je zelf nog doen?
- Zorg voor duidelijke, logische navigatie en interne links.
- Los foutmeldingen (3xx/4xx) op en verwijder overbodige URL’s.
- Voeg een sitemap toe en houd je content actueel en van goede kwaliteit.
Benieuwd hoe we jou kunnen helpen?
Neem vrijblijvend contact met ons op. Samen brengen we de verbeterpunten in kaart.