Hoe werkt een zoekmachine?

Een zoekmachine is een systeem dat een enorme verzameling webpagina's doorzoekbaar maakt en bij elke vraag de meest bruikbare resultaten selecteert. Wie begrijpt hoe dat proces werkt, begrijpt ook waarom SEO werkt. Grofweg doorloopt een zoekmachine drie stappen: crawlen, indexeren en ranken.

Stap 1: crawlen

Zoekmachines gebruiken programma's, crawlers of spiders genoemd, die het web afstruinen. De crawler van Google heet Googlebot. Hij begint bij bekende pagina's, volgt de links die daarop staan en ontdekt zo nieuwe en gewijzigde pagina's. Een XML-sitemap helpt daarbij, net als een goede interne linkstructuur. Met een robots.txt-bestand kun je aangeven welke delen van je website niet bezocht hoeven te worden.

Belangrijk om te weten: een zoekmachine heeft per website beperkte tijd en capaciteit, het zogenoemde crawlbudget. Websites met veel overbodige of dubbele pagina's, of met inhoud die pas na het uitvoeren van veel JavaScript zichtbaar wordt, maken het de crawler moeilijker.

Stap 2: indexeren

Na het ophalen probeert de zoekmachine de pagina te begrijpen. Waar gaat de tekst over, welke afbeeldingen staan erop, hoe verhoudt de pagina zich tot andere pagina's? Ook beoordeelt het systeem of een pagina een kopie is van een andere; in dat geval wordt meestal één versie gekozen als de ‘canonieke’ versie. Wat de moeite waard is, komt in de index terecht: een gigantische database waaruit later de zoekresultaten worden samengesteld. Niet elke gecrawlde pagina wordt geïndexeerd.

Stap 3: ranken

Zodra iemand een zoekopdracht invoert, zoekt de zoekmachine in de index naar relevante pagina's en zet die in volgorde. Daarbij spelen honderden signalen mee, waaronder:

• hoe goed de inhoud aansluit op de vraag en de bedoeling erachter;
• de kwaliteit en betrouwbaarheid van de pagina en de website;
• verwijzingen van andere websites;
• gebruiksvriendelijkheid, zoals laadsnelheid en weergave op mobiel;
• context van de zoeker, zoals taal en locatie.

Zoekmachines en mensen

Hoe slim zoekmachines ook worden, uiteindelijk is alles gericht op de mens achter de zoekopdracht. Zoekmachines kijken daarom steeds beter naar de intentie: wil iemand iets weten, iets vergelijken of iets kopen? Een pagina die die intentie het best beantwoordt, maakt de meeste kans. Optimaliseren ‘voor Google’ en optimaliseren voor je bezoeker vallen daardoor steeds meer samen.

Hoe werken AI-zoekmachines?

AI-zoekmachines voegen een stap toe. Ze halen relevante pagina's op, vaak via een gewone zoekindex, en laten een taalmodel daar een samenvattend antwoord van maken, soms met bronvermelding. De basis blijft dus hetzelfde: wie goed vindbaar en goed leesbaar is, heeft ook de grootste kans om in een AI-antwoord terecht te komen. Lees meer op Wat is GEO?