Screaming Frog gebruiken voor SEO

Screaming Frog is een crawler die je op je eigen computer draait en die je website afloopt zoals een zoekmachine dat doet: hij volgt de interne links en haalt per URL de statuscode, de titel, de meta description, de koppen, de canonical en de uitgaande links op. Alles komt in een doorzoekbare tabel.

Hoe de crawl werkt

Je geeft een startdomein op en de tool volgt vanaf daar elke interne link. Wat hij tegenkomt, komt in de lijst. Wat nergens vandaan gelinkt wordt, komt er niet in, en dat is op zich al informatie: die pagina’s zijn verweesd, geblokkeerd of alleen via een formulier bereikbaar.

De gratis versie crawlt tot 500 URL’s. Genoeg voor een kleine site. Voor grotere sites heb je de betaalde licentie nodig, en als je site de inhoud pas in de browser opbouwt met JavaScript, moet je de rendering aanzetten. Doe je dat niet, dan crawl je lege pagina’s en trek je verkeerde conclusies.

Waar je als eerste naar kijkt

• Statuscodes: 404’s, serverfouten en redirectketens.
• Titels en meta descriptions: ontbrekend, dubbel of afgekapt.
• Koppen: pagina’s zonder H1, of met vijf H1’s.
• Canonicals: wijzen ze naar zichzelf of stiekem naar een andere pagina?
• Indexeerbaarheid: welke URL’s staan op noindex of worden geblokkeerd door robots.txt?
• Interne links: welke belangrijke pagina’s krijgen nauwelijks interne links?

De kolom voor crawldiepte wordt vaak overgeslagen. Staat een categoriepagina op diepte vijf, dan heeft een bezoeker vijf klikken nodig vanaf de homepage. Dat zegt iets over je menu en je interne linkstructuur, niet over die ene pagina.

Koppel er echte data aan

Een crawl wordt pas bruikbaar als je er verkeersdata naast legt. Koppel Search Console en Analytics, dan zie je per URL de vertoningen, klikken en sessies in dezelfde tabel. Zo haal je de twee groepen eruit waar het om draait: pagina’s die technisch prima zijn maar niets opleveren, en pagina’s die ondanks een matige staat toch bezoekers trekken.

Waar het in de praktijk misgaat

De grootste valkuil is de meldingenlijst behandelen als een afvinklijst. Een crawl van een middelgrote webshop levert zo duizenden meldingen op en het merendeel doet er niet toe. Dubbele titels op gefilterde URL’s die toch al op noindex staan zijn geen probleem. Een ontbrekende meta description op een bedanktpagina ook niet.

Een vondst die er wel toe doet: je crawlt een webshop en komt uit op vierduizend URL’s, terwijl de sitemap er driehonderd bevat. Bij nader inzien zijn het bijna allemaal filtercombinaties, zoals /schoenen?kleur=zwart&maat=42 en honderden varianten daarop. Die URL’s kosten crawlbudget en concurreren met je echte categoriepagina. Daar zet je actie op.

Een tweede valkuil is de crawl draaien zonder na te denken over wat je te zien krijgt. Crawl je een site achter een inlog, of eentje die je IP-adres na tweehonderd verzoeken blokkeert, dan staat je tabel vol foutmeldingen die niets met SEO te maken hebben. Zet de crawlsnelheid dan lager en overleg met de hostingpartij voordat je conclusies trekt.

Wat de tool niet voor je doet

Screaming Frog vertelt je wat er op je site staat. Niet wat je moet schrijven, en niet waarom je concurrent boven je staat. Het is inspectiegereedschap, geen strategie. De interpretatie is het werk, en dat is precies het deel dat tijd kost.

Een werkbare volgorde: crawl eerst de site, filter op de meldingen die je omzet raken, los die op, en crawl daarna opnieuw om te controleren of het effect heeft. Draai die crawl vervolgens elk kwartaal, of na elke grote wijziging aan je website. Zo blijf je fouten voor in plaats van dat je ze maanden later ontdekt in je verkeerscijfers. Wil je die stap overslaan, vraag dan een gratis SEO-scan aan of overweeg je SEO uit te besteden.