Craw­ler (Web­craw­ler): De­fi­ni­ti­on & Er­klä­rung

Bei ei­nem Craw­ler han­delt es sich um ein Com­pu­ter­pro­gramm, das au­to­ma­ti­siert nach In­hal­ten im In­ter­net sucht und die­se ana­ly­siert. Such­ma­schi­nen wie Goog­le ver­wen­den Craw­ler, um ei­nen In­dex zu er­stel­len, den Nut­zer durch­su­chen kön­nen.

Der Be­griff Craw­ler geht auf eine der ers­ten po­pu­lä­ren Web-Such­ma­schi­nen zu­rück, den Web­Craw­ler (1994). Die ers­te Such­ma­schi­ne war er al­ler­dings nicht: Vor­läu­fer wa­ren Ar­chie (1990, Su­che in FTP-Da­tei­lis­ten) und Jump­Sta­ti­on (De­zem­ber 1993, die ers­te craw­ler­ba­sier­te Voll­text-Such­ma­schi­ne fürs Web). Al­ter­na­ti­ve Be­grif­fe sind zum Bei­spiel „Bot“ oder „Spi­der“.

Craw­ler kom­men auch bei der Web­ana­ly­se oder beim Data Mi­ning zum Ein­satz. Nut­zer ha­ben un­ter­schied­li­che Mög­lich­kei­ten, sie zu steu­ern oder aus­zu­sper­ren. Wer die­se Mög­lich­kei­ten kennt, pro­fi­tiert zum Bei­spiel bei der Such­ma­schi­nen­op­ti­mie­rung (SEO).

Wie funk­tio­niert ein Web­craw­ler?

Craw­ler ge­lan­gen in der Re­gel über Hy­per­links von ei­ner Web­sei­te zur nächs­ten. Da­bei sam­meln sie In­for­ma­tio­nen und sor­tie­ren die­se an­schlie­ßend. So ent­steht ein In­dex, auf den eine Soft­ware zu­grei­fen kann, um In­for­ma­tio­nen ab­zu­ru­fen und aus­zu­wer­ten. Nur mit Craw­lern kann eine Such­ma­schi­ne SERPs be­reit­stel­len.

Craw­ler ar­bei­ten au­to­ma­ti­siert. Wie sie vor­ge­hen, un­ter­schei­det sich je nach „Auf­trag­ge­ber“. Be­son­ders be­kannt ist der Craw­ler von Goog­le, der so­ge­nann­te Google­bot. Die­sen gibt es in meh­re­ren Ver­sio­nen. Ne­ben dem Google­bot für Com­pu­ter exis­tie­ren der Google­bot Mo­bi­le, aber auch der Google­bot News oder Google­bot Images.

Die­sen gibt es in meh­re­ren Ver­sio­nen. Seit Ab­schluss der Mo­bi­le-First-In­de­xie­rung (2023/2024) crawlt Goog­le pri­mär mit dem Google­bot Smart­phone; der Google­bot Desk­top ist nach­ran­gig. Zu den of­fi­zi­el­len Craw­lern zäh­len un­ter an­de­rem Google­bot Smart­phone, Google­bot Desk­top, Google­bot Image, Google­bot News und Google­bot Vi­deo.

Ab­ge­se­hen von Craw­lern, die für Such­ma­schi­nen ar­bei­ten, gibt es Web­craw­ler, die

• E-Mail-Adres­sen oder Post­adres­sen für Mar­ke­ting­zwe­cke sam­meln,
• für Preis­ver­gleichs­por­ta­le nach Pro­duk­ten und den da­zu­ge­hö­ri­gen Da­ten su­chen,
• sta­tis­ti­sche Da­ten oder Nach­rich­ten sam­meln.

Die­ses Craw­ling ist von Web­sei­ten­be­trei­bern oft nicht er­wünscht und recht­lich schwie­rig.

Zu un­ter­schei­den sind Craw­ler all­ge­mein von Scra­pern. Letz­te­re ex­tra­hie­ren In­hal­te auf Web­sei­ten. Da­bei reicht die Band­brei­te von un­be­denk­li­chem Scra­ping, um zum Bei­spiel Fahr­plä­ne auf Web­sites zu ver­öf­fent­li­chen oder zu Ana­ly­se­zwe­cken, bis hin zu ge­ziel­ten Ur­he­ber­rechts­ver­let­zun­gen, um schnell und ein­fach zu In­hal­ten zu kom­men.

Craw­ling be­deu­tet heu­te mehr als nur Hy­per­links zu fol­gen. Der Google­bot ren­dert Ja­va­Script in ei­nem zwei­ten Schritt (Ren­de­ring), um per Ja­va­Script nach­ge­la­de­ne In­hal­te zu er­fas­sen. Wer­den CSS- oder JS-Da­tei­en per ro­bots.txt blo­ckiert, kann das die Dar­stel­lung und da­mit die In­de­xie­rung ver­schlech­tern – die­se Res­sour­cen soll­ten crawl­bar blei­ben.

Die Be­deu­tung von Craw­lern für das SEO

Craw­ler ha­ben eine wich­ti­ge Funk­ti­on für die Such­ma­schi­nen­op­ti­mie­rung (SEO). Re­gel­mä­ßi­ges Craw­ling ist not­wen­dig, da­mit alle re­le­van­ten Be­stand­tei­le ei­ner Web­sei­te in­de­xiert wer­den und in den Such­ergeb­nis­sen auf­tau­chen.

Craw­lern steht für jede Sei­te nur eine be­grenz­te Zeit zur Ver­fü­gung. Man spricht auch von Crawl Bud­get.

Goog­le de­fi­niert das Crawl-Bud­get als Zu­sam­men­spiel aus Crawl-Ka­pa­zi­tät (Crawl Rate Li­mit – wie viel der Ser­ver ver­trägt) und Crawl-Be­darf (Crawl De­mand – wie ge­fragt und ak­tu­ell die In­hal­te sind). Re­le­vant ist es vor al­lem für sehr gro­ße Web­sites (ab rund 10.000 URLs); klei­ne Sei­ten müs­sen sich dar­um in der Re­gel kei­ne Sor­gen ma­chen.

Da­mit Craw­ler die­ses Bud­get bes­ser aus­nut­zen bzw. sich die­ses er­höht, soll­ten Web­mas­ter

• Sei­ten­struk­tur und Na­vi­ga­ti­on op­ti­mie­ren,
• sich um vie­le ein­ge­hen­de Links und Be­su­cher be­mü­hen und
• die Grö­ße von Da­tei­en mög­lichst ge­ring hal­ten.

Au­ßer­dem ist es rat­sam, in der Goog­le Search Con­so­le eine XML-Site­map für die ei­ge­ne Sei­te zu hin­ter­le­gen oder die Site­map in ei­ner ro­bots.txt-Da­tei zu ver­lin­ken (per Site­map:-Di­rek­ti­ve). In der Search Con­so­le lässt sich auch über­prü­fen, ob ein Craw­ler alle Be­rei­che der Web­sei­te in­de­xiert hat.

Craw­ler aus­sper­ren

Um Craw­ler von be­stimm­ten In­hal­ten aus­zu­sper­ren, gibt es meh­re­re Mög­lich­kei­ten:

• Mit ei­ner ro­bots.txt-Da­tei lässt sich Craw­lern mit­tei­len, wel­che Be­rei­che bzw. In­hal­te von Web­sei­ten sie craw­len dür­fen. Al­ler­dings kön­nen die be­tref­fen­den Sei­ten trotz­dem in der Goog­le-Su­che auf­tau­chen.
• Wer eine In­de­xie­rung und das Auf­tau­chen von Sei­ten in den SERPs kom­plett ver­hin­dern will, nimmt am bes­ten den Me­ta­tag no­in­dex in den HTML-Code ei­ner Sei­te auf oder gibt al­ter­na­tiv den X-Ro­bots-Tag no­in­dex im HTTP-Re­spon­se-Hea­der des Ser­vers zu­rück.
• Schließ­lich las­sen sich Craw­ler mit pass­wort­ge­schütz­ten Ser­ver­ver­zeich­nis­sen aus­sper­ren.

Craw­ler, die E-Mail-Adres­sen ab­grei­fen, hal­ten sich in der Re­gel nicht an sol­che Vor­ga­ben. Hier be­steht die Mög­lich­keit, E-Mail-Adres­sen für den Craw­ler un­kennt­lich zu ma­chen. Dazu ver­wen­den vie­le Web­sei­ten­be­trei­ber eine Schreib­wei­se wie un­ter­neh­men(at)do­main(dot)com.

KI-Bots und Ro­bots.txt

Seit 2023/2024 sind Trai­nings- und KI-Such-Bots wie GPT­Bot (Ope­nAI), Clau­de­Bot (An­thro­pic), Goog­le-Ex­ten­ded und Per­ple­xi­ty­Bot ein zen­tra­les The­ma. Auch sie las­sen sich ge­zielt per ro­bots.txt steu­ern, in­dem man je User-Agent ei­ge­ne Di­s­al­low-Re­geln setzt – ge­trennt von den klas­si­schen Such­ma­schi­nen-Craw­lern.

Hier ein Bei­spiel ei­ner ro­bots.txt, die KI-Bots ganz oder teil­wei­se aus­sperrt:

Un­ter­schie­de zwi­schen ro­bots.txt und no­in­dex

ro­bots.txt und no­in­dex ha­ben un­ter­schied­li­che Funk­tio­nen: Die ro­bots.txt steu­ert das Craw­ling (den Zu­griff), no­in­dex steu­ert die In­de­xie­rung (das Auf­tau­chen in den Such­ergeb­nis­sen). Eine per ro­bots.txt ge­sperr­te Sei­te kann Goog­le gar nicht craw­len und liest des­halb ein dort ge­setz­tes no­in­dex nie.

Wer eine Sei­te zu­ver­läs­sig aus dem In­dex hal­ten will, soll­te sie da­her crawl­bar las­sen und mit no­in­dex aus­zeich­nen, statt sie per ro­bots.txt zu blo­ckie­ren.

User-Agent fäl­schen

Der User-Agent al­lein ist fälsch­bar – Spam-Bots ge­ben sich gern als Google­bot aus. Ech­te Google­bot-Zu­grif­fe las­sen sich über ei­nen Re­ver­se-DNS-Look­up und die von Goog­le ver­öf­fent­lich­ten IP-Be­rei­che prü­fen, be­vor man auf Ba­sis des an­geb­li­chen Craw­lers aus­sperrt oder aus­nimmt.

Quellen

• Google-Crawler (User-Agents). Von Google verwendete Robots zum Crawling des Webs, Search Console-Hilfe, https://support.google.com/webmasters/answer/1061943?hl=de
• Google-Index, Google-Bot & Crawler, Frag SISTRIX, https://www.sistrix.de/frag-sistrix/google-index-google-bot-crawler/
• Norbert Eder, AI Bots aussperren https://norberteder.com/ai-bots-aussperren/