Wie funk­tio­niert In­de­xie­rung im In­ter­net?

Da­bei wer­den, ähn­lich wie in Bi­blio­the­ken, In­hal­te mit De­skrip­to­ren ver­se­hen, mit de­nen sie sich ge­zielt aus­fin­dig ma­chen las­sen. Wäh­rend ty­pi­sche De­skrip­to­ren in Bi­blio­the­ken Au­toren­na­men oder ISBN sind, han­delt es sich bei Such­ma­schi­nen um Key­words.

Im Be­reich Such­ma­schi­nen­op­ti­mie­rung spielt die In­de­xie­rung eine zen­tra­le Rol­le. Web­mas­ter bzw. Sei­ten­be­trei­ber kön­nen ge­zielt da­für sor­gen, dass Sei­ten schnel­ler in den In­dex auf­ge­nom­men wer­den. Manch­mal ist es da­ge­gen sinn­voll, die In­de­xie­rung ei­ner Web­site oder von Tei­len da­von zu ver­hin­dern.

In je­dem Fall gilt: Nur wenn eine Web­sei­te im In­dex ei­ner Such­ma­schi­ne ist, wird sie von die­ser auch ge­fun­den.

Wie funk­tio­niert In­de­xie­rung im In­ter­net?

Die In­de­xie­rung von In­ter­net­sei­ten durch gro­ße Such­ma­schi­nen wie Goog­le oder Bing ist ein kom­ple­xer Vor­gang, der sich aus meh­re­ren Pro­zes­sen zu­sam­men­setzt:

• Craw­ler durch­su­chen das In­ter­net, le­sen den Quell­code von Sei­ten aus und sen­den die­sen an den In­dex.
• Die ab­ge­ru­fe­nen In­hal­te wer­den an­schlie­ßend in ei­nem ge­trenn­ten Schritt ver­ar­bei­tet und – so­fern Goog­le sie als ge­eig­net ein­stuft – im In­dex ge­spei­chert (In­de­xie­rung). Eine ge­crawl­te Sei­te wird also nicht au­to­ma­tisch in­de­xiert.
• An­schlie­ßend er­schei­nen die in­de­xier­ten Sei­ten bei re­le­van­ten Such­an­fra­gen.

Um die Nut­zer­er­fah­rung bei ei­ner Su­che mög­lichst po­si­tiv zu ge­stal­ten, op­ti­mie­ren Such­ma­schi­nen die In­de­xie­rung re­gel­mä­ßig. Des­halb und weil sich so­wohl Ran­king­fak­to­ren als auch Web­sei­ten fort­wäh­rend än­dern, ist der Goog­le In­dex dy­na­misch. Neue Sei­ten kom­men hin­zu und die Hier­ar­chie – und da­mit die Rei­hen­fol­ge von Such­ergeb­nis­sen – än­dert sich. Au­ßer­dem ent­fernt Goog­le Sei­ten, die mas­siv ge­gen die ei­ge­nen Richt­li­ni­en ver­sto­ßen, aus dem In­dex. Da­mit tau­chen die­se Sei­ten auch nicht mehr in Such­ergeb­nis­sen auf.

Die In­de­xie­rung ei­ner Web­sei­te

Ist eine neue Web­sei­te on­line, be­fin­det sie sich nicht au­to­ma­tisch im In­dex ei­ner Such­ma­schi­ne. Zwar durch­su­chen Craw­ler von Goog­le stän­dig das In­ter­net nach neu­en In­hal­ten, trotz­dem kann es dau­ern, bis sie eine Sei­te in­de­xie­ren und die­se auf­find­bar ist.

Der Vor­gang lässt sich be­schleu­ni­gen, in­dem Web­mas­ter Goog­le eine Site­map zur Ver­fü­gung stel­len. Das lässt sich auf zwei Ar­ten be­werk­stel­li­gen: in­dem die Site­map-URL per Site­map:-Di­rek­ti­ve in der ro­bots.txt re­fe­ren­ziert oder die Site­map ak­tiv bei der Goog­le Search Con­so­le ein­ge­reicht wird.

Er­stel­len lässt sich eine Site­map un­kom­pli­ziert mit Dritt­an­biet­ertools. Um eine ein­zel­ne Sei­te er­neut craw­len und in­de­xie­ren zu las­sen, nutzt man heu­te die Funk­ti­on „In­de­xie­rung be­an­tra­gen“ im URL-Prüf­t­ool der Goog­le Search Con­so­le. Den frü­her üb­li­chen Site­map-„Ping“ gibt es nicht mehr: Die­ser End­point wur­de Ende 2023 ab­ge­schal­tet und lie­fert seit­her ei­nen 404-Feh­ler.

Eine ein­zel­ne URL lässt sich über das URL-Prüf­t­ool der Goog­le Search Con­so­le mit „In­de­xie­rung be­an­tra­gen“ ein­rei­chen. Da­mit wird das (er­neu­te) Craw­len und In­de­xie­ren ei­ner be­stimm­ten Sei­te ge­zielt an­ge­sto­ßen (An­lei­tung).

In­de­xie­rung ver­hin­dern

Manch­mal wol­len Web­mas­ter eine In­de­xie­rung von Sei­ten durch die Such­ma­schi­ne ver­hin­dern oder zu­min­dest auf­schie­ben. Da­für gibt es meh­re­re mög­li­che Grün­de:

• Die Sei­te be­fin­det sich im Auf­bau oder im Re­launch. Dann ist es bes­ser, wenn sie bis zur Fer­tig­stel­lung nicht in den Such­ergeb­nis­sen auf­taucht.
• Es han­delt sich um Ad­min-Zu­gän­ge.
• Die Sei­te ist min­der­wer­tig. In ei­nem On­line­shop kann das eine Ka­te­go­rie­sei­te mit we­ni­gen Pro­duk­ten sein, auf der Be­su­cher wahr­schein­lich nicht fün­dig wer­den.
• Es gibt da­ten­schutz­recht­li­che oder ur­he­ber­recht­li­che Grün­de für ein „Ver­ste­cken“ der Sei­te.
• Die Web­sei­te ist aus­schließ­lich für die pri­va­te Ver­wen­dung ge­dacht.
• Es be­steht die Ge­fahr von Du­pli­ca­te Con­tent, der sich ne­ga­tiv auf die SEO aus­wirkt.

Um eine In­de­xie­rung zu ver­hin­dern, kön­nen Sei­ten­be­trei­ber oder Web­mas­ter auf un­ter­schied­li­che Ar­ten vor­ge­hen:

• Sie in­te­grie­ren den Meta-Tag no­in­dex in den HTML-Code der be­tref­fen­den Sei­te oder ge­ben ei­nen „no­in­dex“-Hea­der in der HTTP-An­fra­ge zu­rück.
• Sie in­for­mie­ren Craw­ler durch eine ro­bots.txt-Da­tei über Sei­ten bzw. Da­tei­en, die die­se nicht an­for­dern dür­fen.
• Sie spei­chern ver­trau­li­che In­hal­te in ei­nem pass­wort­ge­schütz­ten Ser­ver­ver­zeich­nis. Dar­auf kann der Goog­le-Craw­ler nicht zu­grei­fen.

Um Web­sei­ten mit dop­pel­ten In­hal­ten rich­tig aus­zu­zeich­nen, fügt man Ca­no­ni­cal Tags in den Hea­der der Sei­ten ein. Das ist zum Bei­spiel bei Blogs re­le­vant, wenn ein Ar­ti­kel un­ter meh­re­ren Ka­te­go­rien an­ge­zeigt wird. Durch ei­nen Ca­no­ni­cal Tag wird die Auf­nah­me dop­pel­ter In­hal­te in den In­dex und eine even­tu­el­le Ab­wer­tung durch die Such­ma­schi­ne ver­hin­dert.

No­in­dex oder ro­bots.txt: Wann ist wel­ches In­stru­ment das Rich­ti­ge?

Goog­le rät da­von ab, eine ro­bots.txt-Da­tei zu ver­wen­den, da­mit Web­sei­ten nicht in Such­ergeb­nis­sen auf­tau­chen. Denn wenn an­de­re Sei­ten mit be­schrei­ben­dem Text auf die­se Sei­te ver­wei­sen, kann sie trotz­dem in­de­xiert wer­den – dann ohne Be­schrei­bung in den Such­ergeb­nis­sen.

Sinn­voll sind ro­bots.txt-Da­tei­en da­ge­gen, um den Craw­ling-Traf­fic zu ver­wal­ten und eine Über­las­tung zu ver­mei­den, das An­zei­gen von Vi­deo-, Bild- und Au­dio­da­tei­en in Such­ergeb­nis­sen zu ver­hin­dern oder un­wich­ti­ge Res­sour­cen­da­tei­en zu blo­ckie­ren. Um eine In­de­xie­rung zu ver­mei­den, ist es si­che­rer, auf no­in­dex bzw. pass­wort­ge­schütz­te Ver­zeich­nis­se zu­rück­zu­grei­fen.

ro­bots.txt ver­hin­dert kei­ne In­de­xie­rung:

Eine per ro­bots.txt blo­ckier­te Sei­te kann trotz­dem in den In­dex ge­lan­gen (und ohne Snip­pet er­schei­nen), wenn an­de­re Sei­ten auf sie ver­lin­ken – denn ro­bots.txt steu­ert nur das Craw­len, nicht die Auf­nah­me in den In­dex. Um eine Sei­te zu­ver­läs­sig aus dem In­dex her­aus­zu­hal­ten, ist das no­in­dex-Tag (oder ein pass­wort­ge­schütz­tes Ver­zeich­nis) das rich­ti­ge Mit­tel. Crawl-Steue­rung (ro­bots.txt) und In­dex-Steue­rung (no­in­dex) sind also klar zu tren­nen.

Das zen­tra­le Dia­gno­se­werk­zeug, um zu prü­fen, ob Sei­ten tat­säch­lich in­de­xiert sind, ist der Search-Con­so­le-Be­richt „Sei­ten­in­de­xie­rung“. Er lis­tet in­de­xier­te und nicht in­de­xier­te URLs samt Grün­den (z. B. „Ge­crawlt – zur­zeit nicht in­de­xiert“, „Durch no­in­dex-Tag aus­ge­schlos­sen“). Als gro­be Schnell­prü­fung dient zu­sätz­lich die „site:do­main.de“-Ab­fra­ge, die al­ler­dings nur eine un­ge­naue Schät­zung lie­fert.

Quellen

• Google, eine Sitemap bei Google erstellen und einreichen: https://support.google.com/webmasters/answer/183668#addsitemap
• Google, um erneutes Crawlen bitten: https://developers.google.com/search/docs/crawling-indexing/ask-google-to-recrawl?hl=de
• Google, Einführung in die Indexierung: https://developers.google.com/search/docs/guides/intro-indexing?hl=de