Wie funk­tio­niert eine Such­ma­schi­ne?

Für die Op­ti­mie­rung ei­ner Web­site für die Such­ma­schi­nen ist es un­um­gäng­lich, zu wis­sen, wie eine Such­ma­schi­ne funk­tio­niert.

Und ge­nau das möch­te ich dir in die­sem Blog­ar­ti­kel nä­her­brin­gen.

Such­ma­schi­nen er­klärt

Such­ma­schi­nen (auch ge­nannt: all­ge­mei­ne Such­ma­schi­nen, Web-Such­ma­schi­nen Uni­ver­sal­such­ma­schi­nen, al­go­rith­mi­sche Such­ma­schi­nen) ha­ben den An­spruch, das Web mög­lichst kom­plett ab­zu­de­cken. Auf­grund der Grö­ße des In­ter­nets ist dies je­doch nicht mög­lich.

Web-Such­ma­schi­nen kon­zen­trie­ren sich auf be­stimm­te In­hal­te: Do­ku­men­te, die auf Web­ser­vern ab­ge­legt sind. Durch die Ver­lin­kung zwi­schen den ver­schie­de­nen Do­ku­men­ten ent­steht ein Netz (World Wide Web).

Such­ma­schi­nen wie Ly­cos ar­bei­te­ten schon von Be­ginn an nach dem glei­chen Sys­tem wie Goog­le heu­te: Die Do­ku­men­te im Web wer­den durch das Ver­fol­gen der Ver­lin­kun­gen zu­ein­an­der er­fasst.

Such­ma­schi­nen sind sol­che, die In­hal­te des Webs durch das Ver­fol­gen von Ver­lin­kun­gen er­fas­sen, durch das so­ge­nann­te Craw­ling. Da­bei star­tet das Craw­ling bei be­kann­ten Do­ku­men­ten und folgt den Links. Da­durch wer­den neue Do­ku­men­te ent­deckt, de­ren Ver­lin­kun­gen eben­falls ver­folgt wer­den. So ent­steht ein (un­voll­stän­di­ges) Ab­bild der Do­ku­men­te im In­ter­net, das dann durch­such­bar ge­macht wird.

Wich­tig: You­Tube ist kei­ne ech­te Such­ma­schi­ne nach der De­fi­ni­ti­on, da You­Tube nur eine Su­che nach den Vi­de­os auf der Platt­form selbst er­laubt und nicht Vi­de­os im kom­plet­ten World Wide Web ab­ge­bil­det wer­den.

Wei­te­re Such­ma­schi­nen-Ar­ten:

• Spe­zi­al­such­ma­schi­nen: Sie lie­fern nur Do­ku­men­te zu be­stimm­ten Web­sites, wie Kin­der­such­ma­schi­nen (z. B. Frag Finn)
• Meta-Such­ma­schi­nen: Bei ei­ner Such­an­fra­ge wer­den die Er­geb­nis­se von ei­ner oder meh­re­ren „ech­ten“ Such­ma­schi­nen ein­ge­holt. Bei­spiel: Me­ta­ger.de – hier wird eine Viel­zahl von ver­schie­de­nen Such­ma­schi­nen ab­ge­fragt.
• Web-Ver­zeich­nis­se: Hier wer­den die Web­sites ma­nu­ell von Men­schen er­fasst und im In­dex ge­spei­chert – ein gro­ßer Un­ter­schied zu ak­tu­el­len Such­ma­schi­nen wie Goog­le oder Bing!

Wie Such­ma­schi­nen funk­tio­nie­ren

Zu­nächst: wenn wir mit ei­ner Such­ma­schi­ne su­chen, wird nie nach den In­hal­ten des Webs selbst ge­sucht, son­dern im­mer nur auf eine auf­be­rei­te­te Ko­pie des World Wide Web zu­rück­ge­grif­fen. Wie be­reits er­wähnt, ge­hen die Craw­ler von Sei­te zu Sei­te und fol­gen den dor­ti­gen Links, um wei­te­re Do­ku­men­te zu fin­den. Die ge­fun­de­nen Do­ku­men­te wer­den erst ein­mal im so­ge­nann­ten „Lo­cal Store“ ge­spei­chert. Die­ser stellt das Roh­ma­te­ri­al für den In­dex dar. Durch ei­nen so­ge­nann­ten In­dex­er wer­den die Roh­ma­te­ria­li­en auf­be­rei­tet, da­mit sie ef­fi­zi­ent durch­such­bar sind.

Es wird eine Art Re­prä­sen­ta­ti­on für je­des Do­ku­ment an­ge­fer­tigt und es wer­den Ka­te­go­rien an­ge­legt, um die­se schnell auf­fin­den zu kön­nen. Der Sear­cher hat die Ver­mitt­ler-Auf­ga­be zwi­schen den ab­ge­spei­cher­ten In­for­ma­tio­nen und dem Nut­zer.

Be­schaf­fung von In­hal­ten: Wie ar­bei­tet der Craw­ler?

Das World Wide Web (WWW) be­steht vor al­lem aus Do­ku­men­ten im HTML-For­mat, wel­che eine ein­deu­ti­ge Adres­se (URL) be­sit­zen und über Links mit­ein­an­der ver­bun­den sind.

Über so­ge­nann­ten Craw­ler er­fas­sen Such­ma­schi­nen die Do­ku­men­te im WWW und de­ren Ver­lin­kun­gen zu­ein­an­der. Die Craw­ler fol­gen die­sen Ver­lin­kun­gen und ver­su­chen dar­über mög­lichst al­les im WWW zu fin­den. Die­ses Ziel ist lei­der nie er­reich­bar, da es Sei­ten gibt, die nicht von Such­ma­schi­nen-Craw­lern er­fasst wer­den wol­len. Hier spricht man vom Deep-Web – das sind Sei­ten, die über ein Pass­wort ge­schützt sind oder nicht über ent­spre­chen­de Ver­lin­kun­gen ver­fü­gen.

Feh­len­de Ver­lin­kun­gen sind ge­ne­rell ein Pro­blem für die Craw­ler. Neue Web­sites, die über gar kei­ne Ver­lin­kung ver­fü­gen, kön­nen nicht ge­fun­den wer­den. Al­ter­na­tiv fin­den Such­ma­schi­nen neue In­for­ma­tio­nen über „Feeds“. Dar­über wer­den den Such­ma­schi­nen In­for­ma­tio­nen mit­ge­teilt. So stel­len z. B. On­line­shops über ei­nen Feed in Form von XML-Do­ku­men­ten den Such­ma­schi­nen ih­ren Pro­dukt­ka­ta­log zur Ver­fü­gung. Auch nor­ma­le Web­sites kön­nen den Such­ma­schi­nen über eine XML-Site­map zei­gen, wel­che In­hal­te auf ih­rer Web­site zu fin­den sind.

• Ex­kurs:
• Web­site = eine kom­plet­te Do­main
• Web­sei­te = eine be­stimm­te Sei­te auf ei­ner Do­main

Das Craw­ling muss re­gel­mä­ßig statt­fin­den, sonst fin­det die Such­ma­schi­ne kei­ne neu­en In­hal­te oder ak­tua­li­sier­ten Tex­te so­wie neue Ver­lin­kun­gen. Da­bei wer­den stark ver­link­te Web­sites und po­pu­lä­re Sei­ten häu­fi­ger be­sucht, da hier die Ak­tua­li­sie­rungs­in­ter­val­le oft­mals kür­zer sind (Bei­spiel: Nach­rich­ten-Web­sites).

Ein Craw­ler kann nur Tex­te und die Struk­tur­in­for­ma­tio­nen im Quell­code ei­ner Web­site aus­le­sen. Do­ku­men­te mit vie­len gra­fi­schen Ele­men­ten, wie Bil­dern und Vi­de­os, und nur we­nig Text kön­nen von den Craw­lern da­her nur schwer ver­stan­den wer­den. Für die Su­che und Er­fas­sung nach be­stimm­ten Da­tei­en, wie Vi­de­os und Bil­dern, gibt es Craw­ler, die In­hal­te für so­ge­nann­ten Spe­zi­al­such­ma­schi­nen, wie die Goog­le Bil­der­su­che oder Goog­le Shop­ping, be­schaf­fen. Bei der Bil­der­su­che zum Bei­spiel kann der Craw­ler das Bild im HTML-Do­ku­ment er­ken­nen und es mit Hil­fe von zu­sätz­li­chen In­for­ma­tio­nen, wie Ti­tel des Bil­des, Text­um­ge­bung und Alt Tag, ver­ste­hen bzw. deu­ten.

Roh­da­ten auf­be­rei­tet: Wie ar­bei­tet der In­dex­er und wie ist der In­dex auf­ge­baut?

Der In­dex­er hat die Auf­ga­be, die Roh­da­ten aus dem Lo­cal Store des Craw­lers auf­zu­be­rei­ten und ein­zu­tei­len, da­mit die­se für die Su­che ef­fi­zi­ent ver­ar­bei­tet wer­den kön­nen. Aus der Viel­zahl an Do­ku­men­ten wird da­bei ein In­dex er­stellt, der eine Re­prä­sen­ta­ti­on dar­stellt. Bei der Su­che wird nicht das Do­ku­ment selbst ge­sucht, son­dern die vom In­dex­er er­stell­te Re­prä­sen­ta­ti­on (In­dex).

Das Sys­tem der Syn­tax­ana­ly­se, auch par­sing mo­du­le ge­nannt, zer­legt alle ge­fun­de­nen Do­ku­men­te in Ein­hei­ten, wie Wör­ter und Wort­stäm­me, mar­kiert und spei­chert die­se ab. Ana­log zu ei­nem Buch­re­gis­ter, wo Be­grif­fe im Buch mit ei­ner Sei­ten­zahl auf­ge­lis­tet wer­den, wer­den Do­ku­men­te nach be­stimm­ten Be­grif­fen im In­dex ge­lis­tet. Hier spricht man von ei­nem in­ver­tier­ten In­dex – man muss nicht das kom­plet­te Buch durch­le­sen, um zu ei­nem be­stimm­ten Be­griff zu kom­men, son­dern kann di­rekt zur ent­spre­chen­den Stel­le blät­tern. Ähn­lich ist auch der Such­ma­schi­nen-In­dex auf­ge­baut. Ein in­ver­tier­ter In­dex und ein Buch­re­gis­ter un­ter­schie­den sich aber da­hin­ge­hend, dass in ei­nem Buch­re­gis­ter nicht im­mer alle Wör­ter, die im Buch zu fin­den sind, vor­kom­men, son­dern nur die für den Text­ab­schnitt sinn­ge­mä­ßen. Bei ei­ner Re­prä­sen­ta­ti­on kann bei ei­ner Such­an­fra­ge nach ei­nem be­stimm­ten Be­griff nichts ge­fun­den wer­den, wenn die­ser nicht in der Re­prä­sen­ta­ti­on zu fin­den ist. Dar­in un­ter­schei­det sich ein In­ver­tier­ter In­dex von ei­nem Buch­re­gis­ter.

Durch die gro­ße Mas­se an Do­ku­men­ten im WWW gibt es, um die Such­ergeb­nis­se mög­lichst schnell für den User be­reit­zu­stel­len, ver­teil­te In­di­zes – es gibt nicht ei­nen gro­ßen In­dex, son­dern meh­re­re ver­teil­te Sys­te­me. Da­durch kön­nen die In­di­zes ef­fi­zi­ent durch­sucht und ak­tu­ell ge­hal­ten wer­den.

Das Prin­zip wur­de von Goog­le ur­sprüng­lich mit dem Ma­p­Re­du­ce-Al­go­rith­mus eta­bliert; heu­te lau­fen die gro­ßen Da­ten­men­gen über Nach­fol­ge­sys­te­me, das ver­teil­te Craw­ling und In­de­xie­ren auf vie­len Rech­nern bleibt aber Kern der Ar­chi­tek­tur.

Wie die Such­ma­schi­ne Such­an­fra­gen ver­steht: Der Sear­cher

Um den Nut­zern der Such­ma­schi­ne die pas­sen­den Er­geb­nis­se prä­sen­tie­ren zu kön­nen, braucht es ei­nen Ver­mitt­ler, den Sear­cher. Die­ser gleicht die Such­an­fra­ge mit dem auf­be­rei­te­ten Da­ten­be­stand der Such­ma­schi­ne ab. Die Er­geb­nis­lis­te wird nach Vor­ga­ben und Ran­king­fak­to­ren der Such­ma­schi­ne sor­tiert und ab­ge­bil­det. Der Sear­cher hat also die Auf­ga­be, die Such­an­fra­ge (den Search In­tent des Nut­zers) zu ver­ste­hen und dem Nut­zer ent­spre­chen­de rich­ti­ge Er­geb­nis­se an­zu­zei­gen.

Um dem User be­son­ders bei kom­ple­xen Such­an­fra­gen re­le­van­te Er­geb­nis­se aus­spie­len zu kön­nen, be­hel­fen sich Such­ma­schi­nen mit der An­fra­ge­inter­pre­ta­ti­on. Die Such­an­fra­ge wird da­bei mit Kon­text­in­for­ma­tio­nen ver­knüpft, wie der Such­his­to­rie des Nut­zers, sei­nen Klicks auf be­stimm­te Er­geb­nis­se, den Pfa­den an­de­rer Nut­zer mit ähn­li­chem Such­ver­lauf und vie­lem mehr. Durch die­se In­ter­pre­ta­ti­on, auch que­ry un­der­stan­ding ge­nannt, ist es dem Sear­cher mög­lich, re­le­van­te Er­geb­nis­se zu kom­ple­xen Such­an­fra­gen an­zu­zei­gen.

Mo­der­ne Er­wei­te­run­gen: Die KI-Schicht in der Su­che

Über den klas­si­schen Auf­bau aus Craw­ler, Lo­cal Store, In­dex­er und Sear­cher le­gen Such­ma­schi­nen wie Goog­le heu­te eine zu­sätz­li­che KI-Schicht: AI Over­views lie­fern ge­ne­ra­ti­ve Ant­wor­ten di­rekt oben in den SERPs, der Know­ledge Graph stellt struk­tu­rier­tes Wis­sen be­reit, und ML-Kom­po­nen­ten wie Rank­Brain, BERT und MUM hel­fen dem Sear­cher, auch kom­ple­xe oder zwei­deu­ti­ge Such­an­fra­gen bes­ser zu ver­ste­hen.

Da­ne­ben ha­ben sich LLM-ba­sier­te Su­chen wie Per­ple­xi­ty oder ChatGPT Search eta­bliert, die ein Sprach­mo­dell als Kern­kom­po­nen­te nut­zen und ei­nen klas­si­schen Web-In­dex nur er­gän­zend ein­set­zen. Das klas­si­sche Craw­ler-In­dex­er-Sear­cher-Mo­dell bleibt da­bei das Fun­da­ment – es wird durch die­se zu­sätz­li­che Schicht aber spür­bar er­wei­tert.

Zu­sam­men­fas­sung

Auch wenn eine Such­ma­schi­ne den An­spruch hat, alle mög­li­chen Do­ku­men­te im Netz zu fin­den und für den User be­reit­zu­stel­len, ist dies nicht mög­lich, da zum ei­nen die Mas­se an Do­ku­men­ten ex­trem groß ist und es zum an­de­ren Sei­ten gibt, die kei­ne Ver­lin­kun­gen ha­ben oder Sei­ten, die eben nicht von klas­si­schen Such­ma­schi­nen ge­fun­den wer­den wol­len und über ein Pass­wort ge­schützt sind.

Die Such­ma­schi­nen ha­ben trotz­dem für uns User das In­ter­net greif­bar ge­macht und er­mög­li­chen es, dar­in nach re­le­van­ten In­for­ma­tio­nen zu su­chen. Die­ser Ar­ti­kel hat nur an der Ober­flä­che ge­kratzt, in ei­nem der nächs­ten Blog­ar­ti­kel wer­de ich nä­her auf das The­ma der In­for­ma­ti­on Re­trie­val ein­ge­hen. In­for­ma­ti­on Re­trie­val be­deu­tet ge­spei­cher­te, un­struk­tu­rier­te In­for­ma­tio­nen auf­ruf­bar und aus­wert­bar zu ma­chen. Dies kann als die Wis­sen­schaft hin­ter den Such­ma­schi­nen be­zeich­net wer­den.

Quel­len:

• https://www.sprin­ger.com/de/book/9783662440148
• http://in­fo­lab.stan­ford.edu/~back­rub/goog­le.html
• http://www.bui.haw-ham­burg.de/fi­lead­min/user_upload/le­wan­dow­ski/doc/Web_In­for­ma­ti­on_Re­trie­val_Buch.pdf
• https://di­gi­bib.hs-nb.de/file/dbhsnb_de­ri­va­te_0000001941/Ba­che­lor­ar­beit-Schuldt-2015.pdf
• https://www.en­zy­klo­pae­die-der-wirt­schafts­in­for­ma­tik.de/wi-en­zy­klo­pae­die/le­xi­kon/da­ten-wis­sen/Wis­sens­ma­nage­ment/Know­ledge-En­gi­nee­ring/Such­ma­schi­nen

Text be­wer­ten

Durch­schnitt­li­che Be­wer­tung: 4.9 / 5. | An­zahl der Be­wer­tun­gen: 7