Was ist Du­pli­ca­te Con­tent? Lö­sun­gen zur Be­he­bung von dop­pel­ten In­hal­ten

Hier­bei wird zwi­schen drei ver­schie­de­nen Ar­ten un­ter­schie­den: nach in­ter­ner, ex­ter­ner und ähn­li­cher (Near) Du­pli­ca­te Con­tent.

1. In­ter­ner Du­pli­ca­te Con­tent – In­hal­te, die auf ei­ner Web­site auf ver­schie­de­nen URLs vor­han­den sind (z. B. wenn die Web­sites mit http:// und mit https:// ein­zeln auf­ruf­bar ist).

2. Ex­ter­ner Du­pli­ca­te Con­tent – In­hal­te, die auf ver­schie­de­nen Web­sites auf­ruf­bar sind. Die­se Art ist häu­fig bei Shops zu fin­den, wenn die­se Pro­dukt­be­schrei­bun­gen 1:1 von Her­stel­lern aus dem In­ter­net ko­pie­ren.

3. Near Du­pli­ca­te Con­tent – In­hal­te, die ein­an­der sehr ähn­lich sind (bspw. im­mer die glei­chen Text­bau­stei­ne, die mehr­fach auf un­ter­schied­li­chen URLs ver­wen­det wer­den oder auch Text­bau­stei­ne, die nur ganz leicht um­ge­schrie­ben wur­den).

Bei­spie­le für in­ter­nen Du­pli­ca­te Con­tent:

➢ Die Web­site ist mit und ohne www. auf­ruf­bar

➢ URL-Pa­ra­me­ter und Ses­si­ons-IDs in den URLs

➢ Wie­der­keh­ren­de, iden­ti­sche Pro­dukt­be­schrei­bun­gen

➢ Pa­gi­nie­run­gen von Ka­te­go­rie­un­ter­sei­ten (Sei­ten­num­me­rie­run­gen)

➢ Iden­ti­sche Ka­te­go­rie und Schlag­wör­ter-Sei­ten (Über­sichts­sei­ten)

➢ Meta Tags, wie ein iden­ti­scher Title Tag, wer­den auf ver­schie­de­nen URLs gleich­zei­tig ver­wen­det

Von Du­pli­ca­te Con­tent wird nicht ge­spro­chen, wenn ein kur­zer Vor­spann und eine Über­schrift von Bei­trä­gen auf ei­ner Über­sichts­sei­te zum An­teasern ver­wen­det wer­den. Wört­li­che oder ähn­li­che Zi­ta­te, die nur ge­le­gent­lich in ei­nem Text vor­kom­men, stel­len eben­so kei­ne Ge­fahr dar.

War­um stellt Du­pli­ca­te Con­tent ein Pro­blem dar und wie be­wer­tet Goog­le dop­pel­te In­hal­te?

Du­pli­ca­te Con­tent kann in der Re­gel zu kei­ner Ab­stra­fung durch Goog­le füh­ren. Eine Aus­nah­me stellt der Ein­satz von dop­pel­ten In­hal­ten dar, um mit Spam-Me­tho­den (Black Hat SEO) eine Web­site künst­lich in den Such­ergeb­nis­sen nach vor­ne zu be­kom­men.

Sol­che Spam-Me­tho­den, wie Scra­per Sites (ge­klau­te In­hal­te) und Spin­ning Con­tent (au­to­ma­ti­siert um­ge­schrie­be­ne Tex­te), wer­den ma­nu­ell ab­ge­straft bei Ent­de­ckung.

Das größ­te Pro­blem ist für Goog­le das Ver­ständ­nis, wel­che URL bei du­pli­zier­ten In­hal­ten ran­ken soll. Gibt es auf ver­schie­de­nen URLs die glei­chen oder sehr ähn­li­cher Con­tent, ist es für den Goog­le-Bot schwie­rig zu ent­schei­den, wel­che URL zu wel­chen In­hal­ten in den Such­ergeb­nis­sen ge­fun­den wer­den soll. Hier ent­schei­det Goog­le in so ei­nem Fall selbst, und das lei­der nicht im­mer rich­tig. Da­her ist es wich­tig, DC zu ver­mei­den und Goog­le ganz klar zu zei­gen, wel­che URL zu wel­chen In­hal­ten ran­ken soll.

Goog­le will au­ßer­dem Web­sites im In­dex ha­ben, die den Usern ei­nen nen­nens­wer­ten Mehr­wert mit ein­zig­ar­ti­gem und qua­li­ta­tiv hoch­wer­ti­gem Con­tent bie­ten. Bei ko­pier­ten Tex­ten ist dies nicht der Fall.

Zu­dem will der Kon­zern die Craw­ler nicht un­nö­tig häu­fig über eine Web­site schi­cken – Zeit und an­de­re Res­sour­cen sol­len ge­spart wer­den. Bei ei­ner Web­site mit sehr viel Du­pli­ca­te Con­tent kommt der Craw­ler un­ter Um­stän­den nicht so häu­fig vor­bei wie bei Web­sites, die frei von du­pli­zier­tem oder ähn­li­chem Con­tent sind. Das Crawl-Bud­get ist al­ler­dings nur für sehr gro­ße Web­sites (Grö­ßen­ord­nung Hun­dert­tau­sen­de URLs) re­le­vant; für nor­ma­le Web­sites ist es kein Ran­king-Fak­tor.

Ein gu­tes Vi­deo zu die­sem The­ma fin­dest du von Goog­le selbst:

Goog­le be­straft Du­pli­ca­te Con­tent im Nor­mal­fall nicht.

Statt­des­sen clus­tert Goog­le die du­pli­zier­ten URLs, wählt eine re­prä­sen­ta­ti­ve ka­no­ni­sche URL aus und fil­tert die üb­ri­gen aus den Such­ergeb­nis­sen. Da­bei wer­den Ran­king-Si­gna­le (z. B. Links) auf die aus­ge­wähl­te URL ge­bün­delt – oder, bei un­ge­steu­er­ter Du­pli­zie­rung, auf meh­re­re URLs auf­ge­teilt und da­mit ver­wäs­sert.

Es geht beim Ver­mei­den also we­ni­ger um „Straf­frei­heit“ als dar­um, dass die von dir ge­wünsch­te URL die Si­gna­le er­hält und rankt.

Du­pli­ca­te Con­tent fin­den

Es gibt ver­schie­de­ne Wege, die un­ter­schied­li­chen Ar­ten von DC zu er­ken­nen:

• In­ter­nen Du­pli­ca­te Con­tent ana­ly­sie­ren

Mit der kos­ten­lo­sen Goog­le Search Con­so­le fin­dest du Hin­wei­se auf dop­pel­te In­hal­te. Der frü­he­re Be­richt „HTML-Ver­bes­se­run­gen“ wur­de Ende März 2019 ab­ge­schal­tet; nut­ze heu­te den Be­richt „Sei­ten­in­de­xie­rung“ (z. B. Sta­tus „Du­pli­kat – vom Nut­zer nicht als ka­no­nisch fest­ge­legt“) so­wie das URL-Prü­fung-Tool.

Mit kos­ten­pflich­ti­gen Ana­ly­se-Tools wie Seo­bi­li­ty und vie­len wei­te­ren On­Page-Ana­ly­se-Tools kannst du dir Du­pli­ca­te Con­tent an­zei­gen las­sen.

Auf Site­li­ner.com kannst du dei­ne Web­site kos­ten­frei auf du­pli­zier­te In­hal­te über­prü­fen las­sen.

• Ex­ter­nen Du­pli­ca­te Con­tent ana­ly­sie­ren

Über die Web­site Co­py­scape kannst du dir an­zei­gen las­sen, ob es Ko­pien zu dei­ner URL/Web­site im Netz gibt. Das Ana­ly­se-Tool über­prüft da­bei das Web nach ex­ter­nen Quel­len, die ähn­li­che oder iden­ti­sche Über­ein­stim­mun­gen zu dei­ner An­fra­ge ha­ben.

• Über die Goog­le-Su­che (ex­ter­ner wie auch in­ter­ner DC)

Über die Su­che von Goog­le kön­nen so­wohl in­ter­ner wie auch ex­ter­ner Con­tent ge­fun­den wer­den. Gib dazu eine Text­pas­sa­ge ein, von der du denkst, dass die­se dop­pelt auf dei­ner oder an­de­ren Web­site vor­han­den ist. Set­ze die Pas­sa­ge des Tex­tes mit An­füh­rungs­zei­chen („“) in die Su­che ein – be­kommst du jetzt mehr­fa­che Er­geb­nis­se an­ge­zeigt, soll­test du über­prü­fen, ob die­se Er­geb­nis­se iden­ti­sche In­hal­te vor­wei­sen.

• Near Du­pli­ca­te ana­ly­sie­ren

Mit den be­reits ge­nann­ten Tools wie Seo­bi­li­ty las­sen sich auch häu­fig Tex­te er­ken­nen, die sehr ähn­lich zu­ein­an­der sind. Un­ter dem Punkt „In­halt“ -> „Kon­kur­rie­ren­de Sei­ten zum glei­chen Key­word“ las­sen sich oft Sei­ten fin­den, die near DC ha­ben. Auch Site­li­ner.com zeigt dir URLs auf dei­ner Web­site an, die ein­an­der äh­neln. Bei Seo­bi­li­ty.net fin­dest du über „In­halt“ -> „Du­pli­ca­te Con­tent“ alle Sei­ten auf­ge­lis­tet, die auf­grund der Key­word-Op­ti­mie­rung in Kon­kur­renz zu­ein­an­der­ste­hen.

Lö­sun­gen für Du­pli­ca­te Con­tent

Soll­te bei der Ana­ly­se her­aus­kom­men, dass du DC-Pro­ble­me auf dei­ner Web­site hast, soll­test du han­deln und die Pro­ble­me be­he­ben. Im Fol­gen­den zei­ge ich ei­ni­ge Mög­lich­kei­ten auf, DC zu be­he­ben.

✔ Wei­ter­lei­tun­gen für die Do­main und ein­zel­ne URLs

Eine Do­main soll­te ent­we­der über www. oder ohne er­reich­bar sein: Neh­men wir an, dass dei­ne Web­site nur über www. er­reich­bar sein soll, musst du ei­nen ent­spre­chen­den Wei­ter­lei­tungs­be­fehl in die .ht­ac­cess-Da­tei ein­tra­gen.

Fer­ner soll­te dei­ne Web­site, falls du über dies ver­fügst, nur über https:// auf­ge­ru­fen wer­den kön­nen.

Ver­fügst du über alte URLs, die über iden­ti­sche In­hal­te im Ver­gleich zu dei­ner neu­en Web­site ver­fü­gen, soll­test du die­se ent­spre­chend mit ei­ner 301-Wei­ter­lei­tung (Re­di­rect) um­lei­ten. Die­sen Be­fehl trägst du eben­falls in die .ht­ac­cess-Da­tei dei­ner Sei­te ein. Ein Bei­spiel:

Re­wri­te­Rule ^alte-url/?$ /neue-url/ [R=301,L]

Auf der Web­site: http://www.ht­ac­cess­re­di­rect.de/ gibt es wei­te­re Tipps, wie man die .ht­ac­cess mit Wei­ter­lei­tun­gen kon­fi­gu­rie­ren kann.

✔ Sei­ten auf „no­in­dex“ set­zen

Über den Ein­trag ei­nes Meta-Tags mit „no­in­dex,fol­low“ gibst du Goog­le die An­wei­sung, die Sei­te nicht in den Such­ergeb­nis­sen auf­zu­neh­men. Da­mit las­sen sich dop­pel­te In­hal­te schnell be­he­ben. Be­den­ke al­ler­dings, dass die­se Sei­ten wei­ter­hin von Goog­le über­prüft wer­den. Wird eine Sei­te gar nicht mehr be­nö­tigt, ist zu über­le­gen, ob es nicht sinn­voll wäre, sie zu lö­schen und/oder per 301-Re­di­rect um­zu­lei­ten.

Faust­re­gel zur Ab­gren­zung: no­in­dex eig­net sich, wenn eine Sei­te er­reich­bar blei­ben, aber nicht ran­ken soll; ein 301-Re­di­rect ist rich­tig, wenn die Sei­te dau­er­haft er­setzt oder auf­ge­löst wird.

✔ Ca­no­cial Tags

Mit­hil­fe des Ca­no­ni­cal Tags kannst du an­zei­gen, wel­che URL das Ori­gi­nal ist und wel­che Ko­pie von Goog­le igno­riert wer­den soll. Ein Bei­spiel im <head>:

<link rel="ca­no­ni­cal" href="https://www.bei­spiel.de/ori­gi­nal/" />

✔ In­de­xie­rung ver­hin­dern, Sei­te aber crawl­bar las­sen

<link meta name="ro­bots" con­tent="no­in­dex,fol­low" />

✔ Mehr­spra­chi­ge Web­sites

Häu­fig kann es zu Pro­ble­men mit Du­pli­ca­te Con­tent auf mehr­spra­chi­gen Web­sites kom­men. Hier ist die hre­flang-An­no­ta­ti­on das rich­ti­ge Mit­tel.

Bei län­der- oder sprach­spe­zi­fi­schen Ver­sio­nen der­sel­ben Sei­te sagt hre­flang Goog­le, wel­che Sprach- bzw. Län­der­ver­si­on wel­cher Ziel­grup­pe aus­ge­spielt wer­den soll, z. B.:

<link rel="al­ter­na­te" hre­flang="de-DE" href="https://www.bei­spiel.de/" />
<link rel="al­ter­na­te" hre­flang="en-US" href="https://www.bei­spiel.com/" />

Wich­tig: hre­flang er­gänzt den Ca­no­ni­cal und er­setzt ihn nicht – bei­de Sprach­ver­sio­nen blei­ben in­de­xier­bar.

✔ Ko­pier­te In­hal­te ent­fer­nen oder kom­plett neu- / um­schrei­ben

Ge­klau­te Pro­dukt­be­schrei­bun­gen und dop­pelt ver­wen­de­te Tex­te soll­ten von ei­ner Web­site schnell ver­schwin­den. Goog­le will ein­zig­ar­ti­ge Tex­te auf dei­ner Web­site se­hen und sieht ko­pier­te In­hal­te nicht ge­ra­de als Zei­chen von ho­her Qua­li­tät an.

Lö­sun­gen für Du­pli­ca­te Con­tent, die nicht emp­foh­len wer­den

⚡ Das Aus­schlie­ßen des Goog­le-Craw­lers über die ro­bots.txt-Da­tei, um DC zu be­he­ben, wird nicht emp­foh­len, da das Aus­schlie­ßen nicht zwangs­wei­se dazu führt, dass die URL aus dem In­dex von Goog­le ent­fernt wird. So bleibt der Du­pli­ca­te Con­tent be­stehen, nur kann Goog­le die­sen nicht wie­der er­neut craw­len.

⚡ Der Be­richt „Ent­fer­nen“ (Tool zum vor­über­ge­hen­den Ent­fer­nen) in der Search Con­so­le soll­te eben­falls nicht zum Be­he­ben dop­pel­ter In­hal­te ver­wen­det wer­den, da URLs hier nur kurz­zei­tig aus dem In­dex aus­ge­schlos­sen und da­nach wahr­schein­lich wie­der auf­ge­nom­men wer­den.

Tipps von Goog­le zur Ver­mei­dung

Auf https://sup­port.goog­le.com/web­mas­ters/ans­wer/66359?hl=de gibt es vie­le Tipps von Goog­le selbst zur Ver­mei­dung und Be­he­bung:

• 301-Wei­ter­lei­tun­gen ver­wen­den
• Im­mer die glei­chen URL-Struk­tu­ren ver­wen­den
• Die Search Con­so­le nut­zen, um sich bspw. auf be­stimm­te Sprach­ver­sio­nen fest­zu­le­gen
• Wie­der­keh­ren­de Text­bau­stei­ne ver­mei­den
• Ähn­li­chen Con­tent und ko­pier­te In­hal­te nicht ver­öf­fent­li­chen oder auf no­in­dex set­zen

Zu­sam­men­fas­sung

Ein­zig­ar­ti­ge Text auf ei­ner Web­site sind für Goog­le ein Zei­chen von ho­her Qua­li­tät und bie­ten dem Le­ser ei­nen Mehr­wert. Set­ze da­her al­les dar­an, DC-Pro­ble­me zu fin­den und zu be­he­ben. Mit di­ver­sen SEO-Tools kannst du die Übel­tä­ter schnell fin­den und ent­spre­chend re­agie­ren. Lö­sche ent­we­der Du­pli­ca­te Con­tent oder set­ze dop­pel­te In­hal­te auf „no­in­dex,fol­low“.

Soll­te eine an­de­re Web­site dein Con­tent 1:1 ko­pie­ren, soll­test du den Web­mas­ter kon­tak­tie­ren und dar­auf hin­wei­sen und zur Not so­gar mit recht­li­chen Schrit­ten dro­hen. Die ei­ge­nen In­hal­te auf dei­ner Web­site sind dein höchs­tes Gut und soll­ten dem­entspre­chend ge­pflegt wer­den.

Quellen

• Google, Die „Duplicate Content-Penalty“ – entmystifiziert! https://developers.google.com/search/blog/2008/09/demystifying-duplicate-content-penalty?hl=de