Aufräumaktion bei den Bots und Crawlern

[DQA (Administrator)]

Seid gegrüßt

Ich habe kürzlich sehr viele Bots bemerkt, die nicht als solche erfasst waren und als „Gast“ aufgelistet wurden. Der Bot der Suchmaschine Bing (Microsoft), aber auch andere, waren oft sogar zwei- oder dreifach präsent, mit drei verschiedenen IPs. Dann waren das eben drei Gäste. Das ist zwar schmeichelhaft, aber es verfälscht das Bild. Ich würde schon sehr gerne wissen, wie viele „richtige“ Gäste bei uns mitlesen.

Wenn Ihr auf „WER IST ONLINE“ klickt, seht Ihr nur die IP der Gäste (Gastleser sehen auch die IP nicht) und in welchem Unterforum die gerade lesen etc. Ich als Admin sehe zusätzlich noch die Browsersignatur, und dadurch ist ein Bot oder Crawler identifizierbar. So habe ich also alle diese Bots neu in die interne Bot-Tabelle aufgenommen. Auch ein „Dreifacher Bing“ erscheint jetzt nur noch als ein einziger „unsichtbare (oder Bots)“ und die ausgewiesenen Gäste sind von nun an real vor einem Bildschirm sitzende Personen.

Konsequenterweise werden nun alle identifizierten Bots bei „WER WAR DA“ angezeigt. In den letzten 24 Stunden waren das 18(!) solcher Bots oder Crawler. Ich habe keine Ahnung, was die hier wollen, was sie suchen, woher sie so plötzlich kommen. Ich habe die jedenfalls nicht gerufen, im Sinne einer SEO-Maßnahme oder so. Jedenfalls tut mir die Liste „WER WAR DA“, wenn ich sie mir so anschaue, in den Augen weh. Vielleicht sollte ich einige Bots einfach mal aussperren. Klar, Google, Bing, Yahoo etc. natürlich nicht. Aber was uns die chinesische Baidu oder die russische Yandex bringen, kann ich echt nicht sagen. Auch nichts über die vielen anderen kleineren Bots und Crawlers, Ihr seht sie ja selbst in der Liste „WER WAR DA“.

Vom Traffic her (Datenvolumen) habe ich das noch nicht wirklich angeschaut, aber das dürfte eigentlich nicht das Problem sein. Ich behalte das mal im Auge, und vielleicht weiß ja von Euch jemand einen Rat. Gepostet habe ich das hier, weil ich eine besorgte diesbezügliche PN erhielt, und weil das plötzliche Auftauchen und das namentliche Aufführen der Bots in „WER WAR DA“ wahrscheinlich nicht nur dieser Person aufgefallen sein dürften.

DQA

[WilloTse]

Moin DonQAd!

Kleine Korrektur:

seht Ihr nur die IP der Gäste (Gastleser sehen auch die IP nicht)

Zumindest ich sehe auch angemeldet NICHT die IP des Gastes (was auch im Sinne des Datenschutzes völlig o.k. ist), sondern nur die Bezeichnung "Gast" sowie einen Link zu dem Unterforum, das der Gast gerade betrachtet. (Und, manchmal steht hinter Gast "befindet sich im persönlichen Bereich". Wie auch immer der da 'reinkommt?!)

LG
Willo

[DQA (Administrator)]

Ja, Willo

Du hast recht. Ihr seht die IP der Gäste nicht. Und über die Gäste, die sich angeblich „im persönlichen Bereich“ befinden, bin ich auch schon gestolpert. Aber da ist nix dran. Weiß der Geier, was sich die Software da wieder auskegelt

DQA

[fetsecht]

Hi,

warum ueberhaupt die bots anzeigen, empfand das immer als sehr stoerend.
ip adresse sieht nur der admin, privater bereich, kann die member liste sein etc...hm.
denke ich sehe das prob, ich mail dir es Don.

[GoldenTulip]

Ich meine auch: ein paar unsinnige aussperren, und den Rest unsichtbar machen. Das interessiert doch niemanden, ob die hier rumschwirren. Und bei "war war da" kriegt man inzwischen Augenkrebs.

[delle54]

Was Don meint, sind vermutlich Bots mit einer falschen (geklauten) Identität. Wir haben uns schon über Gegenmassnahmen ausgetauscht.

Standardmässig sind etwa 50 Bots als Mitglieder der entsprechenden Gruppe von der Software vorgegeben. Diese sind harmlos und erfahrungsgemäss tauchen nur Google und 1-2 andere in "wer ist online" oder "wer war da" auf.