#6

Re: www.majestic12.co.uk Bot ist lästig

20.08.2008 Hallo LupusC,

die Hinweise zur robots.txt kenne ich schon lange. Geht auch nicht drum, den Bot auszusperren. Es war mehr ne Frage, ob jemand ähnliche Erfahrungen gemacht hat und rätseln, wieso ein Bot plötzlich so viele Anfragen sendet. Der Majestic Bot kommt schon seit mind. einem Jahr auf meine Seiten. Bisher immer moderate Anfragen, die keine Serverlast erzeugen. Extrem viele Anfragen waren erst in den letzten Tagen.

Bevor ich da einen Bot aussperre, warte ich lieber ab, ob bei zu vielen Anfragen auf Dauer bleibt oder wieder einpegelt.

#5

Re: www.majestic12.co.uk Bot ist lästig

19.08.2008 Sicher, aber sie muss nicht gelesen werden, geschweige denn sich daran gehalten.

#4

Re: www.majestic12.co.uk Bot ist lästig

19.08.2008 Die robots.txt schlägt der Betreiber des Robots selbst vor

#3

Re: www.majestic12.co.uk Bot ist lästig

19.08.2008 Die robot.txt finde ich ist hier der falsche weg, denn nicht alle halten sich an diese Vorgaben, und dann gibt es keine Ausschlussmöglichkeit. Den Inhalt der robot.txt ist nur eine Vorgabe wie sich ein Robot verhalten sollte.

Richtig wäre hier dieses in der .htaccess zu vermerken, zusätzlich hat man da ja auch die Möglichkeit die Häufigkeit eines Scanns festzulegen, was jedoch zusätzlichen Programmieraufwand bedeutet.

Muki

#2

Re: www.majestic12.co.uk Bot ist lästig

19.08.2008 Schau mal genau auf die Seite von dem Bot die du gepostet hast. Da ist eine Lösung dabei.
Zitat:

#1

www.majestic12.co.uk Bot ist lästig

19.08.2008 Na, für Off Topic halte ich das net, aber fins kein passenderes Forum:

http://www.majestic12.co.uk/projects/dsearch/mj12bot.php

Okay, ein Bot und schlimm finde ich den auch nicht. Aber: hat der Bot nun einen Drehwurm? Besuche von dem Bot sind bei mir bisher normal und nicht so super oft. Aber gestern, kommt im Sekundentakt ne Anfrage von dem Bot, der Protector ist voll mit Meldungen - DOS - weil das Ding über 2 verschiedene IPs innerhalb kürzester Zeit mehr Anfragen sendet, als alle anderen Bots innerhalb eines Tages.

Das Teil hat in kürzester Zeit soviel Anfragen abgeschikt, wie ich das noch nie erlebt habe.