[Wikide-l] Re: Benutzer-Watchlist

So Mär 14 09:43:21 UTC 2004

Ivo Köthnig schrieb:
> Ich bin mir nicht sicher, aber ich glaube wget ist gesperrt und funktioniert 
> nicht...

Aber nur, damit nicht jeder ahnungslose Depp uns durch zu schnelles
Spidern die Server in die Knie zwingt. Man kann wget durchaus so
konfigurieren, dass es einen anderen Useragent-String schickt, außerdem
kann man dem Programm auch sagen, dass es die Robots.txt, in der auf
freiwilliger Basis die Programme vermerkt sind, die nicht spidern sollen
dürfen, einfach ignoriert. Wir gehen einfach davon aus, dass diejenigen
Leute, die so intime Kenntnis von wget haben, dass sie obige Punkte
umsetzen können, auch so verantwortungsbewusst sind, langsam zu spidern.

Alwin Meschede