[Wikide-l] Re: Benutzer-Watchlist

Ivo Köthnig koethnig at web.de
So Mär 14 09:54:20 UTC 2004


Am Sonntag, 14. März 2004 10:43 schrieb Alwin Meschede:
> Ivo Köthnig schrieb:
> > Ich bin mir nicht sicher, aber ich glaube wget ist gesperrt und
> > funktioniert nicht...
>
> Aber nur, damit nicht jeder ahnungslose Depp uns durch zu schnelles
> Spidern die Server in die Knie zwingt. Man kann wget durchaus so
> konfigurieren, dass es einen anderen Useragent-String schickt, außerdem
> kann man dem Programm auch sagen, dass es die Robots.txt, in der auf
> freiwilliger Basis die Programme vermerkt sind, die nicht spidern sollen
> dürfen, einfach ignoriert. Wir gehen einfach davon aus, dass diejenigen
> Leute, die so intime Kenntnis von wget haben, dass sie obige Punkte
> umsetzen können, auch so verantwortungsbewusst sind, langsam zu spidern.

Und wie spidert man langsam? kann man das wget auch sagen? Was bedeutet 
langsam? Nach jedem File 3 Sek. warten. oder deutlich länger?

--Ivo Köthnig