Google’s crawl caching proxy
Om een aantal webbeheerders en voornamelijk webservers uit de stress te helpen heeft Google een crawl caching proxy opgezet waarmee flink wat bandbreedte bespaard gaat worden.
Het idee is eigenlijk heel simpel, Google heeft meerdere bots voor diverse services die allemaal individueel sites spideren op verschillende punten. Hierbij kun je denken aan de gewone Googlebot die spidert voor de search, maar ook aan de AdSense bot. Tot voor kort deden ze allemaal hun eigen bezoekje aan je website wat bij grote websites voor enorme stromen dataverkeer kon leiden.
