bots/crawlers

Hey

ik ben bezig met een script die checkt wat er online is op de website
maar ik ben bezig met een lijstje van bots/crawlers

wie heeft een lijstje van de user-agents van de bots/crawlers?

mvg,
daiman

Goh, google zoeken is ook echt zo moeilijk he...

http://www.user-agents.org/

ja die heb ik ook gevonden alleen moest ze gewoon in txt of gewoon los in een lijstje want daar moet ik 1 voor 1 zoeken

http://www.user-agents.org/allagents.xml
Via een PHP script zal dat vast wel uit te lezen zijn

Jep dat is wel uit te lezen

Ennnn
Kijk eens:
http://www.google.nl/#q=inurl:robots.txt&hl=nl&ei=10WKTMPUFMXqOMrzqK8K&start=0&sa=N&fp=ad503f72340a6eb8

Pagina 2 vind je dr meer

bedankt

ik heb in me admin paneelt toegevoegd dat ik alle user agents zie en dat ik ze kan hernoemen