@Alone; bahsettiğin zararlı botların neredeyse tamamı robots.txt protokolünü hiçe sayar

.htaccess ile bu kontrolü yapmak daha akıllıca.


Sitenizin istedikleriniz harici bot veya hırsızlar tarafından indexlenememesini sağlamak istiyorsanız ve sunucunuz php destekliyor ise
freshmeat.net: Project details for anti_offline_browser.php

adresinden edinebileceğiniz anti offline browser işini görecektir.

Yani/ayrıca anti offline browser
offline browser (httrack vb.) ile girip sitenizi çalan adi at hırsızlarına karşı da güzel bir çözümdür.