otkudao
1. Поисковые боты могут посетить страницу и без явного запроса на индексацию, по ссылке с другого сайта.
2. Куда ж без них, были всегда. Новая версия vB по строке идентификации броузера распознает наиболее распространенные боты.
3. Нихт.
4. Многопотоковые, заразы.
5. Зависит от их алгоритма, скорей всего все до чего смогут добраться.
И ваще -
гугл.