Снижение скорости парсинга - в чем может быть причина?

Приветствую.

Возникла странная проблема.

Значительно снизилась скорость парсинга определенного сайта. То есть предположим. 2 часа назад закончился парсинг одного раздела сайта. Потом добавил еще ссылок для парсинга, другого раздела, запустил парсинг и вместо допустим скорости 1 документа в секунду, скорость упала до 1 документа в минуту. ПРи этом если с браузера ходить по сайту - то скорость работы сайта осталась прежней. Все нормально грузится, бана нет.

Как узнать в чем может быть причина? Явно что-то произошло, только как определить что, непонятно.

 

Здравствуйте.

Предположение 1: Если используете прокси, дело в прокси (медленные или неработоспособные).

Предположение 2: Сайт (к сожалению или к счастью, я не знаю какой) так реагирует на частые запросы. Попробуйте передать cookies из IE нажав на кнопку с изображением ключика (во вкладке "контент"). Может быть поможет, а может и нет...

Больше предположений по этому поводу у меня нет и наврятли будут. Сам с такой проблемой не сталкивался.

С уважением к вам, Сергей.

 

Спасибо за ответ.
Прокси не используются.

cookies попробую передать. Проблема действительно странная.