Парсинг realty.yandex.ru

Доброго времени суток! Пытаюсь парсить страницы типа Ссылки недоступны для гостей , но что-то не получается. Постоянно вываливается капча, использование прокси не помогло. Иногда страница полностью блочиться - даже до капчи не загружается. Если у кого есть опыт парсинга таких страниц - прошу поделиться

 

Здравствуйте.

При первом обращении по ссылке каптчи нет, значит прокси должны решить вопрос. Вопрос в количестве и "качестве" прокси.

Выберите анонимные прокси. Паблик HTTP прокси не скрывают ваш IP.

 

Спасибо за совет. Правильно я понял, что подойдут любые(платные+надежные) анонимные HTTP/SOCKS прокси?

 

Спасибо! Куплю прокси, однако

 

Рассчитывайте необходимое количество прокси на основе нужных объемов парсинга и поведения конкретного сайта.

Определите, после скольки запросов сайт выдает каптчу и при рассчете опирайтесь на эту информацию с учетом многопоточности парсинга через разные прокси (смена прокси производится при каждом запросе).