Парсинг Яндекс Маркета

Здравствуйте!
Может кто знает как обойти это:

До определенного момента всё нормально парсит, потом получаешь бан и через каждые 3-5 переходов появляется окно с капчей. Использование прокси не помогает, Яндекс всё равно как то определяет тебя. Может он по юзер агентам сверяет или ещё как то... незнаю. Вобщем подскажите, пожалуйста, если кто знает, как Яндекс распознаёт тебя даже с использованием прокси и возможные пути решения.

 

Привет.
Во вкладке контент выставьте Количество потоков - 1
Пауза между запросами - 5000 (а если банит, то и более).
Ставим на ночь и все парсится.

 

Root, спасибо! Буду пробовать.

 

Регион в Яндекс.Маркет

Здравствуйте, Сергей.

Решил отписать сюда, поскольку тема касается парсинга Яндекс.Маркет.

При использовании ContentDownloader обнаружена следующая проблема:

При просмотре кода и страницы по ссылке в сплит режиме для определения границ парсинга, идет разная привязка к региону в яндекс.маркет.

В частности в окне браузера в нижней части экрана я вижу страницу по ссылке где указан регион "Москва", а на странице в верхней части экрана код страницы с привязкой регион "Казань".

Это соответственно влечет отображение разного контента, в одном окне код одной страницы по этой же ссылке, в другом обработанная браузером совершенно другая страница.

Возникают вопросы:
1) кэшируются ли просмотренные страницы локально;
2) как используются cookie;
3) окно встроенного браузера не позволяет полноценно использовать загруженную страницу - в частности нельзя принудительно сменить регион.

При этом при использовании кабельного интернета, я имею внешний IP-адрес который определяется по региону как Казань.

Сегодня работал по USB-модему, на котором динамический IP-адрес, и он определяется в зависиомсти от сервиса как Казань, Нижний Новгород, Самара и т.д. по-разному. Однако с маркетом проблем не было, регион всегда был "Москва".

В настройках прокси - выставлены опции использовать прокси, и проверен список с прокси-серверами.

Какие соображения?

Спасибо.

 

Надо подумать как сменить регион. Теми же самыми печеньками.
И зачем вам все эти проблемы с Маркетом, товары Мейл ру куда легче парсятся.

 

Так то, оно так, да вот только наполненность базы Я куда больше чем М, к примеру, интересующая меня категория "Расходные материалы для принтеров" соотносится как 6000/700, почти в 10 раз!

 

Чтобы капчи не было, юзайте прокси. 200-300 шт. и будет счастье.

 

Во вкладке контент выставьте Количество потоков - 1
Пауза между запросами - 5000 (а если банит, то и более).
Ставим на ночь и все парсится.
Здравствуйте!!
Подскажите, где искать эту вкладку контент (у меня такая же проблема с маркетом)???

 

Здравствуйте , подскажите пожалуйста , как найти артикул товара на странице товара в яндекс маркете , как он выглядит? голову сломал

 

Здравствуйте.

А он вообще там есть?

 

хороший вопрос)

 

Здравствуйте. Не стал создавать новую тему по Яндекс Маркету, здесь вопрос задам. Загрузил список прокси-серверов, не понял что писать в строке "контрольная подстрока".

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1500 постов.**

Меня попросили скрыть запрос. Но это значения не имеет. Яндекс жестко банит и что с этим делать я ума не приложу. Спасибо.

 

Здравствуйте.

Для парсинга Маркета, думаю, подойдет хорошая пачка (около 1000) даже паблик прокси.

Для проверки прокси с целью парсинга Маркета используйте такие параметры