Парсинг Яндекс Маркета

Тема в разделе "Разное", создана пользователем keda, 15 фев 2011.

  1. keda

    keda New Member Пользователи

    Регистрация:
    15 фев 2011
    Сообщения:
    4
    Здравствуйте!
    Может кто знает как обойти это:
    [​IMG]
    До определенного момента всё нормально парсит, потом получаешь бан и через каждые 3-5 переходов появляется окно с капчей. Использование прокси не помогает, Яндекс всё равно как то определяет тебя. Может он по юзер агентам сверяет или ещё как то... незнаю. Вобщем подскажите, пожалуйста, если кто знает, как Яндекс распознаёт тебя даже с использованием прокси и возможные пути решения.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.865
    Город:
    Барнаул
    Привет.
    Во вкладке контент выставьте Количество потоков - 1
    Пауза между запросами - 5000 (а если банит, то и более).
    Ставим на ночь и все парсится.
     
  3. keda

    keda New Member Пользователи

    Регистрация:
    15 фев 2011
    Сообщения:
    4
    Root, спасибо! Буду пробовать.
     
  4. AidarJan

    AidarJan New Member Пользователи

    Регистрация:
    25 фев 2011
    Сообщения:
    3
    Регион в Яндекс.Маркет

    Здравствуйте, Сергей.

    Решил отписать сюда, поскольку тема касается парсинга Яндекс.Маркет.

    При использовании ContentDownloader обнаружена следующая проблема:

    При просмотре кода и страницы по ссылке в сплит режиме для определения границ парсинга, идет разная привязка к региону в яндекс.маркет.

    В частности в окне браузера в нижней части экрана я вижу страницу по ссылке где указан регион "Москва", а на странице в верхней части экрана код страницы с привязкой регион "Казань".

    Это соответственно влечет отображение разного контента, в одном окне код одной страницы по этой же ссылке, в другом обработанная браузером совершенно другая страница.

    Возникают вопросы:
    1) кэшируются ли просмотренные страницы локально;
    2) как используются cookie;
    3) окно встроенного браузера не позволяет полноценно использовать загруженную страницу - в частности нельзя принудительно сменить регион.

    При этом при использовании кабельного интернета, я имею внешний IP-адрес который определяется по региону как Казань.

    Сегодня работал по USB-модему, на котором динамический IP-адрес, и он определяется в зависиомсти от сервиса как Казань, Нижний Новгород, Самара и т.д. по-разному. Однако с маркетом проблем не было, регион всегда был "Москва".

    В настройках прокси - выставлены опции использовать прокси, и проверен список с прокси-серверами.

    Какие соображения?

    Спасибо.
     

    Вложения:

  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.865
    Город:
    Барнаул
    Надо подумать как сменить регион. Теми же самыми печеньками.
    И зачем вам все эти проблемы с Маркетом, товары Мейл ру куда легче парсятся.
     
  6. AidarJan

    AidarJan New Member Пользователи

    Регистрация:
    25 фев 2011
    Сообщения:
    3
    Так то, оно так, да вот только наполненность базы Я куда больше чем М, к примеру, интересующая меня категория "Расходные материалы для принтеров" соотносится как 6000/700, почти в 10 раз!
     
  7. intellectual

    intellectual Гости

    Чтобы капчи не было, юзайте прокси. 200-300 шт. и будет счастье.
     
  8. us-1977

    us-1977 New Member Пользователи

    Регистрация:
    7 сен 2011
    Сообщения:
    1
    Во вкладке контент выставьте Количество потоков - 1
    Пауза между запросами - 5000 (а если банит, то и более).
    Ставим на ночь и все парсится.
    Здравствуйте!!
    Подскажите, где искать эту вкладку контент (у меня такая же проблема с маркетом)???
     
  9. art2000

    art2000 New Member Пользователи

    Регистрация:
    4 окт 2018
    Сообщения:
    4
    Город:
    Томск
    Здравствуйте , подскажите пожалуйста , как найти артикул товара на странице товара в яндекс маркете , как он выглядит? голову сломал
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.865
    Город:
    Барнаул
    Здравствуйте.

    А он вообще там есть?
     
  11. art2000

    art2000 New Member Пользователи

    Регистрация:
    4 окт 2018
    Сообщения:
    4
    Город:
    Томск
    хороший вопрос)
     
  12. Vlad300

    Vlad300 New Member Пользователи

    Регистрация:
    18 ноя 2020
    Сообщения:
    1
    Здравствуйте. Не стал создавать новую тему по Яндекс Маркету, здесь вопрос задам. Загрузил список прокси-серверов, не понял что писать в строке "контрольная подстрока".
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1500 постов.**
    Меня попросили скрыть запрос. Но это значения не имеет. Яндекс жестко банит и что с этим делать я ума не приложу. Спасибо.
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.865
    Город:
    Барнаул
    Здравствуйте.

    Для парсинга Маркета, думаю, подойдет хорошая пачка (около 1000) даже паблик прокси.

    Для проверки прокси с целью парсинга Маркета используйте такие параметры

    2021-04-15_19-46-33.png
     
    kagorec нравится это.

Поделиться этой страницей