Проблема с парсингом яндекс маркета

Тема в разделе "Решение проблем с использованием программы", создана пользователем QuZ, 30 авг 2017.

  1. QuZ

    QuZ New Member Пользователи

    Регистрация:
    28 янв 2012
    Сообщения:
    32
    Добрый вечер. Пытаюсь собрать товары по ссылкам вида Ссылки недоступны для гостей &page={num} от 1 до 200, убираю лишние параметры из ссылок выдачи, оставляя только чистые - Ссылки недоступны для гостей , в итоге яндекс на 50-той странице ровно (выдает 600 уникальных товаров) и все, дальше идет работа программы в молоко. С чем связано? Айпишник не банится, работаю не быстро.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    В ЯМ есть лимит на отображение товаров категории. Как вариант используйте фильтры по брендам и т.д. чтобы охватить большинство товаров.
     
    Root нравится это.
  3. QuZ

    QuZ New Member Пользователи

    Регистрация:
    28 янв 2012
    Сообщения:
    32
    Вот они злые. Каким либо образом это обойти можно? В браузере нормально показывается. Зачем они такие приколы делают.. Вот сейчас вместо 320 запросов, выполняю 4000, разбивая по ценам. Оптимизация и защита от парсинга. Сволочи.
     

Поделиться этой страницей