Новая пагинация ЯМ + прокси

Тема в разделе "Решение различных задач по парсингу", создана пользователем Burt, 16 окт 2017.

  1. Burt

    Burt New Member Пользователи

    Регистрация:
    16 июн 2015
    Сообщения:
    4
    Вечер добрый.

    При парсинге страниц в
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Страница 50.
    На 51 странице повторяются товары, при генерации страниц с page, всё что за 51 идут дубли товаров.
    Получается если больше 600 (у меня 577 парсит) товаров в бренде или на странице, то остальные будут дубли.

    Защищаются что ли, но я не понял как это обойти :(

    Прокси

    Помогите разобраться, ранее не было таких проблем.
    Добавил список прокси, прежде проверил их с помощью Ссылки недоступны для гостей
    Программа видит прокси, но по-прежнему показывает мой ip адрес.

    Версия на скриншоте ниже.
    [​IMG]

    [​IMG]
     
    Последнее редактирование модератором: 16 окт 2017
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Как вариант, бренд и диапазон цен, множить список надо.
    Прокси прозрачные похоже.
     
  3. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Если в обычном браузере, особо не важно в каком, вы получаете результат
    50 -51-52 и тд одинаковые
    то ничего вы не сможете с этим сделать
    т.е. 10 выдач на страницу + 50 страниц = 500 результатов
    этого более чем достаточно
    если нет, значит у вас неверный в корне запрос
    и его просто надо поменять
    добавив например разновидность модели или год выпуска или любые другие параметры
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Вов, там все намного хуже.
    ТС говорит (убежденно) что разновидностей больше чем 500) Я в это просто не верю. т.е. если мы возьмем любой бренд и посчитаем количество моделей, то врядле там где-то будет больше чем 40-50. А модификаций больше чем 100 позиций.
    Тем более что яндекс маркет сейчас после 50 страницы не выдает выдачу, вернее выдает 50-й страницы.
     
    kagorec нравится это.
  5. Burt

    Burt New Member Пользователи

    Регистрация:
    16 июн 2015
    Сообщения:
    4
    Если по другому никак не собрать все ссылки с основной категории, а их более 11000, то да только так.
    Прокси с логином и паролем, не привязанные к ip.

    Всего
    [​IMG]

    Нужны все модели. Просто список всех моделей по брендам, парсер товара и характеристик уже настроен с GETMORECONTENT
     
    Последнее редактирование: 17 окт 2017
    kagorec нравится это.
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Модели это не товары, ямаркет считает ненужным показывать товары модельные а только уникальные.
    Предполагаю - надо еще искать модели от каждого найденного товара ранее.
     
    Burt нравится это.
  7. Burt

    Burt New Member Пользователи

    Регистрация:
    16 июн 2015
    Сообщения:
    4
    А с прокси что делать? Другие искать?
     
  8. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    То что прокси русские это очень хорошо, но бестолковые если не скрывают ваш ip
     

Поделиться этой страницей