Парсинг яндекс маркета 2021

Тема в разделе "Парсинг интернет магазинов", создана пользователем Anton6456, 8 дек 2021.

  1. Anton6456

    Anton6456 New Member Пользователи

    Регистрация:
    7 дек 2021
    Сообщения:
    31
    У меня задача 1000 страниц яндекс маркета парсить 2 раза в день (проверка актуальных цен) что б как можно меньше времени занимала....
    1) на моём основном ip
    - в 2 потока каждые 100стриниц капча, обязательно нужно обновлять куки когда капча
    - в 1 поток при сохранении кеша примерно так-же
    2) на прокси
    - в 1-й день 2 потока через раз нужно было устанавливать галочку что не робот (без капчи)
    - во 2-й день 2 потока каждая 3-я страница капча (при этом капча идёт не сразу а после загрузки страницы сразу)
    - в 1 поток при сохранении кеша всё примерно так-же
    ---------------
    кто-то сталкивался, покупка более дорогих прокси помогает ?
    авторизацию на маркете если делать ?
    прописывать разные варианты User-Agent, или ещё чего-то ???
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Я бы тоже хотел в этом разобраться.

    Постараюсь на днях, отпишусь.
     
  3. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Можно решить на платной основе.

    За подробностями - в ЛС
     
    Root нравится это.

Поделиться этой страницей