Парсинг цен, доступных после авторизации

Тема в разделе "Авторизация на сайтах", создана пользователем Maksim1, 18 мар 2018.

  1. Maksim1

    Maksim1 New Member Пользователи

    Регистрация:
    18 мар 2018
    Сообщения:
    13
    Город:
    Киров
    Здравствуйте!
    При парсинге не удается найти цену в коде
    Данный сайт отображает несколько цен для разных групп пользователей, после авторизации, в коде можно найти только цену по умолчанию, а свою цену для авторизованного пользователя найти не получается...
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 9000 постов.**
     

    Вложения:

  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Авторизуйтесь в браузере (ctrl+k) и передайте cookie.

    2018-03-18_17-36-40.png
     
  3. Maksim1

    Maksim1 New Member Пользователи

    Регистрация:
    18 мар 2018
    Сообщения:
    13
    Город:
    Киров
    Огромное спасибо!!!
     
    Root нравится это.
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста
     
  5. Maksim1

    Maksim1 New Member Пользователи

    Регистрация:
    18 мар 2018
    Сообщения:
    13
    Город:
    Киров
    Ещё подскажите пожалуйста, в моём случае при парсинге каталога товара и картинок, какое количество потоков лучше использовать?
    Вообще как правильно подбирать количество потоков?
    На сайте с которого производится парсинг бана нет, но если ставлю 5 потоков, то сначало всё хорошо парсится, но потом перестаёт, при каждой попытке возникает ошибка что программе не удалось загрузить страницу
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Если в процессе парсинга данные от сайта перестают загружаться, то это значит, что вы получили временный бан.

    Уменьшайте количество потоков до тех пор, пока бан возникать не будет, либо используйте список прокси.

    PS: Если у вас динамический IP, переподключите интернет для снятия временного бана от сайта.
     

Поделиться этой страницей