Перестал парсится сайт (РЕШЕНО: нужно передать cookie)

Тема в разделе "Решение проблем с загрузкой WEB-страниц", создана пользователем jantik, 7 янв 2020.

  1. jantik

    jantik New Member Пользователи

    Регистрация:
    16 фев 2019
    Сообщения:
    10
    Здравствуйте, перестал парситься сайт. Не ищет ссылки и не парсит контент. Подскажите, что стало не так? Настройки менял, не помогло. Проект прилагаю.
     

    Вложения:

    • hok.cdp
      Размер файла:
      36,7 КБ
      Просмотров:
      3
    AleXL нравится это.
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Этот сайт требует cookie.

    Передайте cookie из браузера в окне ctrl+k.

    2020-01-07_17-42-28.png
     
    AleXL нравится это.
  3. jantik

    jantik New Member Пользователи

    Регистрация:
    16 фев 2019
    Сообщения:
    10

    Передача cookie в данный момент не помогает. Также минут 20 назад страница не открывалась в Internet Explorer. Парсинг происходил в один поток и с применением прокси Tor, результат один, скрины приложил
     

    Вложения:

  4. jantik

    jantik New Member Пользователи

    Регистрация:
    16 фев 2019
    Сообщения:
    10
    Смена ip не помогает
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Передайте Cookie из Firefox.
     
  6. jantik

    jantik New Member Пользователи

    Регистрация:
    16 фев 2019
    Сообщения:
    10
    Сделал по этой инструкции Ссылки недоступны для гостей, не помогает.
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    В окне ctrl+h выберите библиотеку Clever Internet Suite.

    Передайте заголовки (cookie) из нужного запроса монитора сети Firefox.

    Проверил несколько раз. Проблем нет.
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Можно и без прокси парсить этот сайт. В 1 поток вроде не банится.
     
  9. jantik

    jantik New Member Пользователи

    Регистрация:
    16 фев 2019
    Сообщения:
    10
    Спасибо за помощь, в один поток банится
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

     

    Вложения:

    • hok.cdp
      Размер файла:
      56,4 КБ
      Просмотров:
      0
    AleXL и gans нравится это.
  11. jantik

    jantik New Member Пользователи

    Регистрация:
    16 фев 2019
    Сообщения:
    10
    Здравствуйте, спасибо еще раз за помощь и подробное видео. Со ссылками все получается, но вот во вкладке контент также все получается, cookie передаются, только когда нажимаешь Начать парсинг, то CD зависает и парсинг не идет, пробовал несколько раз. Проект приложил.
     

    Вложения:

    • hok.cdp
      Размер файла:
      643,1 КБ
      Просмотров:
      4
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Рекомендую обновиться.

     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Теперь должно получиться.

    Я что-то сразу не сообразил, что этот сайт можно просто спарсить с помощью WBAppCEF без передачи заголовков и прочих действий.
     

Поделиться этой страницей