Проблемы с парсингом сайта (сайт стал медленно парситься)

Тема в разделе "Решение различных задач по парсингу", создана пользователем Stan, 13 мар 2020.

  1. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    499
    Здравствуйте.

    Паршу сайт один, вчера норм спарсилось старой версией программы в 2 потока. последняя как то туго шло, с прокси и без прокси. Сейчас опять туго парсит, не понятно почему, и с прокси и без. Может защита какая. Проект скидываю

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1111 постов.**
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    В окне настроек HTTP запросов программы (у вашего проекта) установлены cookie. Кажется, они устарели и сайт с ними долго отвечает на запросы. Удалите cookie и после этого парситься будет нормально.

    Версия программы тут не причем.
     
    Stan нравится это.
  3. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    499
    да вроде ок.
    до этого вылезала пару раз на их сайте такая ошибка
    Service Unavailable
    The server is temporarily unable to service your request due to maintenance downtime or capacity problems. Please try again later.

    это из за парсинга моего?
     

Поделиться этой страницей