Перестали грузиться большинство ссылок в проекте

Тема в разделе "Решение проблем с загрузкой WEB-страниц", создана пользователем ap2205, 20 мар 2020.

  1. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    87
    Город:
    Москва
    Здравствуйте, подскажите пожалуйста. После того, как пару раз спарсил проект в 30-40 потоков, перестали парситься множество ссылок. В проекте в предпросмотре, также большинство не загружаются. Библиотеки пробывал разные, прокси и юзер агент добавил, ip сменил. Ссылки в браузере IE открываются, но медленно. Проект прилагаю, посмотрите пожалуйста, что может быть...
     

    Вложения:

    • B-O 2.cdp
      Размер файла:
      79,2 КБ
      Просмотров:
      0
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Если смена IP проблему не решает, значит, скорее всего, такое поведение сайта не индивидуальное для обращений от вас.

    Если сайт медленно работает, чтобы он лучше парсился, попробуйте увеличить параметр timeout для запросов

    2020-03-22_05-49-12.png
     
  3. ap2205

    ap2205 Member Пользователи

    Регистрация:
    30 мар 2018
    Сообщения:
    87
    Город:
    Москва
    Здравствуйте.

    Если смена IP проблему не решает, значит, скорее всего, такое поведение сайта не индивидуальное для обращений от вас.

    Если сайт медленно работает, чтобы он лучше парсился, попробуйте увеличить параметр timeout для запросов

    [​IMG]
    Здравствуйте, Сергей. Увеличивал параметр timeout с 3000 до 1000000, при разных библиотеках. Все равно не открывается в предпросмотре и не парсится... Когда делал проект, было много ссылок, чтобы просматривать ссылки из разных категорий, все открывалось. Пару раз спарсил и все, не открываются.
     

Поделиться этой страницей