Не по всем ссылкам парсится

Тема в разделе "Решение проблем с загрузкой WEB-страниц", создана пользователем sotex2, 19 ноя 2020.

  1. sotex2

    sotex2 Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    130
    Город:
    нижний новгород
    Подскажите почему не со всех ссылок парсится информация. настроил парсинг с сайта закупок zakupki.gov.ru. там 1000 ссылок, но парсятся информация только с 850 ссылок. Пробовал несколько раз и потоков выставил 5 и все равно 850. проверял отсутствующие вручную и шаблон подходит к ссылкам, по которым не собирается информация.
     

    Вложения:

  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    5 потоков для этого сайта много. 1 поток либо список прокси.
     
  3. sotex2

    sotex2 Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    130
    Город:
    нижний новгород
    Спасибо, в один поток спарсилось.
     

Поделиться этой страницей