Не все ссылки парсит

Тема в разделе "Решение проблем с использованием программы", создана пользователем gde25, 29 май 2014.

  1. gde25

    gde25 New Member Пользователи

    Регистрация:
    24 мар 2014
    Сообщения:
    12
    Здравствуйте, проблема в следующем имеется 12 ссылок, в предпросмотре они все открываются, но при парсинге скачивается всего 5 причем если запустить парсинг снова скачается опять 5 но уже отличных от первого раза, в логе для первых 7 пишет "файл не сохранен, программе не удалось загрузить страницу". В чем может быть проблема? Спасибо
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Как вариант - попробуйте парсить в 1 поток.
     
  3. gde25

    gde25 New Member Пользователи

    Регистрация:
    24 мар 2014
    Сообщения:
    12
    Не знаю как по другому объяснить, может файл проекта покажет проблему
     

    Вложения:

    • kompanit.cdp
      Размер файла:
      26,8 КБ
      Просмотров:
      6
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    попробуйте парсить в 1 поток =)
    Количество потоков выставляется во вкладке "контент" - в группе "загрузка WEB-документа".
    Данный сайт в 10 потоков не отдает информацию...
     
  5. gde25

    gde25 New Member Пользователи

    Регистрация:
    24 мар 2014
    Сообщения:
    12
    Спасибо, заработало
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста, если надо в 10-50 потоков парсить его, используйте SOCKS5 прокси, думаю, это значительно ускорит процесс.
     

Поделиться этой страницей