Программа пропускает ссылки при парсинге

Тема в разделе "Решение проблем с использованием программы", создана пользователем Dartray, 9 фев 2017.

  1. Dartray

    Dartray New Member Пользователи

    Регистрация:
    27 янв 2017
    Сообщения:
    5
    Пытаюсь спарсить сайт.
    Через предпросмотр каждая ссылка корректно парситься.
    Запускаю процесс парсинга всего диапазона ссылок в csv файл.
    Полученный файл оказывается практически пустым. Парсяться первые 3-5 наименований, далее идёт пропуск в несколько пустых строк, затем 1-2 заполненных строк и пустота.
    Хотя процесс идёт до конца.

    Файл проекта прикрепил.

    Файл результат:
    Ссылки недоступны для гостей
     

    Вложения:

    • svetomuz_ru.cdp
      Размер файла:
      402,8 КБ
      Просмотров:
      1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    У меня парсит без пропусков:
    2017-02-09_22-34-37.png

    Попробуйте парсить в 1 поток, возможно, из-за частых обращений к сайту он дает вам временный бан.

    С уважением к вам, Сергей.
     
    Dartray нравится это.
  3. Dartray

    Dartray New Member Пользователи

    Регистрация:
    27 янв 2017
    Сообщения:
    5
    В общем дело либо в моем плохом интернете, либо в защите сайта.
    Можно ли как-нибудь настроить программу, чтобы она не начинала парсить новую ссылку пока парсинг предыдущей не завершился успешно?
    Или чтобы парсинг останавливался при потере соединения.
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    В программе нажмите сочетание клавишь Ctrl+u и самый первый пункт присмотритесь.
     
    Root и Dartray нравится это.

Поделиться этой страницей