Как остановить парсинг при условии

Тема в разделе "Решение различных задач по парсингу", создана пользователем OnMan, 20 апр 2012.

  1. OnMan

    OnMan New Member Пользователи

    Регистрация:
    20 апр 2012
    Сообщения:
    11
    Есть список ссылок для парсинга, как сделать так, чтобы дальнейшее прохождение по этим ссылкам остановилось и начался парсинг контента, если на одной из этих ссылок нечего парсить?
     
    OnMan, 20 апр 2012
    #1
  2. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Что-то вопрос какой-то мудрёный... Парсинг ссылок происходит в порядке очерёдности. Если какая-то ссылка битая, не парсится, на ней нет контента (неправильно заданы границы или по другой причине не найден контент) программа переходит автоматически к парсингу следующей ссылки
     
    Valiks, 20 апр 2012
    #2
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Ознакомьтесь с программой получше - все есть для вашего случая.
    1.Если отсутствует одна из границ (для этого надо указать в дополнительных настройках границ парсинга)
    2.Если сайт забанил ваш ип пока парсили (настраивается как остановка или пауза парсинга)
     
    Последнее редактирование: 20 апр 2012
    kagorec, 20 апр 2012
    #3
  4. OnMan

    OnMan New Member Пользователи

    Регистрация:
    20 апр 2012
    Сообщения:
    11
    Да вопрос реально мудренный :))) Голова уже кипела тогда. В общем разобрался. Спасибо.
     
    OnMan, 26 апр 2012
    #4
  5. OnMan

    OnMan New Member Пользователи

    Регистрация:
    20 апр 2012
    Сообщения:
    11
    А где это настраивать?
     
    OnMan, 26 апр 2012
    #5
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    перейдите в настройки границ парсинга и там справо над большими кноками (на скриншоте 321 секунды пауза в случае бана)
    [​IMG]
     
    kagorec, 27 апр 2012
    #6
Similar Threads
  1. ajivitca

    поиск-замена в текущей границе при условии наличия чего либо в другой границе

    ajivitca, 17 авг 2013, в разделе: Решение различных задач по парсингу
    Ответов:
    3
    Просмотров:
    2.174
    Root
    18 сен 2014
  2. JamesHound

    Парсинг при условии нахождения слова в границах парсинга.

    JamesHound, 5 сен 2013, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    0
    Просмотров:
    916
    JamesHound
    5 сен 2013
  3. Владимир

    Требуется помощь! Парсинг списка фото при условии что в программе не показывается код

    Владимир, 8 янв 2014, в разделе: Скачивание картинок и файлов
    Ответов:
    4
    Просмотров:
    1.410
    kagorec
    9 янв 2014
  4. Freesty1er

    Остановить повторяющиеся границы

    Freesty1er, 11 янв 2014, в разделе: Границы парсинга
    Ответов:
    4
    Просмотров:
    1.487
    Djahat
    30 сен 2018
  5. Siroff

    Разбить на несколько файлов, при условии "дозаписывать"

    Siroff, 10 окт 2015, в разделе: Решение различных задач по парсингу
    Ответов:
    2
    Просмотров:
    1.038
    Root
    18 дек 2016
Загрузка...

Поделиться этой страницей