Парсинг с того места от куда закончился

Тема в разделе "Решение проблем с использованием программы", создана пользователем Григорий, 27 сен 2014.

  1. Григорий

    Григорий New Member Пользователи

    Регистрация:
    27 сен 2014
    Сообщения:
    4
    Здравствуйте.
    Никак не могу понять как настроить парсинг с того места от куда он завершился.
    Например, парсю сайт 2 дня. И вдруг дома выключается свет и компьютер выключается.
    Как сделать так, чтобы когда заново открыл программу, парсинг начинался с того места от куда он завершился при выключения дома света?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Если парсите во вкладке "контент", нажмите ctrl+l и обратите внимание на галочку "сохранять ссылки загруженных элементов в файл". При ее активации, при парсинге, в папке с контентом (куда парсите) будет создаваться текстовый файл, содержащий в себе "отработанные" ссылки. Открыв этот файл, можно понять, до какого места дошел парсинг перед отключением света (или иным, не предусмотренным нами, фактором). Перед парсингом вы можете выделить часть определенных ссылок в списке ссылок, используя shift+клик и удалить их, нажав клавишу delete (или backspace).

    А еще лучше сделать следующее: вкладка "контент" - группа "парсинг и обработка" - кнопка "фильтрация документов при парсинге" -> "файл с загруженными ранее ссылками" <- если его подключить, то при парсинге в него будут записываться "отработанные" ссылки, а при запуске следующей процедуры парсинга, "отработанные" ссылки будут удалены из списка в автоматическом режиме.

    Надеюсь, мой ответ вам помог.

    С уважением к вам, Сергей.
     
  3. Григорий

    Григорий New Member Пользователи

    Регистрация:
    27 сен 2014
    Сообщения:
    4
    Спасибо, сделал все по инструкции.
    Но заметил такую особенность, когда парсинг начинается заново, содается новый документ с обработанными ссылками, а не записывается в тот же. Таким образом уже нельзя подставить автоматом при фильтре ссылок при парсинге
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Тогда только:
     
  5. Григорий

    Григорий New Member Пользователи

    Регистрация:
    27 сен 2014
    Сообщения:
    4
    Да, я это понял. Файл невозможно выбрать, так как создается множество файлов, а не один. Сделать бы функцию "Запись в один файл" обработанных ссылок
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Множество файлов не создается! Множество файлов создается только в этом случае (вариант 1):
    Позже я вам говорил использовать другое решение (вариант 2 <- ИСПОЛЬЗОВАТЬ ЕГО):
    пожалуйста, используйте его (ВМЕСТО ПЕРВОГО ВАРИАНТА, КОТОРЫЙ СОЗДАЕТ МНОГО ФАЙЛОВ, ВТОРОЙ ВАРИАНТ ВСЕГДА ПИШЕТ ССЫЛКИ В 1 ФАЙЛ!!!)...
     
  7. Григорий

    Григорий New Member Пользователи

    Регистрация:
    27 сен 2014
    Сообщения:
    4
    Все понял как это сделать!!!
    Спасибо большое!!!
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста. Обращайтесь...
     

Поделиться этой страницей