Как задать исключения уже найденных ссылок при сборе ссылок?

Тема в разделе "Решение различных задач по парсингу", создана пользователем Maximalist, 21 авг 2015.

  1. Maximalist

    Maximalist New Member Пользователи

    Регистрация:
    15 мар 2015
    Сообщения:
    11
    Здравствуйте

    Подскажите плиз, как задать исключения уже найденных ссылок при сборе ссылок в сканере сайтов

    то есть, я запустил сканер, он уже напарсил 1КК ссылок с сайта, и видать ещё столько же найдёт...

    хочу запустить проект, но надо что бы потом можно было снова запустить сканер, и те ссылки, которые я уже использовал - не сохранялись

    я вижу это так:
    сохраняю ссылки в .txt файлик, и указываю сканеру проверять ссылки на наличие - если есть совпадение, ссылка не сохраняется

    спасибо!
     
  2. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    о, ктото еще искал - нашли, как?
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Отсеивание ссылок подобным образом осуществляется при парсинге во вкладке "Контент" (ctrl+t -> файл с загруженными ранее ссылками (для исключения повторного парсинга)).
     

Поделиться этой страницей