Дубли ссылок как убрать

Тема в разделе "Сбор ссылок сканером сайтов", создана пользователем Werter1, 1 дек 2020.

  1. Werter1

    Werter1 New Member Пользователи

    Регистрация:
    20 ноя 2019
    Сообщения:
    31
    Всем привет!
    Собираю ссылки с новостных сайтов, в итоге попадаются дули ссылок после работы сканера, замечаю это после того как контент распорсил. Сделал в один поток, всё равно дубли.

    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Прикладываю проект.

    что я делаю не так?
     

    Вложения:

    • inosmi_ru.cdp
      Размер файла:
      40,4 КБ
      Просмотров:
      1
    Werter1, 1 дек 2020
    #1
  2. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Это не дубли. Протокол отличается http и https. Сделайте поиск замену в фильтре ссылок "http:|https:"
     
    kenny872012, 1 дек 2020
    #2
    kadishev1997, Root и Werter1 нравится это.
Similar Threads
  1. alex11

    Убрать дубли

    alex11, 7 май 2013, в разделе: Разное
    Ответов:
    1
    Просмотров:
    1.804
    alex11
    7 май 2013
  2. dddima

    Как настроить фильтр или как удалять дубли из списка ссылок

    dddima, 15 окт 2014, в разделе: Фильтры ссылок
    Ответов:
    8
    Просмотров:
    2.590
    Root
    17 окт 2014
  3. faqbill

    Дубли страниц по разным ссылкам

    faqbill, 16 ноя 2016, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    2
    Просмотров:
    901
    Root
    20 ноя 2016
  4. napserious

    Дубли страниц - Сбор ссылок

    napserious, 3 дек 2016, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    2
    Просмотров:
    598
    napserious
    3 дек 2016
  5. itcentre

    Как отключить проверку ссылок на дубли

    itcentre, 31 окт 2017, в разделе: Функции и интерфейс программы
    Ответов:
    3
    Просмотров:
    541
    Root
    1 ноя 2017
Загрузка...

Поделиться этой страницей