Как отключить удаление дублей в сканере сайтов

Тема в разделе "Сбор ссылок сканером сайтов", создана пользователем webstep, 11 июл 2021.

  1. webstep

    webstep Member Пользователи

    Регистрация:
    6 дек 2020
    Сообщения:
    129
    Город:
    Kiev
    Всем привет.

    Есть продуктовый сайт. На странице продукта не указаны много фильтров. Решил пойти следующим образом: генерирую ссылку с включенным фильтром, затем собираю все товары с этого фильтра. И так прохожу по всех фильтрах и записываю значения фильтра в PARAM. Но вот незадача. сканер сайтов автоматически не добавляет в результат парсинга дубли. А мне как раз дубли нужны, так как один товар ( ссылка ) может иметь несколько PARAM
    upload_2021-7-11_21-35-25.png
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Если значения [PARAM] парсятся из кода при работе сканера, включите эту опцию

    2021-07-11_22-14-04.png
     
  3. webstep

    webstep Member Пользователи

    Регистрация:
    6 дек 2020
    Сообщения:
    129
    Город:
    Kiev
    нет. PARAM в родительской ссылке. в коде слишком сложно выделить два значения в разных концах кода.
     
  4. webstep

    webstep Member Пользователи

    Регистрация:
    6 дек 2020
    Сообщения:
    129
    Город:
    Kiev
    можно ли сюда добавить учитывания ссылок вместе с PARAM ?
    upload_2021-7-12_10-53-20.png
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10 постов.**
    2021-07-12_18-32-00.png
     
  6. webstep

    webstep Member Пользователи

    Регистрация:
    6 дек 2020
    Сообщения:
    129
    Город:
    Kiev
    Огромное спасибо за доработку. Запустил :)
     
    Root нравится это.
  7. webstep

    webstep Member Пользователи

    Регистрация:
    6 дек 2020
    Сообщения:
    129
    Город:
    Kiev
    Не работает :(
    upload_2021-7-13_7-10-20.png
     
  8. webstep

    webstep Member Пользователи

    Регистрация:
    6 дек 2020
    Сообщения:
    129
    Город:
    Kiev
    Прикладываю проект для тестов
     

    Вложения:

  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    В вашем проекте опция обведенная на моем скриншоте выше отключена.
     
  10. webstep

    webstep Member Пользователи

    Регистрация:
    6 дек 2020
    Сообщения:
    129
    Город:
    Kiev
    и так и так пробовал. оставил ссылки для теста. должно быть больше чем 23 товара
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Недосмотрел 1 момент.

    Вот файл:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10 постов.**
     
  12. webstep

    webstep Member Пользователи

    Регистрация:
    6 дек 2020
    Сообщения:
    129
    Город:
    Kiev
    отлично. работает. Спасибо!!!
     
    Root нравится это.

Поделиться этой страницей