Учитывать PARAM при отсеивание дублей

Тема в разделе "Сбор ссылок сканером сайтов", создана пользователем Stan, 24 сен 2017.

  1. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    392
    Здравствуйте.

    Паршу ссылки сканером с PARAM и нужно чтобы такие ссылки сканер не удалял как дубли.

    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! 1
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! 2

    В настройках для этого нужно галочку поставить или убрать - "учитывать PARAM при отсеивании дублей" ?

    эта функция точно работает?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.223
  3. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    392
    сканирую сайт, там разные категории , в разных категориях одни и те же ссылки (дубли) , три раздела , например для мальчиков, для девочек, для всех,
    нужно в парам забирать эту основную категорию .
    т.е.
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! Для мальчиков
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! Для девочек

    стоит галочка учитывать PARAM при отсеивании дублей"

    и чот не собрал он дубли, удаляет походу. хз
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.223
    Сейчас буду разбираться.
     
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.774
    Город:
    Riga
    лучше вручную диапазоны ссылок сгенерируйте для каждой категории с PARAM
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.223
    Извиняюсь, моя ошибка.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Stan нравится это.
  7. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    392
    так там не все товары совпадают, в том то и дело, есть товары где только для девочек и нет для мальчиков
     
    kagorec нравится это.
  8. Atms

    Atms Member Пользователи

    Регистрация:
    26 авг 2015
    Сообщения:
    35
    Добрый вечер! А находясь на вкладке "Ссылки" каким образом сделать так чтобы отсеивались ссылки, игнорируя [PARAM]?
    ps извиняюсь что вопрос не в той ветке форума, искал по названию темы
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.223
    Здравствуйте.

    Покажите на примере (с файлом проекта) что требуется.
     
  10. Atms

    Atms Member Пользователи

    Регистрация:
    26 авг 2015
    Сообщения:
    35
    Есть 2 списка url, у одних в параметрах наименования карточек, у других в параметрах уникальный идентификатор (генерированный макросом SKU_UNIQUE).
    В прикрепленном файле 3й по порядку URL и 3534й одинаковые. При удалении хочу чтобы 3-я ссылка отсеивалась, а сейчас вообще никакие не удаляются.
     

    Вложения:

  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.223
    Вы имеете ввиду функцию удаления дублей ссылок?

    2020-01-12_19-45-34.png
     
  12. Atms

    Atms Member Пользователи

    Регистрация:
    26 авг 2015
    Сообщения:
    35
    Да, но после применения этой функции, дублирующиеся ссылки остаются :(
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.223
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 31 постов.**
    2020-01-12_20-23-48.png
     
    Atms нравится это.
  14. Atms

    Atms Member Пользователи

    Регистрация:
    26 авг 2015
    Сообщения:
    35
    Спасибо! От головной боли избавили ;)
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.223
    Пожалуйста.
     

Поделиться этой страницей