Учитывать PARAM при отсеивание дублей

Здравствуйте.

Паршу ссылки сканером с PARAM и нужно чтобы такие ссылки сканер не удалял как дубли.

Ссылки недоступны для гостей 1
Ссылки недоступны для гостей 2

В настройках для этого нужно галочку поставить или убрать - "учитывать PARAM при отсеивании дублей" ?

эта функция точно работает?

 

сканирую сайт, там разные категории , в разных категориях одни и те же ссылки (дубли) , три раздела , например для мальчиков, для девочек, для всех,
нужно в парам забирать эту основную категорию .
т.е.
Ссылки недоступны для гостейДля мальчиков
Ссылки недоступны для гостейДля девочек

стоит галочка учитывать PARAM при отсеивании дублей"

и чот не собрал он дубли, удаляет походу. хз

 

Сейчас буду разбираться.

 

Извиняюсь, моя ошибка.

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

 

так там не все товары совпадают, в том то и дело, есть товары где только для девочек и нет для мальчиков

 

Добрый вечер! А находясь на вкладке "Ссылки" каким образом сделать так чтобы отсеивались ссылки, игнорируя [PARAM]?
ps извиняюсь что вопрос не в той ветке форума, искал по названию темы

 

Здравствуйте.

Покажите на примере (с файлом проекта) что требуется.

 

Есть 2 списка url, у одних в параметрах наименования карточек, у других в параметрах уникальный идентификатор (генерированный макросом SKU_UNIQUE).
В прикрепленном файле 3й по порядку URL и 3534й одинаковые. При удалении хочу чтобы 3-я ссылка отсеивалась, а сейчас вообще никакие не удаляются.

 

Вы имеете ввиду функцию удаления дублей ссылок?

 

Да, но после применения этой функции, дублирующиеся ссылки остаются

 

Замените файл Content Downloader.exe (в папке с программой) этим файлом:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 31 постов.**

 

Спасибо! От головной боли избавили

 

Пожалуйста.