Как сканер работает с дублями ссылок?

Здравствуйте.

При сканировании, в выдачу не попадают дубли ссылок, как я понимаю.
А если ссылки имеют параметр PARAM, то дубли тоже не пройдут?
Можно ли отключить удаление дублей ссылок, чтоб в выдаче были дублированные ссылки?

Я паршу ссылки на товары и в PARAM беру названия категорий, один и тот же товар может встречаться в разных категориях, и нужно чтобы дубли не удалялись.

т.е.
Ссылки недоступны для гостей
Ссылки недоступны для гостей

не считались дублями.

 

Здравствуйте.

Дубли ссылок в выдачу попадать не будут (даже при наличии различного [PARAM]).

 

так мне нужны эти дубли, нужно чтобы дубли оставались, а не удалялись.
есть такая возможность?

 

Нет. Я выше писал об этом.

 

ок. т.е. может доработка или что-то подобное не предвидеться ? возможность оставить дублированные ссылки в выдаче логичная функция, я думаю многим пригодится.

есть сайты, у которых просто так не возьмешь категорию кроме как сканер-парам, либо нужно взять дополнительные категории для товара, т.е. один и тот же товар ( и у него одинаковый урл, только хлебные крошки разные) . А сканер их удаляет получается. Берет только одну ссылку.