Глубина ссылок

В принципе стояла задача простенький сайт на модх - sportland.com.ua
В чем я напрягся...
то что у меня выходило товары парсить по категорийно только.
по тому что на парсер сайта я не смог найти оптимальное решение
при использовании парсера сайта вылазят ссылки с товаром которые имеют вид

HTML:

http://sportland.com.ua/catalogue/detskoe-igrovoe-oborudovanie/kacheli/catalogue/detskoe-igrovoe-oborudovanie/kacheli/kachel-odinarnaya/
http://sportland.com.ua/catalogue/detskoe-igrovoe-oborudovanie/kacheli/kachel-odinarnaya/

те откуда то брался еще один /catalogue/detskoe-igrovoe-oborudovanie/
и это, хтмл страниц нет. только как каты - /kachel-odinarnaya/

если по категориям идти то вроде потом заменой в фильтрах можно обрезать эти ссылки ( длинные которые)
но почему товары не парсятся при родной длине? а только вот так при глубине 5-7
те спарсить то я уже так сделал, но как можно было б иначе?
в чем ляп?
чтоб на будущее не попасться

 

Здравствуйте.
В фильтрах ссылок попробуйте переключиться на "добавлять следующее" и прописать заместо Ссылки недоступны для гостей префикс к относительным ссылкам Ссылки недоступны для гостей

 

если сделать так, то тогда просто не надо в замене ничего потом писать.
возможно я не понял что может быть префиксом для всех категорий, кроме самого домена.

 

ну этот путь у меня и вышел.
меня просто мучал вопрос, чего я не смог играя с глубиной ссылок получить результат. (((
помню когда спрашивал про бурж сайт на асп, и именно так удалось тогда решить вопрос

 

Сканирование сайта.

Здравствуйте. Вставил адрес сайта, включил сканер. Он теперь парсит ссылки целый день, напарсил уже больше миллиона ссылок и дальше продолжает. Такое может быть вообще? Сканирую сайт-сиджей. Может он сканирует все сайты, с ним связанные? Я начинающий.

 

Здравствуйте.
Просмотрите ссылки в списке очереди, проанализируйте их, сделайте вывод. Нужно настроить фильтры очереди так, чтобы сканер не ходил по лишним ссылкам.
Вот мануал по сканеру - Ссылки недоступны для гостей
Если будут вопросы - обращайтесь!

 

Здравствуйте.
ссылки вида
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
ставлю фильтр по глубине от 3 до 3 остается Ссылки недоступны для гостей
ставлю фильтр по глубине от 4 до 4 остается
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей

как убрать ссылки вида Ссылки недоступны для гостей

 

Поставил в запрет
re:com/catalog/4/$
все равно выводит
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей
Ссылки недоступны для гостей

 

Здравствуйте.

Пожалуйста, приложите ваш проект.

 

​

1. test.cdp

 

Спасибо