Как оптимизировать сбор ссылок?

Здравствуйте! Просьба по возможности подсказать, как можно оптимизировать очередь ссылок...

Есть сайт Ссылки недоступны для гостей
В фильтре ссылок поставил:
Ссылки недоступны для гостей
re:\.html+$ + галочка "или"
Поставил также длинну 4.
В очередь ссылок тоже понаписал такое:
re:\.html+$
cart?add=
skype:
&token=
Проблема в следующем...Знаю,что на сайте 800 товаров плюс минус. Находит 607 штук, а в очереди более 50тыс ссылок. Подскажите пожалуйста, можно ли как-то оптимизировать эту очередь?

 

Ходить по ссылкам

Код:

re:\/shop\/\d{1,4}\-

Собирать ссылки

Код:

re:\/\d{1,4}\-.*?html

 

Здравствуйте.

Думаю, у вас недостоверная информация о количестве товаров. Сканер сайтов настроил, сканирует этот сайт минут за 5. Файл проекта приложил.



PS: Предоставьте ссылку хотя бы на 1 товар, который не попадает в результат сканирования сайта (желательно и адрес расположения той ссылки на товар).

С уважением к вам, Сергей.