Помогите спарсить prom.ua

Всем привет, начал парсить сайт поставщика но столкулся с проблемой, большое колличество ненужных ссылок попадает в сканер. Из-за этого парсер уже работает сутки и нашёл только 1300 ссылок из нужных 4000 возможно я не полностью его настроил - поскольку работаю с ним не так долго.

вот что попадает в сканер

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

таких ссылок бесчисленное множетсво как от них можно избавиться что сканер скару искал необходимую прямую ссылку?

 

Здравствуйте.

Для отсеивания лишних ссылок очереди используйте фильтры очереди ссылок Ссылки недоступны для гостей

С уважением к вам, Сергей.