Собирает не все ссылки

Добрый день.
Подскажите. как решить такую проблему:
1. Вбиваю ссылки, с которых нужно собрать товары.
2. Если я предварительно отмечаю каждую из ссылок и нажимаю ctrl+f2 - то он мне на каждой ссылке показывает правильное количество результатов. По 50 и на последней странице 19.
3. Но при нажатии на кнопку парсинг в итоговый список попадает допустим на 3 ссылки меньше.
С чем это связано?

Просто чем больше ссылок даю, ем больше погрешность - на тысячах ссылок она превращается в десятки тысяч не собранных ссылок.

 

Здравствуйте.

Приложите файл проекта, чтобы было понятно, в чем проблема.

 

Прикладываю

 

Сначала сделал предпросмотр, чтобы WEB документы закешировались. По отдельности собрало 419 в сумме (по 50 с каждой страницы + 19 с последней).

Затем я запустил парсинг ЭТИХ ЖЕ ЗАКЕШИРОВАННЫХ WEB документов и в итоге получил 416 ссылок.

Однозначно в разных страницах выдачи присутствуют дубли. Дубли автоматически удаляются, соответственно, сайт выдает дубли ссылок на разных страницах выдачи.

 

То есть дело точно в дублях?
Просто я переживаю из-за объема. Если беру родительскую категорию от той что в проекте, то там из 80к страниц собирается около 62к

 

Точно в дублях. Если не верите, приведите пример ссылки, которую не находит в этой рубрике.