Список парсинга (не ищет с первого раза)

С первого раза сканер сайтов выдает не все ссылки.
Каждый раз картина немного разная, но суть таже.
1 проход - 310 ссылок
2 проход - 310 ссылок
3 проход - 313 ссылок
4 и т.д. проход - 330 ссылок.
Как с этим бороться?


Решено. Спсибо Kreol

 

Да, гадать сложно.

Ошибки в сканере искать - лишнее!

Описываемому в теме эффекту есть другое объяснение, например, на сайте может быть блок рандомных товаров!

 

Вот пример проекта. Ставил 1 поток и 10000 мсек задержку - не помогает.

 

Попробовал и так. Не помогло.
Все страницы со списками товаров (по 60 на каждой) сканер и до этого загружает исправно. Дело в том, что завершая сканирование каждой страницы, счетчик найденных ссылок должен прибавляться по 60. После первой показывает 60. После второй 120. А вот после третьей 179. И так далее. Где по 1 ссылке теряет, где по 2, где вообще по 5. Причем при следующем прогоне может нормально 180 показать. От чего это зависит - ни как не могу понять.

 

Еще раз говорю, дело в сайте. Некоторые сайты могут, например, один и тот же товар показывать на двух разных страницах, а сканер считает только уникальные ссылки (без учета дублей).

Вместо того, чтобы голову ломать и всех занимать этим вопросом, лучше найдите и предоставьте ту ссылку на товар (и адрес, где она находится), которую сканер, возможно, не находит.

 

Рекомендую всем освоить Ссылки недоступны для гостей