Не могу собрать все ссылки на товар сканером - могу только часть.

Доброго дня!

Есть большой портал Ссылки недоступны для гостей имеет несколько миллионов страниц товара. Пытаюсь наладить его парсинг , пока безуспешно

Вариант 1.(более предпочтительный)
Попытавшись собрать все ссылки на товар вида /product-detail/en/ пример Ссылки недоступны для гостей
получилось собрать только 194 тыс. и как бы не менял настройки все время 194 тыс . дальше не продвигается (неделю сканил) . Бана от сайта точно не получаю ибо вижу как ссылки перебираются.
Пытался сканить по разделам отдельно и тоже не все получается, только часть товара. На каждом разделе видно количество товара, при сканировании, а выходит ссылок на товар (карточек) меньше

Вариант 2.
Также можно парсить инфу об остатках и ценах прям из списка товаров вида Ссылки недоступны для гостей
пример Ссылки недоступны для гостей
Однако и тут не получается собрать все страницы, а также не умею собирать инфу не с карточек товара, а из самого списка

Готов ли кто то помочь сделать правильную настройку?

 

Здравствуйте.

Ссылки недоступны для гостей