Собирает половину ссылок с категории сайта

Возникала проблема при парсинге сайта hm.com/ru_ru начинаю парсить раздел мужчины, вытаягивает кол-во ссылок на товары меньше, чем я насчитываю сам, думал проблема в отсутвии прокрутки, вроде настроил прокрутку, но ссылок всеравно мало! помогите, может кто сталкивался

 

Здравствуйте.

Попробуйте поставить тайминги побольше (добавив события вниз списка), возможно, что-то не успевает подгружать.

Код:

[SLABEL]
[WAIT]:2000
[SCROLLDOWNTHENRETURN]
[WAIT]:5000
[SCROLLDOWNTHENRETURN]

Больше идей по этому сайту нет, нужно разбираться, тестировать, такой возможности у меня сейчас нет.

С уважением к вам, Сергей.

 

Если собралось чуть больше, можно попробовать повысить тайминги?

 

Да. А лучше парсить в 1 поток.

 

в браузере при прокрутке дописываеться в адрес сайта ?product-type=men_cardigansjumpers&sort=stock&offset=0&page-size=60 это важно? можно добавить size=999 и выводить всю страницу, но категория всегда разная, как быть?)

 

Подскзали, что надо дергать ссылки через оффсет, подскажите как насроить метод оффсет, не могу нагуглить ((