Пропускаются товары при парсинге.

День добрый, не могу разобраться почему не парсяться некоторые товары в случайном порядке. Предполагаю что проблема в WBApp, менял различные настройки - увеличивал паузу между запросами, устанавливал один поток, увеличивал таймаут проверки загрузки документа в окне настройки WBApp, увеличивал runDeley в этом же окне, но все равно не всегда срабатывает WBApp и следовательно получаю пустой документ. Хотя при предпросмотре и задании границ парсинга документа все в порядке. Может у кого есть еще какие идеи?

 

Они пустые потому, что не прогрузился WBApp, если зайти через предпросмотр или через окно где указываешь границы парсинга, то все прогружается нормально, если же не сработал WBApp, то соответственно границы пустые а 1 и 4 обязательны для загрузки.

 

Видимо не хватало оперативной памяти компьютера для WBApp, убрал все лишние приложения. Так же увеличил паузу между запросами, установил один поток, увеличил таймаут проверки загрузки документа в окне настройки WBApp, увеличил runDeley в этом же окне, в диспетчере задач приложению Content Downloader X1 повысил приоритет, загрузка прошла без проблем.

 

Посмотрите видео Ссылки недоступны для гостей (Ожидание готовности загрузки WEB-страниц)