Нужен совет WBApp не поддерживает прокси

Как быть если без WBApp сайт не спарсить?
Конечно можно но очень долго, всего 2 потока и шанс попасть в бан очевиден.
При использовании библиотеки INDY, необходимы данные закодированы (17 и 18 граница). Может я настроил не правильно? помогите пожалуйста. Проект во вложении.

Лог:
????/245888419/veb-kamera_hama_ac-150{1}D:\парсинг\*\article_all_1.csv{2}Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0{3}WBApp не поддерживает прокси{4}0/0{5}0/0{6}300{7}

 

Здравствуйте.

Нужно подождать около недели. Я попытаюсь сделать прокси для WBApp (проблема в том, что прокси применяются ко всей системе Windows, а не только к программе, это и препятствует реализации поддержки прокси в WBApp).

Ничего не обещаю, попытаюсь...

Пока можете попробовать использовать утилиты для автоматической смены прокси в Internet Explorer (действие прокси в этом случае должно распространяться и на WBApp), думаю, таких много.

С уважением к вам, Сергей.

 

Печалька, может перенастроить проект? если да, то как?

 

Здравствуйте еще раз.

Просто подождите, как было сказано выше. Либо:

PS: Планируете использовать прокси с авторизацией?

С уважением к вам, Сергей.

 

Нет, просто сайт попался специфический и очень содержательный.

 

Content Downloader X1 версии 11.9975 (26.06.2015)

- WBApp теперь поддерживает прокси без авторизации.

 

Главное увеличить время выжидания догрузки, иначе код грузиться не весь. (на заметку)

 

Либо:
Ссылки недоступны для гостей -> Значительно ускоряем процесс парсинга и исключаем возможный пропуск данных (ожидание появления определенных элементов на WEB-страницах)

 

:drunk: Сори... Помогите с проектом!
Я кончился, не удается победить WBApp.
Больше чем половину страниц не удается спарсить, код не догружается... (с бубном ходил, не грешил...)

:nerd: О великие, о могучие силы!, помогите! поправьте проект внутри...

(проект выше в прицепе)

 

Здравствуйте еще раз.

Возьмем <CD_GRAN_1!> в вашем проекте - это артикул товара. Будет справедливо условие - если артикул оказался пустым, то WEB-страница через прокси не загрузилась и надо бы ее еще раз попытаться загрузить, но с другим прокси.

Все, что нужно сделать - добавить макрос [CHECKENTRY]:

Код:

[CHECKENTRY([ANYTEXT])]<CD_GRAN_1!>[ELSETEXT][RELOADDOCUMENT][/CHECKENTRY][CSVCS]<CD_GRAN_2!>[CSVCS]<CD_GRAN_3!>[CSVCS]<CD_GRAN_4!>[CSVCS]<CD_GRAN_5!>[CSVCS]<CD_GRAN_6!>[CSVCS]<CD_GRAN_7!>[CSVCS]<CD_GRAN_8!>[CSVCS]<NIMG><CD_GRAN_9!></NIMG>[CSVCS]<NIMG><CD_GRAN_10!></NIMG>[CSVCS]<NIMG><CD_GRAN_11!></NIMG>[CSVCS]<NIMG><CD_GRAN_12!></NIMG>[CSVCS]<NIMG><CD_GRAN_13!></NIMG>[CSVCS]<NIMG><CD_GRAN_14!></NIMG>[CSVCS]<NIMG><CD_GRAN_15!></NIMG>[CSVCS]<NIMG><CD_GRAN_16!></NIMG>[CSVCS]<CD_GRAN_17!>[CSVCS]<CD_GRAN_18!>

Пояснение: Если <CD_GRAN_1!> будет пустым, то в результате работы макроса [CHECKENTRY] останется [RELOADDOCUMENT]. Макрос [RELOADDOCUMENT] перезагружает WEB-документ.

Надеюсь, теперь все будет хорошо.

С уважением к вам, Сергей.