Проблема при парсинге DNS-SHOP.ru

Задача спарсить товар (название, цены) из определенного раздел сайта, например сотовые телефоны (только его). + это нужно по нескольким городам.
Решил использовать такую тактику: Ссылка на раздел у них одна, заходим в радел и используя wbapp нажимаем на кнопку добавить товар, пока он весь не добавиться на страницу, и после повторяющимеся граница парсим.
Проблема 1) Все работает, но при парсинге парситься только 30 элементов (1 лист), хотя при всех пред просмотрах видно что wbapp отрабатывает правильно и добавляться весь товар. Может что то у меня с очередностью выполнения wbapp+повторяющиеся границы ?

Проблема 2) не как не получается переключать города. Единственное выяснил опытным путем что если перед парсингом запустить страницу Ссылки недоступны для гостей то парситься этот город который указан после =, но как это сделать в проекте что перед парсингом сначала заходил по этой ссылке а потом начинал парсить по другой ссылке, я незнаю.

 

с проблемой №1 я справился, нашел косяк свой.

Пробовал вот так: Ссылки недоступны для гостей не работает.

 

Откройте Firefox, выберите там нужный город, нажмите shift+ctrl+i и перезагрузите страницу. Затем скопируйте cookie запроса и вставьте cookie с нужным городом в Content Downloader (окно ctrl+h).

 

Либо проще. Нажмите ctrl+k и в браузере выберите нужный город. Закройте окно без передачи cookie. В окне ctrl+h выберите библиотеку WIN и при последующем парсинге будет активен выбранный во встроенном браузере город.

 

Все настроил, всем спасибо.

 

А есть ли готовый проект по этому сайту?

 

Есть - на платной основе