Завис парсинг с dynamicvalues

После того, как было спарсено 25к из 30к товаров, программа зависла на час. Закрыл-открыл, предлагает начать парсинг заново. В ту же таблицу продолжить нельзя, так как используется dynamicvalues. Подключить таблицу с уже 25к спарсенных товаров и преобразовать характеристики не получается, так как названий харакетиристик там нет, они появляются после окончания парсинга. Что посоветуете делать в такой ситуации?

 

Здравствуйте.

Для начала нужно приложить файл проекта, чтобы протестировать.

Также пояснить, как зависла программа (отвечает или нет) сколько процентов процессора при этом в диспетчере задач занимает.

 

Не отвечала. Процессор на процентов 10%, не больше. Приложил файл проекта.

 

Спасибо большое.

По результату отпишусь тут.

 

Вы сказали, что 30 000 товаров. В проекте только 3000.

Также там используется прокси, если есть возможность, вышлите мне личным сообщением список прокси, который используете при парсинге.

В общем, нужен проект, чтобы я его поставил на тестирование.

Спасибо!

 

Я без прокси использовал, парсил в один поток. Проект не мой, только дополнил, но в чем не был уверен, не трогал. Парсил, периодически вводя капчу вручную. Приложил проект с 30 000 товаров. Использовал проект ровно в таком виде, без списка прокси.

 

Сильно поможете если определите ссылку, на которой происходит зависание.

Для этого в логе включите опцию записи ссылок WEB документов в файл, чтобы понять, на каком документе процесс остановился.



Либо определите адрес "проблемного" WEB документа по результатам вашего прошлого парсинга, где у вас произошло зависание.

Спасибо!

 

Hidden Content:

**Hidden Content: To see this hidden content your post count must be 10000 or greater.**

 

Могли бы вы написать мне в Skype

Hidden Content:

**Hidden Content: To see this hidden content your post count must be 5 or greater.**

 

Добрый день.

Похожая проблема, только зависла не программа, а ноут. Парсил 10к страниц с DYNAMICVALUES. На 95% завершилось. Понадобилось паузнуть и перенести ноут. Приостановил, перевёл ноут в режим гибернации (и раньше так делал, всё ок было). Запускаю ноут - завис при запуске... Пришлось полностью выключать и включать заново. Естественно парсинг слетел.

Восстановить заголовки никак теперь нельзя, только вручную по значениям проставлять?

 

Здравствуйте.

Заголовки восстановить нельзя, только перепарсить.

Компьютер зависать от программы не должен. Возможно, есть какой-то сбой в самой системе.

 

Ясно, спасибо.

Конечно. Это Windows порой любит так пошалить.