Останавливается парсинг

С помощью [DYNAMICVALUES] собирались данные со страниц, в общей сложности в таблице порядка 20000 строк. На последних ссылках для парсинга сайт перестал отдавать данные, CD висит в ожидании получения данных, соответственно макрос [DYNAMICVALUES] не отрабатывает до конца и не формирует заголовки столбцов таблицы.
Есть ли возможность вручную закончить выполнение макроса [DYNAMICVALUES] тем самым получить заголовки столбцов, может как-то в excel провести обработку?

 

Здравствуйте.

Такого быть не должно.

Скиньте проект для теста.

 

Так, нормально все прошло.



Скажите, когда у вас происходит процесс остановки парсинга (в конце, в середине)?

Сколько процессора при этом занято, памяти?

Сколько потоков показывается при остановке в статус-баре программы (полоска снизу)?

Сколько по времени пробовали ждать после остановки? (попробуйте 5 минут)

При каждом ли парсинге происходит остановка?

Какая у вас OS?

 

Бывает тоже самое в проектах парсинга интернет магазинов при использовании [DYNAMICVALUES].
Проверял все, но закономерностей зависании программы не обнаружил. 10 раз товары могут спарситься без зависания, один раз с зависанием, причем, как озвучил без явных закономерностей.

 

Процесс не останавливается.
Висят потоки на последних 5-10 строках. Такое впечатление, что потоки берут последние строки, но запросы на получение контента не отправляют

CDX1 практически не загружает систему

1

Несколько часов, смотрел по времени последнего изменения результирующего файла парсинга

нет

Windows Server 2012


Общее кол-во строк для парсинга порядка 9300

Проблема возникла при настройках:
- парсить в 1 файл
- кол-во строк 10000

Поменял на:
- парсить в 1 файл
- кол-во строк 1000
проблема осталась, макрос [DYNAMICVALUES] не отрабатывает до конца - заголовки полей таблицы не создаются.


Решил проблему:
- нарезка xls файла на отдельные строки по 1000 в каждом
- генерация 10 копий проекта
- последовательный парсинг через планировщик

 

Здравствуйте.

Пока такой выход:


Замените файл Content Downloader.exe (в папке с программой) этим файлом:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**