Баг-репорты

Здравствуйте.

Замените файл Content Downloader.exe (в папке с программой) этим файлом:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

 

Программа зависает, не отвечает и вылетает(в течении 1 минуты после зависания) - и последняя версия и предыдущие.
При использовании Парсинга большого кол-ва документов.
Разбивку делаю по 50000. Стоит галочка UTF-8.
Система - Windows 10 PRO 64-bit.
Прокси не используется. Хотя они там в проекте есть.
Проект и файл прикладываю.

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 10100 постов.**

В системном журнале Windows следующие ошибки:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 10100 постов.**

Причем, когда в файле было более 4 миллиона ссылок (около 4300000) - то программа не вылетала сразу а только после прохода 200 тысяч ссылок каждый раз. Так 3 раза смог пройти. А теперь 3800000 ссылок в файле и вылетает сразу в течение минуты - даже не успев пройти 1000 ссылок )

Проверил на разных VPS. Но везде стоит Windows 10 Версия 1903.

 

Здравствуйте.

В этом проблема:

Эта библиотека является системной (она не поставляется с программой).

При попытке запуска парсинга с вашим проектом никаких проблем у меня на ПК не возникло.

 

Напишите точную последовательность действий, чтобы сразу увидеть возможную проблему.

 

И на каком этапе вылетает? Именно на подгрузке списка ссылок из файла?

 

Похоже и в основном окне программы при 500-600 ссылках тоже самое происходит.
Может зависит от проверяемого ресурса?

Ссылка на видео и ссылки для теста ниже:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 10100 постов.**

 

У меня с вашим проектом вылетел краш, но с другой ошибкой (Имя модуля с ошибкой: StackHash_e98d)

Вроде как нашел, где эта ошибка возникает. Попробуйте у себя спарсить одну ссылку с таким шаблоном вывода:

Код:

[GETRESPONSE(HTTP_QUERY_RAW_HEADERS_CRLF)]http://drivestream.ru/wa-content/img/country/--.gif[/GETRESPONSE]

 

После запуска - сразу вылетает CD, как на видео выше )
Ошибка в системном журнале та же:
Имя сбойного приложения: Content Downloader.exe, версия: 0.0.0.0, метка времени: 0x5d09f200
Имя сбойного модуля: msvcrt.dll, версия: 7.0.18362.1, метка времени: 0x58bec60c
Код исключения: 0xc0000005
Смещение ошибки: 0x000895fa
Идентификатор сбойного процесса: 0xcc
Время запуска сбойного приложения: 0x01d52753235d7c62
Путь сбойного приложения: C:\Program Files (x86)\Content Downloader X1\Content Downloader.exe
Путь сбойного модуля: C:\Windows\System32\msvcrt.dll
Идентификатор отчета: 76612f35-22ff-4775-ad93-a72351e198b4
Полное имя сбойного пакета:
Код приложения, связанного со сбойным пакетом:

ps: и крашится вот программа на определенных проверяемых доменах )

 

Замените файл Content Downloader.exe (в папке с программой) этим файлом:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Проверьте, будет ли корректно работать?

Странно, что у вас на DLL ошибка показывала, обычно так происходит, когда в DLL проблема. Так что я ошибся, в этом случае не в DLL проблема.

 

Запустил на большой пачке на 3 миллиона - пока работает
Спасибо!!!
А на этот код:

Код:

[GETRESPONSE(HTTP_QUERY_RAW_HEADERS_CRLF)]http://drivestream.ru/wa-content/img/country/--.gif[/GETRESPONSE]

- получил ответ:
"呈偔ㄯㄮ㈠〰传ോ匊牥敶㩲渠楧确爭略敳潰瑲ㄯㄮ⸳ഴ䐊瑡㩥吠畨‬〲䨠湵㈠㄰‹〱㐺㨲〱䜠呍਍"
Может дело в иероглифах )

Проверил на старых данных - где тоже крашилось!
Все работает - сбоев пока нет.

 

1) Может и в них.

2) Хорошо.

 

Часто замечаю, что людям нужны новые функции, но они молчат. Попросите, рассмотрю.

 

Здравствуйте. В редакторе csv , при объединении нескольких файлов по названиям столбцов, в результирующий файл не попадают все данные(если в файле есть пустой столбец, то колонки после него не переносятся, хотя столбец назван. ) Скрин Ссылки недоступны для гостей

 

Здравствуйте.

Приложите два файла, которые нужно объединить, чтобы увидеть ошибку.

 

У себя я описанную ошибку воспроизвести не смог. Предоставьте файлы.

 

Файлы к сожалению удалил, а воспроизвести повторно на по новой спаршеных файлах не получилось( будем считать что комп затупил(3 раза подряд).

 

Копьютер не может ошибаться. Тут либо ошибка в функции, либо вы как-то неправильно проанализировали информацию. Если ошибка повторится, сохраните файлы.

 

Меняется положение окошек В задание границ парсинга - Название границы и найти в коде, первая должна идти "найти в коде" иногда почему то меняются местами, с толку сбивает, приходится переоткрывать проект.

 

Это из-за увеличенных объектов в системе (увеличение работает некорректно). Поставьте 100% (нормальный скалинг) и все будет нормально.

 

После последних обновлений, DOWNLOADFILE который тянет картинки и сохраняет на диск, перестал сохранять файлы изображений после 22000 шт (+/-50 шт) . Парсинг идет, в файлах пишется локальный путь до картинки (и после 22к), но в папке с img перестают сохраняться файлы именно на этой отметке в штуках. Менял кучу настроек - не помогло. Откатился от DOWNLOADFILE - стал просто картинки сохранять дефолтной функцией, та же история. В чем магия этого числа. Стопаешь - запускаешь заново , картинки не сохраняются. Стопаешь - меняешь папку для сохранения, запускаешь - все ок. Но только до 22к штук. И по новой. Приходится сидеть караулить. Джепеги, от 100кб до 1,5 мб , в 30 потоков, пауза 300-1500 мс, без прокси. Баг?

upd дело было на диске FAT32, наудачу попробовал на NTFS - уже прошел отметку 50к

upd2 все равно странно
FAT32
Максимальный размер диска: 2 терабайта
Максимальный размер файла: 4 гигабайта
Максимальное количество файлов на диске: 268 435 437
Максимальное количество файлов в одной папке: 65,534
NTFS:
Максимальный размер диска: 256 терабайт
Максимальный размер файла: 256 терабайт
Максимальное количество файлов на диске: 4 294 967 295
Максимальное количество файлов в одной папке: 4 294 967 295