Баг-репорты

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 10 мар 2010.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.072
    Город:
    Сочи
    Здравствуйте.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Последнее редактирование: 19 июн 2019
  2. nail

    nail New Member Пользователи

    Регистрация:
    15 сен 2014
    Сообщения:
    46
    Программа зависает, не отвечает и вылетает(в течении 1 минуты после зависания) - и последняя версия и предыдущие.
    При использовании Парсинга большого кол-ва документов.
    Разбивку делаю по 50000. Стоит галочка UTF-8.
    Система - Windows 10 PRO 64-bit.
    Прокси не используется. Хотя они там в проекте есть.
    Проект и файл прикладываю.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10100 постов.**
    В системном журнале Windows следующие ошибки:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10100 постов.**
    Причем, когда в файле было более 4 миллиона ссылок (около 4300000) - то программа не вылетала сразу а только после прохода 200 тысяч ссылок каждый раз. Так 3 раза смог пройти. А теперь 3800000 ссылок в файле и вылетает сразу в течение минуты - даже не успев пройти 1000 ссылок )

    Проверил на разных VPS. Но везде стоит Windows 10 Версия 1903.
     
    Последнее редактирование: 20 июн 2019
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.072
    Город:
    Сочи
    Здравствуйте.

    В этом проблема:
    Эта библиотека является системной (она не поставляется с программой).

    При попытке запуска парсинга с вашим проектом никаких проблем у меня на ПК не возникло.
     
    Последнее редактирование: 20 июн 2019
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.072
    Город:
    Сочи
    Напишите точную последовательность действий, чтобы сразу увидеть возможную проблему.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.072
    Город:
    Сочи
    И на каком этапе вылетает? Именно на подгрузке списка ссылок из файла?
     
  6. nail

    nail New Member Пользователи

    Регистрация:
    15 сен 2014
    Сообщения:
    46
    Похоже и в основном окне программы при 500-600 ссылках тоже самое происходит.
    Может зависит от проверяемого ресурса?

    Ссылка на видео и ссылки для теста ниже:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10100 постов.**
     

    Вложения:

    • test.txt
      Размер файла:
      8,7 КБ
      Просмотров:
      0
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.072
    Город:
    Сочи
    У меня с вашим проектом вылетел краш, но с другой ошибкой (Имя модуля с ошибкой: StackHash_e98d)

    Вроде как нашел, где эта ошибка возникает. Попробуйте у себя спарсить одну ссылку с таким шаблоном вывода:
    Код:
    [GETRESPONSE(HTTP_QUERY_RAW_HEADERS_CRLF)]http://drivestream.ru/wa-content/img/country/--.gif[/GETRESPONSE]
     
  8. nail

    nail New Member Пользователи

    Регистрация:
    15 сен 2014
    Сообщения:
    46
    После запуска - сразу вылетает CD, как на видео выше )
    Ошибка в системном журнале та же:
    Имя сбойного приложения: Content Downloader.exe, версия: 0.0.0.0, метка времени: 0x5d09f200
    Имя сбойного модуля: msvcrt.dll, версия: 7.0.18362.1, метка времени: 0x58bec60c
    Код исключения: 0xc0000005
    Смещение ошибки: 0x000895fa
    Идентификатор сбойного процесса: 0xcc
    Время запуска сбойного приложения: 0x01d52753235d7c62
    Путь сбойного приложения: C:\Program Files (x86)\Content Downloader X1\Content Downloader.exe
    Путь сбойного модуля: C:\Windows\System32\msvcrt.dll
    Идентификатор отчета: 76612f35-22ff-4775-ad93-a72351e198b4
    Полное имя сбойного пакета:
    Код приложения, связанного со сбойным пакетом:

    ps: и крашится вот программа на определенных проверяемых доменах )
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.072
    Город:
    Сочи
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Проверьте, будет ли корректно работать?

    Странно, что у вас на DLL ошибка показывала, обычно так происходит, когда в DLL проблема. Так что я ошибся, в этом случае не в DLL проблема.
     
    nail нравится это.
  10. nail

    nail New Member Пользователи

    Регистрация:
    15 сен 2014
    Сообщения:
    46
    Запустил на большой пачке на 3 миллиона - пока работает :)
    Спасибо!!!
    А на этот код:
    Код:
    [GETRESPONSE(HTTP_QUERY_RAW_HEADERS_CRLF)]http://drivestream.ru/wa-content/img/country/--.gif[/GETRESPONSE]
    
    - получил ответ:
    "呈偔ㄯㄮ㈠〰传ോ匊牥敶㩲渠楧确爭略敳潰瑲ㄯㄮ⸳ഴ䐊瑡㩥吠畨‬〲䨠湵㈠㄰‹〱㐺㨲〱䜠呍਍"
    Может дело в иероглифах )

    Проверил на старых данных - где тоже крашилось!
    Все работает - сбоев пока нет. :)
     
    Последнее редактирование: 20 июн 2019
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.072
    Город:
    Сочи
    1) Может и в них.

    2) Хорошо.
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.072
    Город:
    Сочи
    Часто замечаю, что людям нужны новые функции, но они молчат. Попросите, рассмотрю.
     
    nail нравится это.
  13. pijonz

    pijonz Member Пользователи

    Регистрация:
    10 июн 2017
    Сообщения:
    13
    Здравствуйте. В редакторе csv , при объединении нескольких файлов по названиям столбцов, в результирующий файл не попадают все данные(если в файле есть пустой столбец, то колонки после него не переносятся, хотя столбец назван. ) Скрин Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! [​IMG]
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.072
    Город:
    Сочи
    Здравствуйте.

    Приложите два файла, которые нужно объединить, чтобы увидеть ошибку.
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.072
    Город:
    Сочи
    У себя я описанную ошибку воспроизвести не смог. Предоставьте файлы.
     
  16. pijonz

    pijonz Member Пользователи

    Регистрация:
    10 июн 2017
    Сообщения:
    13
    Файлы к сожалению удалил, а воспроизвести повторно на по новой спаршеных файлах не получилось( будем считать что комп затупил(3 раза подряд).
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.072
    Город:
    Сочи
    Копьютер не может ошибаться. Тут либо ошибка в функции, либо вы как-то неправильно проанализировали информацию. Если ошибка повторится, сохраните файлы.
     
    pijonz нравится это.
  18. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    343
    Меняется положение окошек В задание границ парсинга - Название границы и найти в коде, первая должна идти "найти в коде" иногда почему то меняются местами, с толку сбивает, приходится переоткрывать проект.
     

    Вложения:

  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.072
    Город:
    Сочи
    Это из-за увеличенных объектов в системе (увеличение работает некорректно). Поставьте 100% (нормальный скалинг) и все будет нормально.
     
    Stan нравится это.
  20. alfo13

    alfo13 New Member Пользователи

    Регистрация:
    31 май 2019
    Сообщения:
    6
    После последних обновлений, DOWNLOADFILE который тянет картинки и сохраняет на диск, перестал сохранять файлы изображений после 22000 шт (+/-50 шт) . Парсинг идет, в файлах пишется локальный путь до картинки (и после 22к), но в папке с img перестают сохраняться файлы именно на этой отметке в штуках. Менял кучу настроек - не помогло. Откатился от DOWNLOADFILE - стал просто картинки сохранять дефолтной функцией, та же история. В чем магия этого числа. Стопаешь - запускаешь заново , картинки не сохраняются. Стопаешь - меняешь папку для сохранения, запускаешь - все ок. Но только до 22к штук. И по новой. Приходится сидеть караулить. Джепеги, от 100кб до 1,5 мб , в 30 потоков, пауза 300-1500 мс, без прокси. Баг?

    upd дело было на диске FAT32, наудачу попробовал на NTFS - уже прошел отметку 50к

    upd2 все равно странно
    FAT32
    Максимальный размер диска: 2 терабайта
    Максимальный размер файла: 4 гигабайта
    Максимальное количество файлов на диске: 268 435 437
    Максимальное количество файлов в одной папке: 65,534
    NTFS:
    Максимальный размер диска: 256 терабайт
    Максимальный размер файла: 256 терабайт
    Максимальное количество файлов на диске: 4 294 967 295
    Максимальное количество файлов в одной папке: 4 294 967 295
     
    Последнее редактирование: 5 июл 2019
    Root нравится это.

Поделиться этой страницей