Баг-репорты

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 10 мар 2010.

  1. Igor

    Igor Active Member Пользователи

    Регистрация:
    13 янв 2017
    Сообщения:
    125
    спасибо конечно за ответ я так и делаю, но почему в программе не отображается сам псевдо код.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    История умалчивает, в Chrome при просмотре кода также типо пробелы. Но хорошо что об этом написали, вещь неприятная когда готовый импорт не проходит.
    п.с. когда-то от яндекс маркета такие псевдо пробелы попадались в ценах
     
  3. Petruha

    Petruha New Member Пользователи

    Регистрация:
    26 янв 2015
    Сообщения:
    12
    Здравствуйте, недавно обновил программу до этого давно не обновлял, в общем на странице проверки прокси внизу нужно подправить верстку так как не хватает места и непонятно сколько прокси в очереди и сколько найдено рабочих, манипуляции с окно не помогают, растягивай не растягивай не видно... файл прикладываю... спасибо
    cd-bag-1.jpg
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Это из-за корявого скалирования Windows (у вас выставлено в системе увеличение шрифтов и объектов).

    Увеличил размеры элементов статус-бара.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Petruha нравится это.
  5. sdobrimutrom

    sdobrimutrom New Member Пользователи

    Регистрация:
    22 мар 2013
    Сообщения:
    5
    Ошибка в HashсhildrenMaps. При попытке загрузить вложенные карты сайта. Если Оставить только один sitemap.xml, остальные удалить, то он повторно выдает список из 10201 xml файла (в списке при этом физически содержится список из 101 файла. выдается сам список вложенных файлов, вместо должной пустоты, ведь нужные вложенные файлы физически удалены). Не знаю понятно объяснил или нет. Сложно сформулировать.

    Но и это не всё. Главная проблема в другом.
    Алгоритм таков: сначала загрузил карту сайта с галочкой HashсhildrenMaps, просканировал вложенные sitemap файлы. Если памяти хватило, то всё ок. Если не хватило, как в моем случае, то вылетает out of memory (ждем х64 версию), пытаюсь загружать порциями. Перезапускаю программу, все списки очищены. Оставляю один из 101 вложенных файлов sitemap, сам sitemap.xml не очищаю от нерабочих ссылок на вложенные xml. Делаю повторно скан всех вложенных файлов. по сути он сейчас должен увидеть только один вложенный файл вместо 101 и загрузить содержащие в нем 19999 строк. Но он откуда то из воздуха снова вспоминает 2 млн прошлых строк. Файлы при этом физически удалены. В каком кэше всё это храниться не понял, кэш IE чистил и вручную и по всякому. Пытаюсь найти источники кэша, всё бесполезно. В общем, кэш этот не очищается и он прекрасно помнит обо всех ранее загружаемых вложенных файлах. Думал у меня мудит локальный веб сервер, но нет, по ссылке браузер выдает 404.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Какая у вас версия программы?

    Также необходимо прикладывать адреса карт сайта, как мы будем проверять без них.
     
  7. sdobrimutrom

    sdobrimutrom New Member Пользователи

    Регистрация:
    22 мар 2013
    Сообщения:
    5
    Версия последняя 318.
    Всё, понял в чём баг. Число 10201 получается не просто так. Когда в главном sitemap.xml указана 101 ссылка на вложенные sitemap_1.xml......sitemap_101.xml, и при этом кроме ссылок самих реальных файлов не существует, то программа перемножает 101 ссылку на 101 раз, и получается список из 10201 дублированной ссылки. А вторая проблема вылезла отсюда же. Имеем 101 ссылку на 101 вложенный sitemap, физически оставляем один файл, например sitemap_50.xml в котором 19999 <loc> строк. Он этот единственный файл также дублирует 101 раз. Т.е. не хватает проверки на существование файлов, отсюда следует, что битые ссылки "читают" один единственный существующий файл столько раз, сколько ссылок указано в sitemap.xml. Первоначально копируя его в Temporary Internet Files. И получается, что sitemap_50.xml он же становится как sitemap_1.xml и sitemap_2.xml и до.... sitemap_101.xml

    Баг этот получилось осуществить, т.к. не умещаются сразу все сслыки в память. Out of memory. Приходится пачками по нескольку файлов, чтобы разбить xml ь в один большой файл и оттуда уже запустить на парсинг мелкими порциями через функцию "если ссылок более 1 млн." так меньше проца жрет на отрисовку списка ссылок в окне парсинга.

    Кстати, может сделать отключаемой это функцию, чтобы список ссылок не "двигался", меньше потребляя ресурсов cpu? Тоже самое касается сканера сайтов, если окно уменьшить до минимальных размеров, то от уменьшения видимой зоны списка ссылок очень серьезно увеличивается скорость. Парсингом занимаюсь на локалхосте мусируя терабайты текстовых данных, проц ну уж очень сильно к этому чуствителен при запросах свыще 50 в сек скорость до двух раз теряется.
     
    Последнее редактирование: 14 мар 2018
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Последняя версия не 3.18, а 3.28

    А вот когда было исправление работы инструмента загрузки карт сайтов:
     
  9. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    Добрый день!

    Не срабатывает разбивка и объединение по {br} в редакторе CSV. Если использовать запятую, то работает.

    [​IMG]
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    xLime и gans нравится это.
  11. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    Почему-то не везде срабатывает. CSV пример в аттаче.

    [​IMG]
     

    Вложения:

    • temp.csv
      Размер файла:
      149 байт
      Просмотров:
      2
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    gans нравится это.
  13. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    Огромное спасибо! Работает.
     
    Root нравится это.
  14. aresa

    aresa Well-Known Member Пользователи

    Регистрация:
    17 окт 2015
    Сообщения:
    180
    Добрый вечер, Сергей!
    Использую для получения пути скачиваемого файла макрос [CSVIMAGES], но сам файл не скачиваю - только путь к файлу картинки. Все хорошо, только сейчас результат после применения макроса [CSVIMAGES] обернут в тэг <NIMG>. На старых проектах, уже работавших много раз тоже самое появилось.
    Вот шаблон вывода:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 150 постов.**
    Вот результат:
    upload_2018-3-19_18-27-14.png
    Пример ссылки:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 150 постов.**
    Начало парсинга границы 6:
    <div class="pics__big">
    Конец парсинга границы 6:
    </div>
    Это баг? Или для макроса [CSVIMAGES] какие-то новые опции появились?
    Заранее благодарен за ответ!
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Ссылки недоступны для гостей

     
    aresa нравится это.
  16. aresa

    aresa Well-Known Member Пользователи

    Регистрация:
    17 окт 2015
    Сообщения:
    180
    Как раз этот параметр я и убрал из макроса, поскольку картинки скачивать мне не надо. А только получить ссылку к картинке.
    Как выйти из положения сейчас я нашел - обернул результат в replace.
     
  17. BlackCard

    BlackCard Member Пользователи

    Регистрация:
    8 мар 2018
    Сообщения:
    37
    Здравствуйте.
    Заметил такой баг.
    Допустим у меня 10 проектов. Они отображаются в программе - Файл (список недавних проектов)
    ЕСЛИ переключить с одного проекта на другой и нажать CTRL+S в первую секунду (может быть даже меньше), происходит сброс какой-то функции (всегда рандомно).
    Подозреваю что это от того, что в ту долю секунды, когда проекты переключаются, если какая-то функция не успела загрузиться - то она тупо удаляется (у меня это или список загруженных ранее ссылок, или CD_GRAN2, или наименование границы).

    Прошу обратить внимание, что баг замечен при отключенной функции "Предлагать сохранять текущий проект при загрузке другого".

    P.S. Не знаю баг ли это на все 100%, или единичный случай. Проверил раз 10, у меня именно так. Версия программы - последняя.
    P.P.S. Чтобы наверняка заметить этот баг, необходимо быстро нажимать сочетание клавиш CTRL+S в момент переключения между проектами. В идеале - макросная мышка или клавиатура.
    P.P.P.S. Если вы тоже стали свидетелем бага - отпишитесь плиз.
     
    Последнее редактирование: 19 мар 2018
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Доработал.

     
    aresa нравится это.
  19. BlackCard

    BlackCard Member Пользователи

    Регистрация:
    8 мар 2018
    Сообщения:
    37
    UPD.
    Только что прилетела обнова. Был открыт N-ый проект, нажал обновить, прога обновилась, запустилась заново. Изменилось название (наименование) одной из повторяющихся границ.
    Функция "Предлагать сохранять текущий проект при загрузке другого" была включена в этот раз.
    В этот раз никакой CTRL+S не нажималось.
     
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    BlackCard нравится это.

Поделиться этой страницей