Баг-репорты

Discussion in 'Развитие Content Downloader' started by Root, Mar 10, 2010.

  1. Dosan

    Dosan New Member Пользователи

    Joined:
    Feb 19, 2020
    Messages:
    2
    У меня в последних обновлениях при парсинге 100% но не может закончить работу.
    Стоп нажимаю, тоже все время грузится.
    Как принудительно остановить и сделать нормальный вид CSV?
     
  2. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    2020-03-16_01-23-34.png

    Вышлите на почту файл проекта:
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
     
  3. Dosan

    Dosan New Member Пользователи

    Joined:
    Feb 19, 2020
    Messages:
    2
    Спасибо, отправил
     
    Root likes this.
  4. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Пожалуйста.

    Проект изучил. Причину понял.

    Увы, это проблема компонента Clever Internet Suite, которая появляется только при использовании прокси (вроде только HTTP, с SOCKS скорее всего проблемы нет). Выявили проблему недавно. Была ли она все время или только с обновлением компонента до версии 9.6 - пока не выяснили. Просьбу устранить проблему отправил. Надеемся, что в скором времени исправят.

    1) Выберите библиотеку WIN в окне настроек HTTP запросов программы.
    2) Выберите библиотеку WIN (не WIN2) в окне настроек макроса DOWNLOADFILE

    2020-03-16_01-44-53.png

    2020-03-16_01-45-14.png

    При использовании библиотеки WIN такой проблемы нет.

    -------------------------------------------------------------------------------------------------

    Сейчас в программе используется релизная версия библиотека Clever Intenet Suite 9.6

    Если у вас есть возможность протестировать у себя ваш проект с выбранной библиотекой Clever Internet Suite на наличие данной проблемы в версиях Content Downloader:
    11.1.1110078 (используется версия Clever Internet Suite Pre 9.6)
    11.1.1110027 (используется версия Clever Internet Suite 9.5)
    И предоставить информацию о наличии проблемы на этих версиях - эта информация скорее всего будет полезна для разработчиков компонента Clever Internet Suite в качестве помощи в устранении the bug.

    Установочные файлы предыдущих установленных версий Content Downloader хранятся на диске C и расположены по пути C:\content_downloader\updates
     
  5. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Joined:
    Mar 27, 2019
    Messages:
    310
    При парсинге через Cron (планировщик задач) после завершения задачи в скрытых значках остается вот такая петрушка, которая тормозит всю систему.
    upload_2020-3-19_9-16-2.png
    Таких значков при открытии может быть на весь экран, и естественно, когда пытаешься навести курсором мыши, то они тут же пропадают.
    Комп на VPS Windows Server 2019, закрытие программы после завершения задачи настроено.
    Можно этот момент как-то подправить? А то VPS после 2-3 дней не чистки от этого "Намертво" зависает, пока не перезагрузишь машину.
     
  6. inotoxic

    inotoxic Well-Known Member Пользователи

    Joined:
    Sep 13, 2015
    Messages:
    874
    CDx тут не причем, это проблема кочует из windows к windows начиная с 7
     
    Root likes this.
  7. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    В диспетчере задач в процессах при этом висит множество процессов Content Downloader.exe?

    Что именно у вас тормозит систему (что именно занимает процессор, систему?) От чего зависает?

    Если хотите, можете написать в
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
    Для тестирования.
     
    Last edited: Mar 20, 2020
  8. BlackCard

    BlackCard Member Пользователи

    Joined:
    Mar 8, 2018
    Messages:
    37
    Здравствуйте.

    Настройка макроса DOWNLOADFILE:

    [​IMG]

    Настройка DFN:



    [DFN][REWRITE]{path}E:\Project\images\{/path}[ALL][CLEAR][TRANSLITE][/DFN]
    или

    [DFN][REWRITE]{path}E:\Project\{/path}[ALL][CLEAR][TRANSLITE][/DFN]

    То есть, надо чтобы картинки скачивались просто в папку images

    Но каждый раз откуда-то берется после images папка files, хотя ее нигде нет и нигде не указана.
    [​IMG]
     
  9. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    Не приложен файл проекта.
     
    BlackCard likes this.
  10. BlackCard

    BlackCard Member Пользователи

    Joined:
    Mar 8, 2018
    Messages:
    37
    Приложил
     

    Attached Files:

    Root likes this.
  11. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Спасибо.
     
    BlackCard likes this.
  12. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    При использовании [DFN] все данные по наименованию папок берутся из него.

    В вашем случае нужно вынести конечную папку из пути за пределы оператора {path}
    Code:
    [DFN][REWRITE]{path}C:\06. Парсинг Profvest\{/path}images\[ALL][CLEAR][TRANSLITE][/DFN]
     
    BlackCard likes this.
  13. TeslaCo

    TeslaCo Member Пользователи

    Joined:
    Mar 4, 2014
    Messages:
    211
    Здравствуйте,

    Появилась проблема, в последнее время.
    Ставлю парсинг с прокси, в новой версии программы (1110085), через планировщик задач CD, и заметил что всегда на разных сайтах, зависают потоки в конце парсинга, зависают навсегда, ждал несколько суток, менял паузы и прочее, ничего не помогает.
    Ставлю несколько тысяч (5-10), в конце парсинга висят не обработанные потоки и они не завершаются.

    Screenshot_53.png
    Screenshot_54.png
    Screenshot_55.png
    Screenshot_56.png
    Screenshot_57.png


    С теми же проксями ставлю парсинг, но уже на версии CD 1110027, работает идеально, на протяжении всего периода парсинга.
    Подскажите пожалуйста, в чем может быть проблема?
     
  14. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    Мой тикет в поддержку компонента Clever Internet Suite.
    2020-04-03_03-32-14.png

    Так и остался без ответа.
     
    TeslaCo likes this.
  15. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Используйте библиотеку WIN, с ней такой проблемы нет.
     
    TeslaCo likes this.
  16. lionz

    lionz New Member Пользователи

    Joined:
    Apr 4, 2020
    Messages:
    12
    Город:
    Msk
    Здравствуйте. При парсинге контента с ссылок, где встречаются апострофы например Ссылки недоступны для гостей
    В фильтрации документов при парсинге (ctrl+t) в указанный текстовик падает ссылка без апострофа
    Ссылки недоступны для гостей
    Т.е. потом изначальная ссылка Ссылки недоступны для гостей все равно уникальная
     
    Root likes this.
  17. gkelektro

    gkelektro New Member Пользователи

    Joined:
    Dec 15, 2017
    Messages:
    8
    Здравствуйте!
    при разделении большого файла xml вылезает такая ошибка файл 1,7gb [​IMG]
     
  18. Serheo

    Serheo Well-Known Member Пользователи

    Joined:
    Oct 13, 2018
    Messages:
    252
    Город:
    Москва
    Увидел сегодняшнюю обнову. Ура! Спасибо!
     
    Root likes this.
  19. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Спасибо ребятам с LA и РФ, кто исправил. Пришлось им понаписывать многократно.
     
    kagorec likes this.
  20. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    Под такие объемы данная функция не предусматривалась. Обрабатываются файлы до 1GB. Пожелание учел. Спасибо.
     
    gkelektro likes this.

Share This Page