Баг-репорты

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 10 мар 2010.

  1. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Добрый вечер!
    С отключенным антивирусником - тоже не запускается ?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Попробуйте сделать откат системы.

    Если не поможет, напишите мне в Ватсап
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  3. Denorion

    Denorion Member Пользователи

    Регистрация:
    7 апр 2020
    Сообщения:
    52
    Город:
    Москва
    Добрый день!
    Не уверен, что это баг.
    Сейча если парсить ссылку каталога для отправки найденных ссылко в PHP для сортировки и обработки и возврата в этом же цикле обратно в программу - количство потоков будет равно изначальному количеству ссылок...
    Другими словами
    1. установлено 5 потоков - через браузер
    2. Закидываю одну ссылку страницы каталога
    3. Каждая ПГ вызывает локальный скрипт и передает туда ссылку и другие данные по этой ПГ
    4. Ответом PHP скрипта является либо ссылка с параметрами [PARAM] либо пусто
    После загрузки страницы каталога - эти 50 ссылок обрабатываются почти моментально - происходит 50 вызовов скрипта и скрипт либо отдает ссылку либо ничего не отдает
    5. В итоге из 50-ти изначальных ссылко на странице каталога - обратно в программу могут вернуться 20 или 30 или 40 ссылок, которые нужно обойти.
    6. И как только ссылки добавляются в список обхода через ADDURL - потоков уже не 5 а всего 1. Т.к. изначально была добавлена 1 ссылка. И все вновь добавленные ссылки парсятся в 1 поток.

    Сейчас я добавляю совешенно левые дополнительные ссылки, что бы потоки сохранились, пока они все обойдутся - скрипт уже вернет дополнительные ссылки и потоки остаются.
    Такая же история если использовать библиотеку CIS - и ставить 30-50 потоков - потоки бытренько убегают и потом при добавлении новых ссылок уже не добавляются вновь.

    Вот такая история

    Можно было бы сделать через планировщик и загрузку другого проекта с другим файлом ссылок через автоматизацию, но хочется в одном проекте сделать - два проекта уже сложно получается.

    Я покопался в настройках, но вроде ничего такого не нашел.

    Спасибо
     
  4. Petrushan

    Petrushan New Member Пользователи

    Регистрация:
    22 фев 2018
    Сообщения:
    8
    Город:
    Ульяновск
    Добрый вечер, да, выключенный антивирусник тоже не помогает.

    Вы про откат Windows?
    В WhatsApp напишу, спасибо за контакт.
     
  5. Petrushan

    Petrushan New Member Пользователи

    Регистрация:
    22 фев 2018
    Сообщения:
    8
    Город:
    Ульяновск
    Итак, на текущий момент, не помогло:
    • Удаление, переустановка и прочие шаманства с файлами Contend Downloader.
    • Проверка всей системы на вирусы.
    • Перезагрузка.
    • Откат Windows на более раннюю точку восстановления, когда всё работало.
    • Установка свежих драйверов (В том числе, установка разных драйвером, например, как OEM от Acer, так и не-OEM от Intel).
    • Установка Windows Software Development Kit.
    • Удаление всех программ, которые были поставлены после того как последний раз успешно работал Content Downloader (Да и был там, только скайп).
    • Полная проверка и восстановление файлов через sfc/scannow.
    • Полное удаление антивирусника (Стоял avast).
    • Обновление vc_redist.x64 2015-2019.
    • Отключение оповещений UAC.
    • Создание нового пользователя системы и запуск из-под него.
    • Добавление приложения в "Брандмауэр и безопастность сети".
    • Запуск приложения в режиме совместимости в том числе со всеми возможными пунктами.
    • Запрет приложениям работать в фоне.
    Dependency Walker говорит что есть ряд библиотек которые не установлены, скриншот прилагаю (Я думал, что наличие этих библиотек исправиться установкой Windows Software Development Kit, но нет). Между тем, прочитал в интернете - что ряд этих библиотек Dependency Walker выводит некорректно в список отсутствующих.
     

    Вложения:

    • dependency.png
      dependency.png
      Размер файла:
      58,9 КБ
      Просмотров:
      6
    Последнее редактирование: 23 май 2020
  6. Petrushan

    Petrushan New Member Пользователи

    Регистрация:
    22 фев 2018
    Сообщения:
    8
    Город:
    Ульяновск
    Обратил внимание на одну интересную особенность: Content Downloader как я и говорил, висит в процессах и кушает ресурсы. Но самое интересное - что его аппетиты постоянно растут.

    В среднем, за минуту прибавляется 50МБ к потреблению памяти.

    Кстати, забыл сказать, не так давно я приобретал лицензию на WBApp и парсил через Chromium. Может, это как то связано?
     
  7. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Сколько вы потоков задействуете при парсинге через Chromium?
     
  8. Petrushan

    Petrushan New Member Пользователи

    Регистрация:
    22 фев 2018
    Сообщения:
    8
    Город:
    Ульяновск
    Сейчас я вообще не могу открыть парсинг, у меня само приложение не открывается. Оно висит в процессах и кушает память, и на этом всё.

    Использовал 1 поток, когда это работало.
     
  9. evgeshik

    evgeshik New Member Пользователи

    Регистрация:
    30 янв 2017
    Сообщения:
    1
    Сыпятся такие ошибки Ссылки недоступны для гостей
    Версия самая новая
     
  10. Wada

    Wada New Member Пользователи

    Регистрация:
    24 май 2020
    Сообщения:
    5
    Город:
    USA
    Здравствуйте. Подскажите пожалуйста, <GETMORECONTENT> не работает с {br}?
    Почему если в границе используется {br} GETMORECONTENT не срабатывает? Приходится границы делать в одной строчке, что не всегда возможно
     
  11. alamina.moon

    alamina.moon Модератор Команда форума Модератор

    Регистрация:
    14 янв 2013
    Сообщения:
    214
    Не очень понятный вопрос, в данном макросе указывается URL с которого надо качать, причем тут {br} или покажите всю конструкцию и лучше в ветке для решения проблем с парсингом.
     
  12. igggor

    igggor New Member Пользователи

    Регистрация:
    21 мар 2018
    Сообщения:
    8
    Та же проблема, но появилась только сегодня с обновлением программы, раньше все корректно работало.
    Задаю границы внутри повторяющейся. Сейчас получается при задании границ парсинга - все корректно отображает, значения берутся, но при просмотре контента в выбранной границе или в результатах парсинга этих данных нет. Предварительно заметил что проблема возникает тогда, когда в границы парсинга попадает {br}.
     
  13. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Есть сомнения в необходимости использования br в указании границ. Пора отвыкать делать неправильно. Выбирайте уникальные элементы в коде, на крайний случай {skip} используйте.
     
  14. sten30

    sten30 Active Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    228
    Баг который неизменно присутствует во всех версиях программы.
    При запуске проекта начинается парсинг по списку ссылок который сохранен в списке ссылок
    Зачем? Это жутко мешает и раздражает.
    Мне нужно сохранять со списком ссылок и как я хочу.
    Мне нужно запускать проект как он сохранен.
    А программа начинает парсить как бог на душу положит неизвестно что и неизвестно зачем.
     
  15. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Не во всех версиях. В старых версиях не открывается проект по двойному клику.
     
  16. Petrushan

    Petrushan New Member Пользователи

    Регистрация:
    22 фев 2018
    Сообщения:
    8
    Город:
    Ульяновск
    Добрый день!

    В общем, проблема с запуском программы сама собой разрешилась...

    Несколько дней Content Downloader был удален, а сегодня я его случайно поставил обратно и всё заработало...

    Магия...
     
    kagorec нравится это.
  17. ITz

    ITz Member Пользователи

    Регистрация:
    31 янв 2020
    Сообщения:
    43
    Город:
    Third Rome
    проблема с заданием границ когда парсиш сайт _Ссылки недоступны для гостей попался особенный такой, перегружает прогу..

    update
    волшебная кнопочка JS (включение/выключение выполнения скриптов в броузере навигации решила эту проблему)
     
    Последнее редактирование: 9 июн 2020
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Я в шоке. Пол года добиваюсь стабильности работы библиотеки с ее разработчиками.

    Можете написать в Watsapp
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  19. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Напишите пожалуйста, когда устраните проблему. Как я понял пока не стоит обновляться.
     
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Оказалось, что проблемы нет.

    Можете смело использовать актуальную версию...
     

Поделиться этой страницей