Баг-репорты

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 10 мар 2010.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Почитал посты по этой теме. Самая распространенная проблема - трояны...
    Если парсите с использованием библиотеки Internet Explorer (DOM), то это, скорее всего, из-за того, что Internet Explorer вызывается огромное количество раз. Думаю, Windows просто не рассчитана на такое количество запусков IE =)
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Сейчас я попробовал парсить с использованием Internet Explorer (DOM) увидел незначительный рост занимаемой одним из svchos.exe памяти. Что с ним делать - непонятно. Единственное, что приходит в голову - поотключать службы Windows, которые отъедают память.

    Если это потребление памяти не отражается на работоспособности системы - проще не обращать на него внимания.

    PS: Тестировал без использования Internet Explorer (DOM) (парсинг внутренними библиотеками программы) - жора памяти не заметил!
     
  3. 0pupentium

    0pupentium New Member Пользователи

    Регистрация:
    18 июн 2012
    Сообщения:
    23
    Проект: replace&getmorecontent.cdp.
    Прислушался к вашему совету и создал еще один проект. К сожалению и в нем не работают макросы поиска-замены в границе парсинга "GETMORECONTENT" внутри макроса "IMAGESPATH". Макрос "FIRST_REPLACE" ничего не заменяет, т.к. выполняется первее "GETMORECONTENT", а макросы "BEFORE_IMG_REPLACE" и "REPLACE" выполняются некорректно. Зато не внутри макроса "IMAGESPATH", макросы "BEFORE_IMG_REPLACE" и "REPLACE" выполняются отлично в границе парсинга "GETMORECONTENT" выводя в документ то, что нужно.

    Проект: replace&cd_gran_x.cdp.
    При использовании макросов поиска-замены в обычной границе парсинга "<CD_GRAN_Х!>" внутри макроса "IMAGESPATH" выполняется только макрос "FIRST_REPLACE". Не внутри макроса "IMAGESPATH" в обычной границе парсинга "<CD_GRAN_Х!>" все три макроса выполняются отлично.
     

    Вложения:

    • replace.zip
      Размер файла:
      10 КБ
      Просмотров:
      2
  4. 0pupentium

    0pupentium New Member Пользователи

    Регистрация:
    18 июн 2012
    Сообщения:
    23
    Здравствуйте.
    После установки CD 11 (с теми же параметрами установки) поверх предыдущих версий программы, в апплете панели управления "Программы и компоненты" появляется новая запись "Content Downloader X1", а не перезаписывается старая. Это происходит постоянно при каждом выходе новой версии программы, как только в установщике меняется значение параметра определяющего имя программы.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.
    Так и задумано. Удаляйте старую версию (если она вам нужна).
    Такие "глобальные" обновления производятся крайне редко...
     
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Наоборот удобно придумано чтоб старая версия у каждого оставалась на "всякий случай" (например для неактуальных настроек к новой версии)
     
  7. gromhold

    gromhold New Member Пользователи

    Регистрация:
    2 дек 2010
    Сообщения:
    15
    в настройках
    [​IMG]
    список прокси
    [​IMG]
    открываю задать границы, поставил сайт определялку айпи
    [​IMG]
    в результате мой айпи. прокси не срабатывает.
    версия:
    [​IMG]
     
  8. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Учимся пользоваться программой.
    Нажимаем в программе Ctrl+r (откроется окошко добавления прокси)
    Смотрим рисунок и изучаем что нужно нажать
    1) выбираете где будут применяться ссылки
    2) Добавляете ваш список
    3) НАЖИМАЕТЕ КНОПКУ "Добавить сервера/проверить список"
    4) Получаете итоговое число рабочих прокси.
    Если при добавлении у вас прокси не добавятся, значит вы используете прокси с привязкой к IP а он у вас динамический и его нужно перепривязать перед использованием (например на сайте
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    так)

    Далее закрываете и загружаете любую ссылку. (Имеется ввиду 2-й клик, для предпросмотра)
    Нажимаете Ctrl+L и смотрите картинку №2
    И в графе прокси, видим как загрузилась ссылка.

    Могу поспорить, что вы просто не добавили ваши прокси.

    P.S. Кстати забыл уточнить, если вы используете SOCKS4 или SOCKS5 Укажите это - выпадающее меню в котором сейчас HTTP
     

    Вложения:

    Последнее редактирование: 1 сен 2014
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Прокси не всегда скрывают ип темболее пабликовские. Вот если элитные покупные тогда другое дело.
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    При редактировании списка прокси программа предлагает очистить закешированные при предпросмотре WEB-документы. Возможно, вы проигнорировали это сообщение и в результате у вас отображается код закешированной страницы.
    PS: Если использовать Internet Explorer (DOM) в ctrl+h, то прокси не работают! (пока...).
     
  11. gromhold

    gromhold New Member Пользователи

    Регистрация:
    2 дек 2010
    Сообщения:
    15
    я пользуюсь кнопкой
    [​IMG]
    [​IMG]

    прокси не паблик, привязка по айпи, айпи привязан правильно.
     
  12. gromhold

    gromhold New Member Пользователи

    Регистрация:
    2 дек 2010
    Сообщения:
    15
    дочитал тему до конца
     
  13. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
  14. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Вы уверены что возможен парсинг только через DOM?
     
  15. Alexandr

    Alexandr New Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    1
    Не получается задать границы парсинга

    В общем в некоторых группах ОД не отображаются посты в окне задания границ парсинга. В окне передачи куки такие посты отображаются. Также такие посты видны в окне "Предпросмотра элемента". Группы не закрыты. Вот ссылки на несколько таких постов

    также видно, что визуальная часть принадлежит другим постам, а не открытому коду страницы. Причем это не во всех группах такое происходит.
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Нажмите ctrl+h, включите там Internet Explorer (DOM) и у вас будет (должно) все отображаться.

    С уважением к вам, Сергей.
     
  17. SeoNew

    SeoNew New Member Пользователи

    Регистрация:
    13 окт 2013
    Сообщения:
    27
    Спасибо за отличную прогу!

    Но, кажется, после сегодняшнего обновления при работе с прокси стало чаще вылетать "недостаточно памяти для обработки команды",

    прокси https 1500 штук
     
  18. SeoNew

    SeoNew New Member Пользователи

    Регистрация:
    13 окт 2013
    Сообщения:
    27
    последняя версия, сегодняшнее обновление,

    при закрытии окна задания границ парсинга - "неопознанная ошибка",
    что с заданными границами, что без (
     
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Нет, при закрытии окна никакой ошибки мы не получаем...

    Скорее всего, эту ошибку дает модуль Internet Explorer (WEB browser, который вы видите в нижней части окна) при работе с определенным сайтом. Попробуйте работать с другим сайтом или закрыть браузер (кнопка слева вверху с изображением планеты или f5).

    По поводу "недостаточно памяти"- следите, чтобы программа занимала не более 1,5 ГБ оперативной памяти (в процессах).

    Приносим извинения за предоставленные неудобства.

    С уважением к вам, администрация сайта.
     
  20. SeoNew

    SeoNew New Member Пользователи

    Регистрация:
    13 окт 2013
    Сообщения:
    27
    да, с другим сайтом все гуд, сорри за беспокойство
     

Поделиться этой страницей