Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Приветствую!
    При работе с внешними файлами (C:\\temp\temp.txt) нужно передавать параметр [PARAM]: но при попытке это сделать, получаю "Программе не удалось загрузить WEB-страницу"
    Можно ли это исправить? чтоб работало как и с обычными html
    Спасибо.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

     
  3. jozess

    jozess Member Пользователи

    Регистрация:
    19 дек 2010
    Сообщения:
    122
    Актуальное предложение. Уже 2 недели делаю шаблон. Код очень большой. Из-за громадности, много времени уходит на прокрутку страницы:( Хотелось бы поддержку спойлеров, для того, чтобы сворачивать уже готовые куски кода в шаблоне вывода:

    [​IMG]
     
  4. pavelbe

    pavelbe New Member Пользователи

    Регистрация:
    9 сен 2015
    Сообщения:
    41
    Согласен!

    Огромные проекты было бы вести намного удобнее.

    Еще бы хотелось замочек - чтобы удалить или изменить было нельзя.
     
  5. leskont

    leskont New Member Пользователи

    Регистрация:
    19 апр 2013
    Сообщения:
    10
    [​IMG] при парсинге в 50 потоков иногда возникает такая ситуация как на картинке, несколько последних потоков (1-5) висят достаточно долго, в логах ссылки документов не высвечиваются... при этом время парсинга скажем 700 страниц занимает 2-3 минуты а пока дождешься завершения этих паразитических процессов может пройти минут 20...
    при этом если завершить принудительно сам CD то эти ссылки которые зависли выкопать уже ни откуда не возможно, поэтому если мне критично вытащить всю информацию а не 99% то приходится запускать парсинг заново или использовать костыль с <CD_DOCURL!> чтобы отследить незагруженные документы
    Подозреваю что это связано с качеством моего интернета, но все же, есть предложение как то в ручную завершать потоки, которые очевидно зависли и добавлять в логи сообщение с ошибкой, чтобы можно было тут же скопировать ошибочные страницы и допарсить эти странички заново...
    Или как вариант решения этой проблемы ограничивать время работы одного потока в настройках чтобы скажем 1 документ грузился не более 1 минуты, если за минуту не был получен какой то результат, то записывать в лог ошибку и обрубать поток.
    PS: таймауты у меня заданы как и положено, даже 15000 мс... вместо дефолтных 30000

    Еще одна просьба, в логах сделать сортировку по колонкам, например мне нужно выделить все документы которые загрузились без картинки, (то есть в логе есть информация image и светится 0/1 мне нужно выделить и заново загрузить эти документы потому что картинка там есть и она нужна)
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Эти потоки не зависают, загрузка с адресов идет, но медленно, "рубить" их "нагло" не стоит (может привести к сбоям).

    Как доставать "ссылки в работе": меню - сервис - текущие элементы при парсинге...

    С уважением к вам, Сергей.
     
  7. fartof

    fartof New Member Пользователи

    Регистрация:
    29 сен 2012
    Сообщения:
    8
    Root можно ли такое реализовать в CD.
    1. Автоматическое определение границ для интернет магазина (цена, фото, описание). По типу автозаполнения. Конечно идеально не получиться задать, но с миним. правками потом, возможно же.
    Есть же <CD_AUTO!> и <CD_AUTO_HEADER!>

    2.В полу-автоматическом режиме. На примере того же Firebug от Firefox Mozilla.
    Когда визуально выделяем нужный блок на странице и задаем границы. Нужное потом поправляем.
     
    Последнее редактирование: 7 янв 2016
  8. omer21

    omer21 New Member Пользователи

    Регистрация:
    4 фев 2015
    Сообщения:
    14
    Здравствуйте. Можно небольшую доработку сделать? "Приостановить парсинг при бане" появляется окно с отсчетом времени поверх всех окон. Можно сделать галочку что то вроде "без сообщения". Когда работаешь, сообщение выскакивает, а если в это время на клавиатуре что нибудь набираешь и нажимается "отмена", парсинг останавливается.
     
    Последнее редактирование: 8 янв 2016
  9. jozess

    jozess Member Пользователи

    Регистрация:
    19 дек 2010
    Сообщения:
    122
    Добрый день. Работаю с повторяющимися границами. В "Настройка повтор. Границ" -> "Задать обычные границы внутри повторяющихся". Не хватает копки "Предосмотр".
    Очень много лишних действий: открыть - открыть - редактировать - закрыть - нажать предосмотр. И так по кругу :( если шаблон сложный.

    [​IMG]
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2016-12-23_20-00-54.png
     
    jozess и Kreol нравится это.
  11. drvoodoo

    drvoodoo Active Member Пользователи

    Регистрация:
    30 дек 2016
    Сообщения:
    69
    Прошу рассмотреть возможность внедрить в CD язык запросов Xpath? это позволило бы значительно расширить возможности парсинга.
     
    kagorec и Root нравится это.
  12. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствйте!
    Для этого нужно хотя бы иметь человека,
    а) который в этом рубит нехило.
    б) который готов помогать бездвоздмездно и объяснять кучу моментов и нюансов.
    у вас такой есть?
     
    drvoodoo нравится это.
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Рекомендую вам более углубленно ознакомиться с функционалом программы и, думаю, нужда в подобных доработках отпадет. Если останутся для вас нерешаемые задачи - обращайтесь, постараемся помочь.

    PS: Можно добавить много чего "лишнего(?)", но смысл.

    Спасибо!
     
    kagorec и Kreol нравится это.
  14. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Поверьте, все хорошо настраивается и стандартными возможностями - любая задача!
    К примеру недавно в программе разработчик добавил в инструменты указания границ поддержку инверсии (кнопка [!] рядом с [htmtotxt] ) что вдвойне расширяет возможности зацепа любого элемента. Ранее приходилось применять регулярные выражения. Сейчас просто в пару кликов указываешь границы и в путь... ))
     
    Kreol и Root нравится это.
  15. drvoodoo

    drvoodoo Active Member Пользователи

    Регистрация:
    30 дек 2016
    Сообщения:
    69
    В чём конкретно нужно "рубить" ? Я в принципе неплохо подучил этот язык, так что рассказать чё-куда смогу.
    А то что программа очень функциональна и так из коробки, это я понял и поэтому выбрал именно CD для работы, а не нуль альтернативных разработчиков.
     
  16. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    тогда зачем вам xpath?
    что именно он улучшит?
    примеры пожалуйста.
     
    kagorec нравится это.
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Рекомендую не разводить дискуссию, а закрыть ее. Появятся вопросы - обращайтесь. Постараемся помочь. Спасибо!
     
  18. drvoodoo

    drvoodoo Active Member Пользователи

    Регистрация:
    30 дек 2016
    Сообщения:
    69
    К примеру надо собрать описание товара.

    <div id="9846e36g55k95" class="opisanie_tovara" style="box-sizing: border-box; margin: 0px; padding: 3px 5px; direction: ltr; line-height: 18px; vertical-align: top; border: none; -webkit-user-select: none;" title="для добавления товара в корзину кликните 2 раза">
    <div>контент</div>
    <div>контент</div>
    <div>контент</div>
    <div>контент</div>
    </div>
    Для такой конструкции нужно писать регулярку с некоторым количеством условий, но можно было бы гораздо упростить используя Xpath, привязавшись к классу "opisanie_tovara"
    В результате мы сразу же получим весь контейнер без лишнего насилования бубна.
     
    Последнее редактирование: 31 дек 2016
  19. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Извините, но такие банальности стандартными методами решаются
    Начало границы
    Код:
     class="opisanie_tovara"{skip}>
    А конец границы что-то уникальное присутствующее на всех страницах.
    [​IMG]
     
    Kreol и Root нравится это.
  20. drvoodoo

    drvoodoo Active Member Пользователи

    Регистрация:
    30 дек 2016
    Сообщения:
    69
    Я и не спорю. Это моё предложение. Если разработчик сочтёт нужным, внедрит, а так я пока прогой доволен и из коробки.
     
    kagorec нравится это.

Поделиться этой страницей