Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. ajivitca

    ajivitca New Member Пользователи

    Регистрация:
    11 июн 2013
    Сообщения:
    39
    для коммерческого продукта (хотя, очень недорогого!!!!) документация - 50%. я бы на месте автора - ЗАКАЗЫВАЛ бы написание ее. это работа. как программирование. пусть лучше занимается написанием самого софта. у него это здорово получается.

    Реально - продажи бы выросли только. пусть кидает видео техническим писателям, а они уже это напишут со скриншотами. это их работа.

    PS
    отсутствие описания SCANDIR - типичный показатель.
    функция, которая есть только в whatsnew.txt.
     
  2. ajivitca

    ajivitca New Member Пользователи

    Регистрация:
    11 июн 2013
    Сообщения:
    39
    ага.глобально. а потом глюки ловить от выпавших тегов.
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    1. Создать настройку с активной вкладкой "ссылки" это где сбор ссылок идет, а там назначить SCANDIR:c:\content\papka-s-saytom\
    2. Отметить пункт "автоматически перейти в окно парсинга" и сохранить настройку.
    Теперь с таким назначенным порядком действий настройку просто остается пользовать в планировщике.
     
  4. AlexSmv

    AlexSmv New Member Пользователи

    Регистрация:
    8 май 2013
    Сообщения:
    12
    1. Хотелось бы, чтобы в сканнере сайтов, можно было бы указать список стартовых урл, например несколько разделов сайта
    2. При воостановлении из бекапа найденных ссылок они сортируются по алфавиту, хотелось бы их загружать в изначальном порядке.
     
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    я хоть и не разработчик программы, но отвечу на ваши два пункта:
    Сканеру сайтов безразлично какой именно рабочий линк укажите в программе, потомучто указав линк сканер по нему перейдет и найдет несколько подходящих по условию фильтров и поместит их в очередь чтоб по ним если не переходил то перейдет и возможно еще найдет. Это принцип почти как у поискового робота.
    п.с. возможно комуто разочарование будет понять что сканер не идет строго по назначенному пути, а по тому списку линков что набрал сам для "списка очереди"
     
  6. MAX3000

    MAX3000 New Member Пользователи

    Регистрация:
    14 дек 2010
    Сообщения:
    43
    Переделка нижнего поля ссылок

    Есть одна идея по переделке нижнего поля программы - там где находятся ссылки.
    Заключается она в следующем:
    [​IMG]
    1. Переделка существенная, но на мой взгляд очень нужная:
    1.1. Вместо списка ссылок - таблица, с полем активности элемента (для чего нужно объясню дальше)
    1.2. Парсинг производится в промежуточную базу, содержимое которой и выводится в вышеуказанную таблицу
    2. При двойном клике по строке (ссылке) - открывается окно предпросмотра элемента (как и сейчас, ничего не меняется), но после зарытия окна, в базе уже сохранены полученные элементы и в таблице заполнены соответствующие поля (границы парсинга) и автоматически снимается признак активности элемента
    3. При переходе по ссылкам в окне предпросмотра элемента в базу заносятся полученные поля и автоматически снимается признак активности элемента
    4. При нажатии на кнопку "Начать парсинг (F5)" парсятся только поля с установленным признаком активности и заносятся в базу (соответственно выводятся в таблице, у спарсенных элементов снимается признак активности) - !!! это дает возможность визуально контролировать результат работы программы непосредственно при парсинге
    5. В случае необходимости, остановить, внести изменения, и продолжить парсить, только те поля у которых стоит признак активности, вручную перепарсить проблемные ссылки (после внесения изменений в проблемные границы)
    6. Те ссылки, у которых снят признак активности не должны загружаться в автоматическом режиме, а только при ручном режиме (при двойном клике на ссылке и открытии окна просмотра элемента)
    7. После того как все спарсено - делаем вывод в файл, согласно шаблону

    !!! Что это даст:
    --- Лишний раз не будут терроризироваться сайты-доноры как при предварительном просмотре, так и при автоматическом парсинге
    --- прямо в таблице визуально контролируем результаты, если необходимо, вносим изменения в границы парсинга, устанавливаем признак активности, и повторно парсим проблемные ссылки
    --- и самое основное - при внесении изменений в шаблон вывода (к примеру, через определенное время возникла такая необходимость) не нужно будет лезть в интернет на сайт-донор, а вся работа будет производиться с локальной базой, что намного быстрее
     
    Последнее редактирование: 24 июн 2013
  7. alamina.moon

    alamina.moon Модератор Команда форума Модератор

    Регистрация:
    14 янв 2013
    Сообщения:
    214
    Предлагаю сделать кроме максимального количества повторяющихся элементов еще и минимальное количество, которое бы автоматически догенерировалось, иначе если повторяющих границ не хватает а макрос размещен между колонок csv то структура файла кривится.

    Ссылки недоступны для гостей
     
  8. Benjamin Coleman

    Benjamin Coleman New Member Пользователи

    Регистрация:
    23 окт 2010
    Сообщения:
    152
    Прошу внести такое улучшение в программу (казалось бы очевидное, почему-то раньше не приходило в голову).

    Макрос шаблона вывода GETMORECONTENT

    Сейчас имеет конструкцию типа:
    <GETMORECONTENT><URL="http://sbfactory.ru"><START="<title>"><STARTCOUNT="0"><END="</title>"><ENDCOUNT="0"><PARAMS="htmtotxt,withgran"></GETMORECONTENT>

    В тегах <START=""> и <END=""> описываются границы внутри той страницы. Иногда они бывают километровые и многострочные. Плюс большая путаница с кавычками. Плюс хочется сюда {skip}

    Предложение такое :)

    Ввести такой тег :

    <GETMORECONTENT><URL="http://sbfactory.ru"><START&END="<CD_GRAN_11!>"><PARAMS="htmtotxt,withgran"></GETMORECONTENT>

    А границы описать уже в <CD_GRAN_11!>.
     
    Последнее редактирование: 10 июл 2013
  9. dolmatov

    dolmatov New Member Пользователи

    Регистрация:
    28 мар 2013
    Сообщения:
    12
    Нужно добавить возможность импортировать xml файл в движок DLE 10 версии.
     
  10. Benjamin Coleman

    Benjamin Coleman New Member Пользователи

    Регистрация:
    23 окт 2010
    Сообщения:
    152
    Еще просьба по интерфейса программы:

    (не знаю как это на языке софтостроителей звучит) Когда программа висит в панели задач, вынесите в начало строки, пожалуйста, не название "Content Downloader 3", а название проекта "Vasya Pupkin parsing1.cdp". Когда несколько копий CD запущено - неудобно.

    То же самое с треем (рядом с часами) соответственно.
     
  11. nikolas1612

    nikolas1612 Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    Во время работы планировщика при каждом запуске нового проекта программа пытается переключить на себя управление (исчезает курсор мыши, активное окно становится неактивным). В результате когда КД работает в фоне - на компьютере крайне некомфортно работать.

    Если можно - исправьте. Очень мешает.
     
  12. dfobos

    dfobos New Member Пользователи

    Регистрация:
    27 ноя 2012
    Сообщения:
    7
    сделайте возможность автосохранение списка спарсеных ссылок.
    ужасно не удобно, если комп выключается..или прогу случайно закрывают..
     
  13. bemermad

    bemermad New Member Пользователи

    Регистрация:
    14 июл 2013
    Сообщения:
    11
    Здравствуйте!
    Хочу предложить несколько расширить функционал Планировщика, а именно цикличность запуска проектов.
    1. Добавив опцию "Включать планировщик при запуске программы".
    2. Добавив возможность выбора запуска проектов "Ежедневно", "Еженедельно" и на выбор в определенные дни недели.
    3. С возможностью задания определенного времени именно для запуска проекта.

    Объясню на следующем примере, чем это будет удобно.
    Необходимо запускать ежедневно проект в 01.00 ч.
    То было б удобно положить CD в автозагрузку с включенной опцией "Включать планировщик при запуске программы". Чтобы CD запускал настроенный в планировщике проект в 01.00 ч. ежедневно. Сейчас приходится запускать после каждой перезагрузки компьютера CD и вручную настраивать дату (которая не всегда нужна, а нужна цикличность по дням), время запуска проекта.
    Существующая опция периодического запуска проекта неудобна тем, что отчет интервала начинается по окончании проекта, и так как проект каждый раз занимает разное время на его выполнение, то следующий запуск будет смещаться на разницу во времени в выполнении проекта. Что в долгосрочной перспективе приведет к значительным отклонениям от желаемого запуска проекта. К примеру, я знаю, что время выполнения проекта занимает примерно 4-6 часов, и вот этот разброс будет сдвигать время следующего запуска.
    Но мне было удобно задать время каждого ежедневного запуска, к примеру в 01.00 ч. подсчитав, что проект закончит свою работу максимум в 07.00 ч. то до следующего запуска у него будет предостаточно времени. Но если работа проекта значительно затянется, и наступит уже время его следующего запуска, то в избежание ошибки, Планировщику его можно будет запускать сразу по окончании выполнения текущего проекта.

    Надеюсь, понятны мои идеи. Такой подход очень часто встречается в программах дефрагментации дисков. Настроил один раз и забыл. Полагаю, что это было б удобно многим пользователям.
    Прошу не оставлять без внимания.
    С уважением, Алексей.
     
  14. alamina.moon

    alamina.moon Модератор Команда форума Модератор

    Регистрация:
    14 янв 2013
    Сообщения:
    214
    Можно две копии программы запустить :) и в совместить планировщики. Один например запускается в 6 утра а в другой копии в 12 ночи.
     
  15. yup

    yup Member Пользователи

    Регистрация:
    20 июн 2012
    Сообщения:
    44
    +1. Со встроенным планировщиком не очень удобно работать...
     
  16. bemermad

    bemermad New Member Пользователи

    Регистрация:
    14 июл 2013
    Сообщения:
    11
    У меня три копии программы :) Т.к. три проекта.

    Вопрос в том как мне запускать планировщик CD (с настройкой на ежедневный парсинг) автоматически в случае рестарта компьютера?
    Сейчас приходится запускать планировщик вручную, да еще и с выставлением текущей даты (не удобно).

    И как быть, если необходимо запускать проект точно в назначенное время?
    С интервалом запуска это не получается, т.к. время выполнения проекта всегда разное.
     
  17. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    внимательнее посмотрите :)
    во вкладке "ссылки" ваши ссылки найденные сохраняются в текстовик какой укажете.
    в сканере ссылок есть бекапер, находиться слево внизу, нажмите "сделать бекап" и укажите количество ссылок через сколько автобекапить
     
  18. Benjamin Coleman

    Benjamin Coleman New Member Пользователи

    Регистрация:
    23 окт 2010
    Сообщения:
    152
    Предлагаю встроенный IE-браузер заменить на chromium - много сайтов стало ругаться что-то.
     
  19. ram

    ram New Member Пользователи

    Регистрация:
    9 июл 2013
    Сообщения:
    1
    Транслит в программе - это какой то ****ц!
    Исправьте транслитерацию из русских букв "й", "ю", "я" и т.д. на
    нормальный (как везде принято) вид...
    Пол дня потратил на какую херню
     
    Последнее редактирование модератором: 22 июл 2013
  20. Benjamin Coleman

    Benjamin Coleman New Member Пользователи

    Регистрация:
    23 окт 2010
    Сообщения:
    152
    На что там полдня тратить? Замена четырех букв
     

Поделиться этой страницей