Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста...
     
  2. TeslaCo

    TeslaCo Member Пользователи

    Регистрация:
    4 мар 2014
    Сообщения:
    211
    Спасибо, очень выручили!
     
    Последнее редактирование: 13 окт 2014
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вам, ребята, спасибо, что просили это...
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Сергей сделайте пожалуйста корректировку в настройке границ парсинга, при нажатии на Инверсию код автоматически поднимается в начало (на самый верх), что очень неудобно при настройке.
    Просьба сделать также как при переключении границ - чтоб он стоял на месте.
     
  5. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Приветствую.
    Возможно ли вообще реализовать функционал парсинга наоборот?
    Например повторяющаяся граница настроена на 1,2,3, а вывод делать 3,2,1???
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Проблему автоскроллинга при задании границ парсинга с параметром инверсия я убрал.

    Вывод повторяющихся границ парсинга в обратном порядке пока делать не планирую.

    Спасибо!
     
  7. TeslaCo

    TeslaCo Member Пользователи

    Регистрация:
    4 мар 2014
    Сообщения:
    211
    Здравствуйте, сделайте пожалуйста, функцию раскомментировать часть шаблона вывода, очень нужно. Спасибо!
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Данная функция есть в редакторе шаблона вывода (ctrl+2) в режиме редактирования кода. Она располагается в выпадающем меню кнопки "экранирование" (на панели инструментов редактора шаблона вывода).

    С уважением к вам, Сергей.
     
  9. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Добавте пожалуйста галоску ОТКЛЮЧАТЬ Автоматическое подтягивание ссылок из файла, если они уже раз были получены.
    Вариант, стоит автоматизация загрузки ссылок в вкладку ссылки.
    Мы обрабатываем ссылки и потом автоматом идем на контент и там нас банят и ссылки из файла опять подгружаются.
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Только что проверил это, все ок...
     
  11. 0pupentium

    0pupentium New Member Пользователи

    Регистрация:
    18 июн 2012
    Сообщения:
    23
    Здравствуйте.
    1. Добавьте пожалуйста возможность выбора границ парсинга CD_CYCLE_GRAN_X, GETMORECONTENT и GETMORECYCLECONTENT в выпадающем списке опции "приостановить парсинг при бане", которая находится в окне "Автоматизация парсинга контента". Правда, что-то мне подсказывает, что в CD нет возможности реализовать выбор данных границ парсинга, как в случае с обычными границами парсинга, где можно выбрать номер конкретной границы парсинга - 1, 2 или 3 и т.д.. Тогда может быть можно реализовать это так - приостановить парсинг при бане, если какая-либо из границ парсинга CD_CYCLE_GRAN_X, или GETMORECONTENT, или GETMORECYCLECONTENT окажется пустой/не пустой.
    2. Добавьте пожалуйста в сканер сайтов инструмент "генерация ссылок", очень часто для выполнения генерации ссылок приходится возвращаться в окно CD.
    3. Добавьте пожалуйста возможность запуска WBApp при помощи опции "Выполнить приложение перед или после парсинга контента", которая находится в окне "Автоматизация парсинга контента".
    Спасибо.
     
  12. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Приветствую!
    Добавьте пожалуйста макрос [DUPIGNORE] который будет обрабатываться после макроса [CHECKENTRY2]
    Спасибо.
     
  13. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Приветствую.
    Повторюсь Очень необходимы следующие плюшки!!!
    1) При автоматической загрузке списка ссылок, добавить функцию удаления дубликатов ссылок автоматически.
    2) Чтобы не удалять путь к файлу из текстового блока автоматизации, рядом просто втыкнуть галочку, которая будет включать/отключать использование автоматизации
    3) При добавлении списка ссылок вручную (через F8) также сделать удаление дубликатов
    Спасибо!
     
    Последнее редактирование: 11 ноя 2014
  14. MAX3000

    MAX3000 New Member Пользователи

    Регистрация:
    14 дек 2010
    Сообщения:
    43
    В блоке задания границ парсинга добавьте еще одно поле для поиска - для ввода своей поисковой фразы, которая б не затиралась при клике по элементу на странице. Или чек бокс, который запрещал бы изменять значение данного поля при клике мышкой на элементе страницы.
     
  15. MAX3000

    MAX3000 New Member Пользователи

    Регистрация:
    14 дек 2010
    Сообщения:
    43
    Подумайте над таким вопросом.
    Вот сейчас алгоритм работы программы не позволяет организовать непрерывный процесс --- "получение ссылок - парсинг данных - обработка полученных данных".
    Данную проблему можно решить, если вкладки "Контент-Ссылки" объединить в блок и добавить еще несколько таких блоков (примерно штук 5 будет достаточно, можно сделать динамическое добавление блоков - кнопку нажал -> блок добавился, другую нажал -> удалился) - до конечных ссылок на товар, на некоторых сайтах, можно добраться пройдя 3-4 этапа, а 5 блок будет собирать данные.
    После таких нововведений алгоритм работы программы будет следующий (опишу на примере трех блоков):
    Первый блок настраивается на получение ссылок пагинации с начальных(-ой) страниц(-ы), заданных в нем. Дальше полученные адреса передаются во второй блок, который настроен на получение сыслок на сами новости. Дальше, результат работы второго блока (ссылки), передаются в третий блок, который начинает работать после того как получит ссылки со второго блока.
    Возможно может показаться, что для получения промежуточных ссылок может хватить вкладки Ссылки, но это не так, потому-что есть сайты, и их в последнее время становится все больше и больше, где ссылки формируются скриптами, и чтоб их спарсить-скомпановать нужно настроить несколько границ для парсинга частей ссылок и дальнейшей их компановки и сохранения в файл, для передачи в следующий блок.
    Так же можно продумать, чтоб результат парсинга загружался в последний блок и в нем проводилась обработка - например, перестановка предложений, абзацев, синонимизация, поиск замена (обычная, по регулярным выражениям), ну в общем вариантов уйма, а для CSV файлов было б неплохо еще и задавать номера колонок над которыми проводить те или иные действия (в плане уникализации контента).
     
    Последнее редактирование: 22 ноя 2014
  16. MAX3000

    MAX3000 New Member Пользователи

    Регистрация:
    14 дек 2010
    Сообщения:
    43
    Добавьте функцию автоматического перезапуска задания после определенного количества строк парсинга, а то замечено существенное замедление в работе программы после ~2000-3000 выполненных строк. После паузы и последующего старта скорость восстанавливается.
     
    Последнее редактирование: 15 ноя 2014
  17. 0pupentium

    0pupentium New Member Пользователи

    Регистрация:
    18 июн 2012
    Сообщения:
    23
    Здравствуйте.
    Добавьте пожалуйста в список очереди сканера сайтов возможнось загрузки ссылок из файла.
    Спасибо.
     
  18. MAX3000

    MAX3000 New Member Пользователи

    Регистрация:
    14 дек 2010
    Сообщения:
    43
    Приветствую!

    Автор, хоть как-то реагируйте, я там знаю, какие-то плюсики - минусики ставьте -- мол рассмотрю вопрос или ... А то односторонний диалог какой-то получается.

    Меня вот край интересует вопрос:
    "В блоке задания границ парсинга добавьте еще одно поле для поиска - для ввода своей поисковой фразы, которая б не затиралась при клике по элементу на странице. Или чек бокс, который запрещал бы изменять значение данного поля при клике мышкой на элементе страницы." - который задавал 14 числа, а реакции ноль.
     
    Последнее редактирование: 22 ноя 2014
  19. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Сергей, сделайте пожалуйста функционал для того чтоб можно было указывать, что нужно добавить в начала и конец файла по окончании парсинга не используя php
    Например нужно создать огромный xml файл.
    Внутренность мы создаем парсингом.
    но добавить в начало и в конец надпись что это сам xml
    <?xml version="1.0" encoding="UTF-8"?> (это вначало документа)
    </xml> (это вконце документа)
    Был бы очень признателен. Спасибо.
     
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Нажать ctrl+2

    В строку заголовка (верхняя) вставить:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    В нижнюю строку (внизу) вставить:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Никаких проблем не вижу...
     

Поделиться этой страницей