Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. Browne

    Browne New Member Пользователи

    Регистрация:
    6 июл 2017
    Сообщения:
    2
    GETMORECONTENT справка предельно полная, все понятно, вопросов нет
    GETMORECYCLECONTENT - мой вопрос про этот макрос, в справке Ссылки недоступны для гостей про кастомные хедеры ничего нет
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    GETMORECYCLECONTENT не поддерживает Custom Headers

    Используйте макрос GETMORECONTENT и примените к результату его работы поиск-замену макросом REPLACE (для взятия цикличных данных с помощью оператора поиск-замены {multiget} Ссылки недоступны для гостей)
     
    Последнее редактирование: 28 авг 2017
  3. Letion

    Letion Member Пользователи

    Регистрация:
    4 авг 2017
    Сообщения:
    37
    Здравствуйте! С помощью повторяющихся границ парсю опции, например, "цвет" с такими значениями:
    белый, красный, зеленый, синий и т.д.
    Возникла острая необходимость, чтобы значения шли не по порядку, а генерировались случайным образом, т.е. чтобы на выходе было, к примеру, так: синий, красный, зеленый, белый.
    Подскажите, пожалуйста, будет ли будущем такая возможность?
     
    Последнее редактирование: 29 авг 2017
  4. Letion

    Letion Member Пользователи

    Регистрация:
    4 авг 2017
    Сообщения:
    37
    Просьба добавить в форму программы повторяющихся границ 10 штук полей, а не пять, как сейчас.
    Связано с тем, что нужно парсить значения сразу 10 опций, а то и более опций. Спасибо!
     
  5. d0ublezer0

    d0ublezer0 Member Пользователи

    Регистрация:
    30 ноя 2016
    Сообщения:
    57
    Ах, вот бы был drag-n-drop текстовых файлов со ссылками в окно программы в список ссылок...
     
    Root нравится это.
  6. QuZ

    QuZ New Member Пользователи

    Регистрация:
    28 янв 2012
    Сообщения:
    32
    Screenshot_1.png 1) Предлагаю добавить в панельку поиска, где указаны номера строк, где было найдено какое-то совпадение дополнительно кружочек без цвета. При нажатии на него - Он зеленее, при повторном нажатии - краснеет, при третем нажатии - опять становится без цвета. Зачем - Когда большие хтмлы с поиском и 100-200 результатов, в которых надо найти что-то важное, но пока не знаешь на какой строке оно, пролистывая, хочется отметить найденый результат цветом ( зеленый - полезный результат поиска, красный - бесполезный). В принципе, было бы отлично, если после указания цвета данного кружка, данная отметка перемещалась бы вверх ( грубо говоря - избранный список), а красная - вниз.
    2) Сделайте пожалуйста несколько переменных {get}, по аналогии со {skip}. Т.е. {get(1)},{get(2)},{get(a)} и т.д.
    3) В редакторе шаблона вывода, сделайте пожалуйста папку - Избранное, как глобальная настройка, куда можно добавлять избарнные макросы, которыми чаще всего пользуемся. А то их очень много, а те, с которыми работать приходится в каждом проекте - искать не удобно
    4) Удобно было бы, как в notepad++, в редакторе поиска замены сделать 2-ве вещи
    а) Если мы выделяем, например, <div=, то выделяются все <div= на странице.
    б) Если мы выделяем, например, <div>, то выделяются соответствующая
    </div> на странице.
    И еще, наверно, удобно было бы - подсветка тегов, как в примере 2.
     

    Вложения:

    Последнее редактирование: 2 сен 2017
    Root нравится это.
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    2017-09-03_00-54-27.png
     
    Letion нравится это.
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Для решения вашей задачи достаточно одной повторяющейся границы парсинга Ссылки недоступны для гостей
     
  9. QuZ

    QuZ New Member Пользователи

    Регистрация:
    28 янв 2012
    Сообщения:
    32
    1) Да, еще предложение. Нашел кнопку в программе, где пожелания оставлять))
    Возможно кому-то пригодится в редакторе CSV файла возможность фильтрации, аналогичная екселю, чтобы проверить сразу, все ли верно было спаршено. Т.е. нажимаем на заголовок столбца CSV файла и смотрим все возможные варианты, что там представлены.
    2) Не пробывал новой функции отступов, не обновлялся, может еще будет интнрнсный вариант - выделить в редакторе шаблона [CSVCS] и [CSVLB], например, жирным или цветным, чтобы бросалось в глаза
     
    Последнее редактирование: 3 сен 2017
  10. Letion

    Letion Member Пользователи

    Регистрация:
    4 авг 2017
    Сообщения:
    37
    Это совсем не то. Или я не уловил суть.
    Мне нужно спарсить опции, например, с такого товара - Ссылки недоступны для гостей
    Создаю границы цвет, длина и т.д. - к ним уже привязываю повторяющиеся границы. Но их то 5 полей, а мне нужно минимум 7 в данном товаре. Помимо этого применяю повторяющиеся границы в качестве парсинга фото и категорий, где находится данный товар. Итого остается только три поля для опций(( Поэтому и прошу, добавить доп.поля повторяющиеся границ, место же есть - Ссылки недоступны для гостей
     
  11. lm2002

    lm2002 New Member Пользователи

    Регистрация:
    29 июн 2017
    Сообщения:
    8
    Город:
    Санкт-Петербург
    Доброго времени суток!

    Мне много приходится парсить контент с различных сайтов и очень хорошо, что в программе присутствует возможность создания и сохранения проектов для парсинга, не нужно каждый раз создавать шаблоны, подгрузил проект и все. Возможно ли реализовать похожую функцию в "обработке и импорте в CMS"?
    Сейчас попробую объяснить.

    При обработке контента для импорта в CMS приходится делать много действий и для разных спарсенных проектов они часто похожи, но так же и немного отличаются.
    Например: парсим 100-500 статей с сайта, начинаем обработку контента; удаляем теги a, iframe, span, div; делаем уникализацию всех спарсенных страниц; проставляем заголовки; ставим теги more; вырезаем код рекламы; удаляем пустые строки...
    Для других статей, спарсенных с другого сайта, необходимо провести все те же действия, только, например, не удалять iframe, не проставлять more и добавить в конце документа запись "по материалам....".
    Для третьего спарсенного проекта с другого сайта, потребуются несколько отличающиеся действия при обработке.
    Надеюсь, мысль ясна.

    Так как сайтов с которых парсится контент много, часто путаешься что удалить, что оставить, что заменить при массовой обработке файлов и на выходе иногда можно получить много мусора на страницах, которые уже успешно выгрузил на сайт(при проверке). Иногда парсить надо сотнями страниц и каждую не проверишь на ненужные теги/картинки/видео и т.д.

    Можно ли придумать какой-нибудь шаблон, или что-то похожее, для обработки контента перед импортом в CMS?

    То есть имеются настройки "массовая обработка файлов", где проставляются все настройки, затем переходим в, например, окно шаблона, где указываем программе алгоритм, по которому ей необходимо сделать обработку:
    1. Убрать тег a
    2. Убрать тег div
    3. Уникализировать текст
    4. Проставить заголовки
    5. Проставить тег more
    6. Удалить пустые строки
    7. Вырезать такой-то код
    ....
    Жмем - обработать.

    Программа поочередно, в порядке сделанного списка, совершит эти действия, без необходимости пользователю каждый раз совершать эти рутинные действия. Сохраняем шаблон, и в следующий раз при работе с контентом спарсенного с того же сайта, просто подгрузить шаблон с настройками и нажать одну кнопочку для обработки контента.
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Нельзя просто так взять и добавить еще таких элементов.

    В вашем случае нужно парсить данные обычными границами парсинга с последующим применением к ним функций поиск-замены (для приведения данных к нужному виду).
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Пока это делать не планируем.

    Рекомендую вам создать несколько папок с программой, где в каждой папке будут сохранены в программе настройки под один из сайтов.
     
  14. lm2002

    lm2002 New Member Пользователи

    Регистрация:
    29 июн 2017
    Сообщения:
    8
    Город:
    Санкт-Петербург
    Спасибо, попробую.
     
  15. talan28677

    talan28677 New Member Пользователи

    Регистрация:
    26 фев 2017
    Сообщения:
    1
    В некоторых случаях, когда не получается настроить парсинг через CD, использую offline explorer, а уже спарсенные страницы пытаюсь обработать через CD. И тут есть очень неприятный момент, который очень усложняет работу. В моем случае, спарсенные страницы имеют все одно и то же имя (default.htm), но в разных каталогах, которые имеют имя-заголовок страницы. Для создания ссылок на спарсенные файлы у вас есть команда SCANDIR, которая сканирует каталог на файлы, однако, она не умеет сканировать подкаталоги. В итоге приходится для CD копировать все файлы в один каталог(default.html, default1.html, default2.html и т.д.), но тогда все файлы в куче и без заголовков, очень сложно анализировать исходный код и что получилось в итоге после CD.
    Предлагаю доработку SCANDIR по подобию как сделано в TXTPipe(скрин во вложении): 1. после выбора папки можно задать маску файлов(на скрине *.htm) 2. можно задать действие с подкаталогами (Include/Exclude/Disable).
    Не знаю, на сколько это сложно, но такая доработка юзабилити очень сильно поднимает (знаю по долгой работе с TXTPipe)
     

    Вложения:

    • sbfactory.jpg
      sbfactory.jpg
      Размер файла:
      55,3 КБ
      Просмотров:
      4
    garat нравится это.
  16. r0dos

    r0dos New Member Пользователи

    Регистрация:
    4 сен 2017
    Сообщения:
    2
    Не так давно пользуюсь программой, возможно просто не смог найти, но искал я хорошо.
    Хочу предложить немного улучшений в функционал "Обработка и импорт в CMS"
    1) Можно создать группу (в дереве проекта), но нельзя удалить. Можно очистить весь список, но мне иногда требуется удалить отдельную группу.
    2) Очень не хватает функционала "Найти и заменить" при массовом редактировании файлов.
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    1) Выделить и нажать Backspace или Delete
    2)
    2017-09-13_11-12-46.png
     
  18. Felix_b

    Felix_b Well-Known Member Пользователи

    Регистрация:
    30 мар 2017
    Сообщения:
    116
    Если не сложно прошу доработать программу чтоб можно было копировать заданную границу в пустую.
     
  19. Mind

    Mind Well-Known Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    190
    Ссылки недоступны для гостей
     
    Root нравится это.
  20. Felix_b

    Felix_b Well-Known Member Пользователи

    Регистрация:
    30 мар 2017
    Сообщения:
    116
    Хорошо бы чтоб эта функция была под рукой (скрин приложыл)
     

    Вложения:

Поделиться этой страницей