Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. omer21

    omer21 New Member Пользователи

    Регистрация:
    4 фев 2015
    Сообщения:
    14
    Небольшая ошибка:poolparty:
     

    Вложения:

  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Спасибо большое! Исправил, ждите обновления =)
     
  3. prah

    prah New Member Пользователи

    Регистрация:
    17 сен 2014
    Сообщения:
    30
    Здравствуйте.
    Смотрите какой функционал нужен:
    Во многих магазинах страница изменяется скриптом при выборе типа товара. Соответственно меняются все поля. Можно конечно в ultimate версии тыкать на эти кнопки, но и там не всегда это возможно. Малой кровью этот вопрос можно решить, если разрешить в границы парсинга вставлять результат вывода другой границы парсинга. Т.е. я в одних границах выдираю блок выбора типа товара и получаю ID каждого выбираемого поля. А в других я в блоке яваскрипта по этому IDу забираю размеры или фото, которые относятся конкретно к этому типу товара...

    Примеры таких сайтов:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  4. prah

    prah New Member Пользователи

    Регистрация:
    17 сен 2014
    Сообщения:
    30
    а я правильно все понял, что в главном окне можно ограничить выходные файлы количеством _документов_, хотя на деле нужно ограничивать конечное количество строк. т.к. с одного документа можно и 100 и 200 строк напарсить, в итоге получаютя файлы разного размера... ну у меня по-крайней мере так(((
     
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    В подсказке так и пишется. (на всех лицензиях)
     
  6. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Приветствую!
    Огромнейшая просьба при использовании [DYNAMICVALUES] сделать файлик в котором будем хранить эту шапку.
    Иначе когда парсинг занимает 12 дней то эту шапку получить довольно таки трудновато, тем более любой глюк винды и плакала наша шапка.
    Спасибо за понимание!
     
  7. TeslaCo

    TeslaCo Member Пользователи

    Регистрация:
    4 мар 2014
    Сообщения:
    211
    Здравствуйте, сделайте пожалуйста несколько макросов [PARAM]
    [PARAM2]
    [PARAM3]
    Заранее спасибо
     
  8. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Приветствую!
    Просьба добавить в CSVIMAGES функцию [MIN] как в BREADCRUMBS
     
  9. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Приветствую!
    Если есть возможность, прикрутить распознавание капч с сервиса
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Спасибо!
     
  10. zortexx

    zortexx New Member Пользователи

    Регистрация:
    5 авг 2012
    Сообщения:
    35
    Приветствую!

    можно сделать неактивным поле где указывается порядковый номер Конца парсинга при задании Повторяющихся границ парсинга?

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  11. prah

    prah New Member Пользователи

    Регистрация:
    17 сен 2014
    Сообщения:
    30
    в сканере сайтов собирает закомментированные ссылки вида
    <!--<a href='/Netshop/rasp/' class='tm2 red'>РАСПРОДАЖА</a>-->

    это очень плохо(
     
  12. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    В сканере используйте поиск-замена <!--{skip}-->
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста, приведите пример такой WEB-страницы.

    Спасибо!
     
  14. prah

    prah New Member Пользователи

    Регистрация:
    17 сен 2014
    Сообщения:
    30
    спасибо, работает

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**

    и чтобы два раза не вставать, пару просьб)

    1. сделайте уже вывод в CSV не по количеству документов, а по количеству строк в результирующем файле, ато ставлю например 100, но в файле-то будет 100 строк только если с каждого документа будет по одной строке, а такое бывает не всегда...
    2. сделайте пожалуйста вывод csv в папку с проектом. нужно просто галка например "выводить в каталог проекта". ато девочкам мозг разрушает неизвесные папки на диске Ц, постоянная необходимость мониторить что там лежит и т.д. а так положил проект в нужную папку, результат лёг туда-же (без дополнительного прописания каталога). очень удобно.
    3. и самое сложное. может быть когда-нибудь вы к этому придете сами. было бы неплохо, чтобы последовательность выполнения макросов выставлялась пользователем приоритетами. т.е. [REPLACE(0)] и [REPLACE(1)] к примеру. ато выходит что в макросах есть возможность реализовать задачу, но в результате ничего не работает из-за того, что какой-нибудь макрос выполнился раньше чем нужно...

    спасибо
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    1. Эта функция будет в редакторе CSV (соответствующая кнопка на панели инструментов главного окна программы для вызова редактора). Парсите в один CSV, затем в редакторе CSV сохраняете файл с разбитием по строкам (если надо, можно будет автоматизировать и делать разбитие при завершении парсинга);

    2. Постараюсь реализовать;

    3. Есть много нюансов препятствующих этому (система не простая). Есть множество вариаций макросов выполняющихся "в разное время", например для REPLACE есть: [FIRST_REPLACE], [BEFORE_IMG_REPLACE] и [REPLACE].

    Спасибо!

    С уважением к вам, Сергей.
     
  16. prah

    prah New Member Пользователи

    Регистрация:
    17 сен 2014
    Сообщения:
    30
    да я примерно представляю как изначально было написано, и как я понимаю, чтобы сделать как мне хочется, придется полалгоритма переписывать)))

    тогда предлагаю сделать такой костыль. сделать макрос, макросы внутри которого выполняются первыми. я не знаю какая реализация макросов в коде, но как я понимаю, можно добавить цикл, чтобы первый цикл макросов выводиля в нашу переменную, а второй например был основной.

    т.е. например

    [VARS][SET:kakaha]тут какая-нить последовательность макросов[/SET][/VARS]

    потом в основном цикле выводим в нужном месте
    [VARS:kakaha]


    ЗЫ
    ну и как водится вспомнил такую штуку. сделайте, пожалуйста, перезапись переменных. ато если ставить [VAR] в повторяющихся границах, то в переменную падает значение с первой границы, и во второй уже выводится значение с первой, хотя по идее она должна перезаписываться со второй границы...
     
  17. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    полезное предложение, об этом недавно с одним клиентом тоже обсуждали.
    Логичные последствия, где проект там и контент, но стоит это учесть не как приоритет а по выбору (очень привык как и многие, особенно когда проектов много хранить все вместе например в папке Dropbox-а)
     
  18. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Прошу добавить макрос генерации MD5 hash, очень нужен.
     
  19. mars_m

    mars_m New Member Пользователи

    Регистрация:
    27 сен 2013
    Сообщения:
    40
    Есть ли возможность сделать аналоги [VAR] и [VARF] но для повторяющихся границ? а то сейчас внутри повторяющихся [VAR] и [VARF] вставляет одно и то же.
     
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Простите, но это делать не планируем. Конкретизируйте на форуме вашу задачу, попробуем подобрать вам альтернативное решение.

    Спасибо!
     

Поделиться этой страницей