Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    487
    Город:
    Мордор
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 3000 постов.**
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.546
    Ну смотрите, у вас при парсинге первого WEB-документа отправляется 502 запроса с помощью макроса <PHP_SCRIPT>. Естественно, на это нужно время и запросы эти не ускорить.

    Как вариант, отправляйте макросом <PHP_SCRIPT> не каждый цикл повторяющихся границ, а сразу все содержимое повторяющихся границ, то есть, расположите макрос <PHP_SCRIPT> не в шаблоне повторяющейся границы парсинга, а в шаблоне вывода, чтобы произошел всего 1 запрос!
     
    Djahat нравится это.
  3. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    487
    Город:
    Мордор
    Понял, жаль что запросы не ускорить. тогда рациональнее будет, парсить все данные в файл, потом файл передавать на ftp, и запускать скрипт по завершению проекта, который импортирует csv в базу данных.
    Спасибо за помощь.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.546
    Я вам написал, как сделать отправку всех данных в одном запросе, странно, что вы это не увидели или не поняли.

    Либо парсите не в 1 поток, а, скажем, в 10, тогда запросы от парсинга разных XML пойдут параллельно и это будет гораздо быстрее.
     
  5. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    487
    Город:
    Мордор
    Еще раз спасибо за подсказку Сергей
    Я понял, что Вы имеете ввиду, про главный шаблон вывода
     
  6. pijonz

    pijonz Member Пользователи

    Регистрация:
    10 июн 2017
    Сообщения:
    22
    Здравствуйте. Есть ли возможность добавить в редактор CSV удаление пустых столбцов пакетно, проблема в том что при разделение файла который парсился с [DYNAMICVALUES](разделением характеристик по столбцам) по категориям или сразу с сохранением по файлам в зависимости от категории , получаются файлы с пустыми столбцами, если у данной категории не было каких-то характеристик и приходится удалять их вручную , либо каждую категорию парсить отдельно(а их может быть много и каждый раз приходится ставить отдельный парсинг ). Спасибо.
     
    Root нравится это.
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.546
    Здравствуйте.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 7 постов.**
    2019-06-29_07-39-59.png
     
  8. pijonz

    pijonz Member Пользователи

    Регистрация:
    10 июн 2017
    Сообщения:
    22
    Большое спасибо, это какая-то отдельная версия или нужно обнову оплатить, чтобы была такая функция?
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.546
    Пожалуйста.

    Можете пользоваться, данная доработка будет включена в релиз следующей версии.

    PS: Обновления лучше оплатить.
     
  10. pijonz

    pijonz Member Пользователи

    Регистрация:
    10 июн 2017
    Сообщения:
    22
    Вам спасибо, раз такая отзывчивая поддержка, оплачу. Выполняю заказы по парсингу на вашем софте более года,с 90% задач справляется быстрее и лучше других инструментов.Кстати не думали перепилить движок на хром, а то бывают сайты через IE не работают?
     
    Root нравится это.
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.546
    Пожалуйста.

    С Chromium пробовал разобраться на скорую руку, не вышло. Попробую еще. Что плохо по Chromium мануалов почти нет и функционал там реализовать такой, как в IE, думаю, не получится. Да и отзывы по Chromium я видел не совсем положительные.
     
    pijonz и Love-world нравится это.
  12. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    487
    Город:
    Мордор
    PHANTOM Js может прикрутить ? Там и мануал и апи
     
    Root нравится это.
  13. pijonz

    pijonz Member Пользователи

    Регистрация:
    10 июн 2017
    Сообщения:
    22
    тогда лучше Puppeteer, он хоть поддерживается и развивается командой хрома, а фантом,если не ошибаюсь уже не развивается.Но вряд ли разработчик будет с ними заморачиваться, тк это node js , а CD написан не на нем.
     
  14. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    487
    Город:
    Мордор
    Тоже тема , ну короче что нить свеженькое что можно прилепить ie конечно удивлял всегда
     
    pijonz нравится это.
  15. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.571
    Приветствую
    Очень бы хотелось увидеть доработку в виде {num:1,1} но для вкладки Контент + также уметь использовать его в [PARAM]
    Область применения:
    Есть пост запрос, в тело передается номер страницы, приходится для этого генерировать ссылки вида
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 150 постов.**
    и потом в тело реплейсом выдирать из PARAM в соответсвующий параметр.
    Зачем нужно? Чтоб не генерировать это руками. т.к. количество страниц меняется, а все время ходить и смотреть сколько их дело наблагодарное т.к. начальных ссылок могут быть тысячи. А просто поставить для всех например 500 страниц нельзя. потому что иногда получаешь бан за такое нахальство.
    Лично для меня очень востребованная функция.
     
    Фёдор и kagorec нравится это.
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.546
    Пользуйтесь макросом [ADDURL].
     
  17. nail

    nail New Member Пользователи

    Регистрация:
    15 сен 2014
    Сообщения:
    47
    Не хватает поиска обычной границы Парсинга внутри другой обычной границы Парсинга (как это сделано для повторяющихся):

    185.186.141.16 2019-07-04 14-23-01.png
     
  18. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    158
    Это и не к чему. Поиск заменой делается

    [​IMG]
     
  19. nail

    nail New Member Пользователи

    Регистрация:
    15 сен 2014
    Сообщения:
    47
    Так не удобно. и много телодвижений :)
     
  20. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    158
    Это делается одним макросом {AUTO} в поиск-замене
     

Поделиться этой страницей