Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Здравствуйте!

    Для макроса APPENDDOCSOURCE хотелось бы видеть дополнение, которое проверяет наличие какой-либо границы, и в зависимости от её присутствия, макрос подгружает/пропускает загрузку дополнительных данных.

    Поясню на примере: есть сайт Яндекс.Маркет.
    У каждого товара присвоено 2 ID: продавца и самого товара.
    Обычно происходит так, что ID товара известен, но не всегда находит стандартным способом, поэтому приходится применять PHP_SCRIPT и искать нужный ID поставщика с помощью POST-запроса, получать его и далее подгружать уже найденный ID стандартным способом.
    Так вот, если товар найден сразу (например, присутствует граница парсинга), то подгрузка APPENDDOCSOURCE не требуется
    Что-то вроде такой конструкции

    Т.е. если граница парсинга присутствует, то загрузку APPENDDOCSOURCE можно пропустить. Ну а если нет, то произвести подгрузку.

    Обычным CHECKENTRY этого нельзя сделать, т.к. макрос выполняется одним из первых, и его доп. подгрузку нельзя как-то пропустить.
    Предложенное решение смогло бы повлиять на него.

    Необходимо для того, чтобы не делать дополнительные GET/POST запросы на сайты, а также ускорить работу с теми, кто часто банит
     
    Root нравится это.
  2. Neutrion

    Neutrion Member Пользователи

    Регистрация:
    13 ноя 2020
    Сообщения:
    54
    Как на счет нового оператора который сможет вывести сумму скачаных файлов с одной ссылки?
     
    Root нравится это.
  3. Konstantsin

    Konstantsin New Member Пользователи

    Регистрация:
    4 май 2021
    Сообщения:
    11
    Довелось только что завершить парсинг 120000 страниц с 1 сайта. Поработал через прокси. Дико неудобная реализация чекера. Чекер начинает работать, когда в парсере заканчиваются прокси. При списке прокси в 10000 и парсинге сайта в 50 потоков это жесть. Предлагаю: сделать чекер прокси фоновым во время парсинга. Чтобы как только в парсере прокси прогорели он подкидывал новую порцию.
     
    gans и Root нравится это.
  4. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    48
    Город:
    Уфа
    Добавьте "не жадный" оператор {skip} при задании обычной или повторяющейся границы парсинга. Часто бывает, что граница, которую нужно взять, окружена тегами с динамическими атрибутами. Например,
    HTML:
    <div class="first col-xs-12 col-sm-6 col-md-12 col-lg-6 col-xl-4 post-4181 product type-product status-publish has-post-thumbnail product_cat-clutch has-thumb  instock shipping-taxable purchasable product-type-simple">
        <div>
            ...
        </div>
    </div>
    Здесь в атрибутах можно зацепиться за постоянные классы "product type-product"
    Я указываю в начальной границе <div class="{skip}product type-product{skip}>, в конечной </div> (или [AUTO]div, без разницы)
    И он берет совершенно не те границы Ссылки недоступны для гостей
    А нужно Ссылки недоступны для гостей

    Возможно ли добавить оператор, которые не будет выходить за рамки тега или за рамки какого-то определенного символа? Как аналог регулярки [^<>]*?

    Если нужно, то вот страница Ссылки недоступны для гостей на которой тестировал, нужно взять товары Ссылки недоступны для гостей в повторяющуюся границу.
     
    Root нравится это.
  5. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Приветствую.
    Было бы неплохо, чтоб списки замен умели подгружаться с файла, сейчас это делается ручками.
     

    Вложения:

    gans нравится это.
  6. Vsevlod

    Vsevlod New Member Пользователи

    Регистрация:
    4 апр 2019
    Сообщения:
    8
    Город:
    Минск
    Хорошо было бы научить скачивать изображения с таких ссылок:
    Ссылки недоступны для гостей
     
  7. Felix_b

    Felix_b Well-Known Member Пользователи

    Регистрация:
    30 мар 2017
    Сообщения:
    116
    Если можно, добавьте лог
     

    Вложения:

  8. WebSlesar

    WebSlesar New Member Пользователи

    Регистрация:
    11 ноя 2020
    Сообщения:
    26
    Город:
    Москва
    Доброго времени.
    А нельзя сделать портативную версию, чтобы можно было с флешки запускать на любой машине?
     
  9. masrub

    masrub Well-Known Member Пользователи

    Регистрация:
    29 июн 2018
    Сообщения:
    194
    Так программа вроде бы и так без установки может работать, скопируйте папку.
     
  10. WebSlesar

    WebSlesar New Member Пользователи

    Регистрация:
    11 ноя 2020
    Сообщения:
    26
    Город:
    Москва
    Спасибо, попробую
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Программа привязывается к железу.

    Если нужно использовать программу на двух ПК, приобретите дополнительный ключ за 750 рублей...
     
  12. WebSlesar

    WebSlesar New Member Пользователи

    Регистрация:
    11 ноя 2020
    Сообщения:
    26
    Город:
    Москва
    В том то и проблема, что на рабочий комп нельзя устанавливать.
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Как вариант, запускайте со съемного носителя (авторизация запишется в реестр системы).
     
  14. WebSlesar

    WebSlesar New Member Пользователи

    Регистрация:
    11 ноя 2020
    Сообщения:
    26
    Город:
    Москва
    Т.е. в реестре рабочего компа будет запись?
     
  15. Magsim

    Magsim New Member Пользователи

    Регистрация:
    16 мар 2014
    Сообщения:
    45
    Было бы здорово иметь функцию подбора, поиска
    в разделе границ парсинга в панели поиска получить из представленных вариантов некую подсветку с быстрым поиском
    наиболее приемлемого варианта быстрого прохода по всем ссылкам, может быть всплывающее окно с быстрым показом
    результата.
    Не знаю на сколько это возможно.
     
  16. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Здравствуйте. Хотелось бы использовать стандартный планировщик windows, добавьте пожалуйста в опцию автоматизации запуск сканера сайта при открытии файла проекта.
     
    Последнее редактирование: 20 дек 2021
  17. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Ссылки недоступны для гостей - Запуск программы с передачей параметров (например, из командной строки или планировщика Windows с возможностью запуска по расписанию).
     
    Root, Slavikprof и kenny872012 нравится это.
  18. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    При открытии планировщика (ctrl+p) если проект находится по "длинному" пути или название проекта слишком длинное - не видно его полный путь.

    Хотелось бы видеть "ползунок" внизу или раскрытие окна планировщика, чтобы просмотреть полный путь
     
    Root нравится это.
  19. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    В условии, если web-документ не загрузился, (ctrl+6) хотелось бы видеть более полноценный вариант шаблона вывода (как это сделано в главном окне), т.к. такое окно не воспринимает "табуляцию ▒ " и пару других символов при итоговый выдаче.

    Или макрос какой-нибудь новый добавить, который при условии отсутствия загрузки выдавал определенный шаблон.
    Что то типа этого
     
    Root нравится это.
  20. seodamage

    seodamage New Member Пользователи

    Регистрация:
    5 фев 2014
    Сообщения:
    31
    Здравствуйте, предлагаю сделать тёмную тему, чтобы ночью глаза не травмировать.
     

Поделиться этой страницей