Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Здравствуйте!

    В макросе [APPENDDOCSOURCE] хотелось бы видеть макрос [RELOADDOCUMENT].

    Это нужно для того, в случае если мы получаем подгружаемые данные с ошибкой (например вылетела ошибка 403) или блокировкой со стороны сайта - тем самым, внутри [APPENDDOCSOURCE] у нас не будет пустоты, сработает [RELOADDOCUMENT] и данные погрузятся корректно.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Каким макросом подгружаете данные?
     
  3. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Вообще использовать планируется внутри CHECKENTRY. Изначально планировалось при PHP_SCRIPT, но придется использовать PHP_SCRIPT_0 (т.к. CHECKENTRY и CHECKENTRY2 выполняется до PHP_SCRIPT и GETMORECONTENT)
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Установите количество попыток загрузки для макроса, например, 10 (чтобы данные точно загрузились).

    2022-01-25_21-10-28.png
     
  5. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Нет, вопрос в том, что у того же самого Ozon бывает вылетает "капча", и выдает контент капчи, тем самым в APPENDDOCSOURCE данные подгружаются некорректно.

    Планировалось через CHECKENTRY проверять контент "Капчи" в подгружаемом PHP_SCRIPT_0 и в случае, если она будет попадаться - подгружать данные APPENDDOCSOURCE с помощью RELOADDOCUMENT повторно
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Напишите мне в Whatsap/Telegram
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Есть готовое стабильное решение по парсингу Озон (снимает 40 000 товаров в сутки)
     
  7. jjsf

    jjsf New Member Пользователи

    Регистрация:
    26 июл 2013
    Сообщения:
    21
    Здравствуйте.
    Обработка изображений:
    • вставка поверх изображений выбранного поля( текста)
      • у каждого изображения индивидуальный текст, в зависимости от выбранного поля
      • настройка расположения, шрифта, цвета, цвета заднего фона, обрамлений и тп
     
  8. masrub

    masrub Well-Known Member Пользователи

    Регистрация:
    29 июн 2018
    Сообщения:
    194
    New.JPG
    Сергей доброго дня, очень не хватает здесь кнопки, по нажатию которой для открытой границы копировался бы "Текст границы парсинга" и автоматом открывалась функция поиск-замена для данной границы + вставлялся бы скопированный ранее "Текст границы парсинга".
    Сейчас для этих действий нужно нажать на синенькую иконку "Текст границы парсинга", скопировать текст, открыть редактор поиск замены, вставить нужный текст.
     
    iam9ripe и Root нравится это.
  9. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    48
    Город:
    Уфа
    Возможно ли добавить макрос для декодирования email закодированных Cloudflare? В коде это выглядит так Ссылки недоступны для гостей
    Пример можно тут посмотреть Ссылки недоступны для гостей Ссылки недоступны для гостей
    Вот есть примеры как это декодировать Ссылки недоступны для гостей
    Возможно также это добавить в макроc extractemails
     
    WebSlesar нравится это.
  10. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    48
    Город:
    Уфа
    Не находит email через макрос [EXTRACTEMAILS] такого плана
    hello@rudo.studio, сайт Ссылки недоступны для гостей
    contactus@outible.com, сайт Ссылки недоступны для гостей
    hello@together.agency, Ссылки недоступны для гостей
    ryan@smartastudio.com, Ссылки недоступны для гостей
    кодированные HTML entity hello@balticdesign.uk = hello@balticdesign.uk

    Возможно стоит добававить как кдополнение, если не находит, парсинг почты по mailto:?


    Еще макрос [EXTRACTPHONES] почемуто добавляет 8 к некоторым телефонам
    Макрос [EXTRACTPHONES][LENGTH]10-12[/LENGTH][EXCEPTHTMLANDSCRIPTS][ALLOW][/ALLOW]
    сайт Ссылки недоступны для гостей, находит 802030966199, хотя телефон 020 3096 6199 Ссылки недоступны для гостей
    Аналогично:
    Сайт Ссылки недоступны для гостей, находит 802039517594, по факту 020 3951 7594
    Ссылки недоступны для гостей, находит 801746769612, по факту 01746 769612

    Еще, скажите, параметр LENGTH, от какой длины считает? Сколько будет цифр после всех преобразований?
    Например, если взять тот же Ссылки недоступны для гостей, с параметром LENGTH 11, то он находит номер 802039517594 в котором 12 цифр. Хотя по факту нашел правильно, т.к на сайте номер из 11 цифр 02039517594
     
    Последнее редактирование: 25 мар 2022
  11. aresa

    aresa Well-Known Member Пользователи

    Регистрация:
    17 окт 2015
    Сообщения:
    180
    Здравствуйте!
    Сергей, большая просьба. Можно добавить в Редактор шаблона повторяющихся границ (shift+ctrl+5) в меню "Вставка дополнительных макросов" (зеленый +) макросы [VALUE_2], [VALUE_3]...
    А также макрос [PARENTCC].
    Чтобы были всегда "под рукой".
    А то 4 дня бился над проектом для получения нужного результата. В справке про макросы [VALUE_2] информация есть, а вот [PARENTCC] тоже есть, но как-то не заметно в одном месте.
    Если все будет "под рукой" непосредственно в меню, то упростит поиск нужных макросов для построения проекта. А уж почитать про эти макросы и того будет проще найти.
    Наверно также было бы неплохо добавить макросы [PARENTGRAN1-20].
    Заранее благодарен!
     
    kadishev1997 нравится это.
  12. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    48
    Город:
    Уфа
    Сделать макрос на основе GETURLSBYANCHORS, чтобы можно было искать не по анкору, а по url, в теге href.
     
  13. JAGUAR

    JAGUAR Member Пользователи

    Регистрация:
    26 авг 2010
    Сообщения:
    28
    Ранее предлагал вывести редактор CSV в отдельную программу и CSVPRO это то что нужно! Спасибо Сергею! Если честно, меня очень беспокоит ещё один момент: Если Сергей перестанет/устанет заниматься программой CD, то у всех пользователей он просто не установится и не запустился, это огромный риск. Особенно для тех, чья работа основана на работе с программой.

    Прошу рассмотреть вопрос установки и работы CD без интернета и обновления, с разными планами (в цене) и возможности покупки различный автономных версий и подключения внешних дополнений например с или без WBApp CEF/Chromium. Такой вариант полезен ещё тем, кто использует CD для обработки локальных файлов.
     
  14. vadimsoloviev

    vadimsoloviev Member Пользователи

    Регистрация:
    6 окт 2017
    Сообщения:
    66
    Город:
    Витебск
    [​IMG]
    Создайте платное расширение для браузера Google Chrome, которое позволит пользователям перелистывать вперёд→ ←назад веб-страницы на большинстве веб-сайтов с помощью клавиш со стрелками. Это будет суперполезная для всех нас штука.
     
    Последнее редактирование: 4 апр 2022
  15. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    868
    Какое отношение имеет расширение, к функционалу программы ?
     
    vadimsoloviev и kagorec нравится это.
  16. vadimsoloviev

    vadimsoloviev Member Пользователи

    Регистрация:
    6 окт 2017
    Сообщения:
    66
    Город:
    Витебск
    Простите меня пожалуйста, уважаемые модераторы, вы можете перенести моё предыдущее сообщение в более подходящую ветку, я ещё плохо ориентируюсь в структуре форума.
     
  17. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    868
    По теме вопроса
    если нужно с клавиатуры управлять браузером - смотрите в сторону Ссылки недоступны для гостей
     
    JAGUAR и vadimsoloviev нравится это.
  18. Vitaliy_S

    Vitaliy_S Member Пользователи

    Регистрация:
    20 янв 2019
    Сообщения:
    48
    Город:
    Уфа
    Добавьте функционал из CSVPRO Извлечение SKU/ID
     
  19. iam9ripe

    iam9ripe New Member Пользователи

    Регистрация:
    12 май 2022
    Сообщения:
    21
    Город:
    Москва
    Доброй ночи!
    Да все вроде просто на странице которую Вы дали.
    В начале задаем "границы парсинга" = START <ul class="products{skip}grid"> END [AUTO]/ul, а потом задаем "повторяющиеся границы" = START <div class="product-inner clr"> END [AUTO]/div и выбираем источником "границы парсинга" и получаем HTML код каждого товара в отдельности

    Ну а дальше по обрабатываем код как хочется, там есть все и картинки и цены еще и на 2-х языках :)
     
  20. iam9ripe

    iam9ripe New Member Пользователи

    Регистрация:
    12 май 2022
    Сообщения:
    21
    Город:
    Москва
    Добрый день!
    У меня была схожая проблема, я вынес значение из PHP_SCRIPT_0 в переменную, а ее уже в поиске и замене обрабатывал [BASE64ENCODE], по моему через [CODER]|base64encode.
     

Поделиться этой страницей