Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Добавил внутрь [VARF] обработчик макросов [CHECKENTRY] и [EXTRACTWORD].

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 87 постов.**
     
    seven, ltt и kenny872012 нравится это.
  2. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    499
    Здравствуйте.
    Паршу один сайт, и почему то через некоторое время застопаривается парсинг,проблема не в программе думаю, паршу через прокси, приходится останавливать и заново запускать.
    Нельзя ли такую функцию сделать, или есть может, чтобы через некоторое время парсинг останавливался и была пауза(тоже настраиваемое), потом снова через паузу запускался автоматом.
     
  3. pijonz

    pijonz Member Пользователи

    Регистрация:
    10 июн 2017
    Сообщения:
    28
    Ссылки недоступны для гостей
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    1) Когда парсинг у вас останавливается, количество потоков в статус баре (внизу) уменьшается?
    2) Парсинг останавливается только при использовании списка прокси?
     
  5. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    499
    данный инструмент не подходит, т.к. у меня идет парсинг , при котором эта функция будет срабатывать постоянно
    потому что стоит проверка границы, много не сохраняет и передает на повторный парсинг ссылок в конец, т.е. будет прерыватся каждую секунду

    а нужно просто интервал задать, например чтобы через час остановился, пауза минута и дальше парсинг
     
  6. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    499
    в статусе как бы заморозка, данные , которые были при последней ссылке,
    потоки не знаю, гляну чуть позже, когда зависнет
    без прокси тоже самое
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Выложите проект под хайдом для тестирования.
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Попробуйте

    2019-10-04_13-48-26.png
     
    Stan нравится это.
  9. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    499
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 11000 постов.**
     
  10. hort

    hort New Member Пользователи

    Регистрация:
    21 сен 2019
    Сообщения:
    3
    Город:
    Москва
    Добрый день.
    Сразу поблагодарю за отличную программу. Успехов и процветания автору и команде)
    Не нашел в программе информирования по разным событиям (почта или другие виды).
    Хотя бы получать уведомление при ошибке и реагировать изучив ситуацию.
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Спасибо на добром слове.

    Получать уведомление при какой именно ошибке?
     
  12. hort

    hort New Member Пользователи

    Регистрация:
    21 сен 2019
    Сообщения:
    3
    Город:
    Москва
    Например если нет обязательной границы парсинга.
    Удобно при парсинге на отдельном компьютере.
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей

    Макросом [CHECKENTRY] можно проверять условия (например, граница парсинга пустая или нет) и выполнять, в зависимости от выполнения условия, те или иные действия, например, отправить e-mail.

    E-mail можно отправить с помощью PHP-скрипта
    Ссылки недоступны для гостей
     
    hort нравится это.
  14. sten30

    sten30 Active Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    228
    Управление курсором мыши в WBAppCEF. Вот статья про метод. Можно ли внедрить это в
    WBAppCEF ?


    Ссылки недоступны для гостей
    Pointer lock
    API(прежнее название Mouse Lock API) обеспечивает методы ввода, основанные на движении мыши , а не только абсолютно позиционированых координатах курсора в окне. Это дает вам доступ к необработанным движениям мыши, прикрепляет курсор мыши к любому элементу в окне браузера, предоставляет возможность вычислять координаты мыши не ограниченной областью окна проекции, и скрывает курсор из поля зрения.
     
  15. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    В Ctrl+u есть интересные пункты, можно использовать как оповещение.
    [​IMG]

    Рекомендую по иначе анализировать проекты - добавить еще одну колонку с <CD_DOCURL!> и после первого парсинга нескольких позиций проверить на каких ссылках есть пропуски элементов.
     
  16. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Здравствуйте! Предлагаю добавить/доработать 2 функции:

    1. Добавить функцию добавления [DOMEN] (site.ru или http(s)://site.ru) в редактор шаблона вывода главного окна программы, и дополнительных настроек границ парсинга

    2. В редакторе CSV файлов добавить такую функцию: Напимер есть товары с одинаковыми характеристиками, но разными значениями. Допустим, есть характеристика "Наличие" и у разных товаров ее значение может называться по-разному: Да, Yes, +, Da, Нет, No, -, Net (и т.д.)...
    Сделать такую функцию, которая будет считывать все значения харктеристик с определенного столбца, из них выбирать те, которые необходимо отредактировать и после функцией поиск-замены вставить одно нужное значение.

    Что-то типа:
    1. Да
    2. Yes
    3. +
    4. Da
    5. Нет
    6. No
    7. -
    8. Net

    Из этих найденных значений характеристик выбрать пункты 1-4, и заменить их на "Да", а пункты 5-8 заменить на значение "Нет"

    (для 2го пункта прикрепил фото)
     

    Вложения:

    • CD.png
      CD.png
      Размер файла:
      9 КБ
      Просмотров:
      7
    Root нравится это.
  17. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    1. Используйте в таком случае для парсинга:
    Дополнительные настройки границ ctrl+4 где можно вывести значение если пусто в границе или в поиск-замена поле ниже,
    Макросы IFNIL / REPLACE / IF / CHECKENTRY / MUSTBIEINMACRO
     
  18. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Неплохой вариант, спасибо, но если в ближайших обновлениях добавится вариант с [DOMEN], то он облегчит вариант работы с этим.

    P.S. Просто есть несколько сайтов с кодом 1:1, но разными товарами на каждом из них. Не хотелось бы разбивать 4 сайта на 4 проекта (по разным причинам), поэтому макрос [DOMEN] неплохо бы вжился.

    Но все равно спасибо за подсказку
     
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 18 постов.**
    Обратите внимание на новый макрос шаблона вывода [DOMEN].
     
    kadishev1997 нравится это.
  20. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Как всегда - очень оперативно! Спасибо за такую быструю поддержку и доработку программы!:)

    Если будет вариант доработки программы по 2му пункту, о котором расписал ранне http://forum.sbfactory.ru/threads/predlozhenija-po-uluchsheniju-programmy.13/page-89#post-46723 - думаю это также многим облегит жизнь в работе с интернет-магазинами (ИМХО)

    Еще раз спасибо!
     
    Root нравится это.

Поделиться этой страницей