Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.073
    Город:
    Барнаул
    Пока такой поиск-заменой сделайте это:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 3 постов.**
     
    kadishev1997 нравится это.
  2. masrub

    masrub Member Пользователи

    Регистрация:
    29 июн 2018
    Сообщения:
    52
    Сергей есть еще мысль по доработке "Массовая загрузка файлов", либо не понял как это реализовать в текущей версии. Возможно не разобрался. Есть к примеру 100 url на разные сайты, необходимо часть файлов сохранить в папке 1, часть в папке 2, часть в папке 3.
    Нужно добавить возможность указания пути для локального сохранения файлов. Что то типа url,[FolderPathLocal]C:\path
    Галка Распределение по папкам не подходить, т.к. годиться ля одного сайта, но когда их тысячи, все сложнее.
     
    Root нравится это.
  3. Icealex

    Icealex New Member Пользователи

    Регистрация:
    11 мар 2021
    Сообщения:
    1
    Город:
    Москва
    В логе парсинга хорошо бы добавить сортировку по столбцам. Сейчас при наведении на столбец, название подсвечивается, хочется нажать для сортировки по нужному, но ничего не происходит.
    Я понимаю, что можно сделать экспорт в CSV и потом в EXCEL сортировать, но это куча лишних действий.
    В основном нужен столбец "count", сортирую по нему для отсеивания адресов, которые буду парсить повторно (капча вылетела или еще какой баг)
     
    Root нравится это.
  4. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    273
    Здравствуйте!
    Возникла потребность сохранять Custom Headers / Cookies, которые получаем через WBAppCEF в текстовый файл, дабы эти данные использовать сразу в нескольких других проектах или внутри PHP_SCRIPT других проектов.
    Попробовал сделать костыли внутри WBAppCEF (как-то скопировать Custom Headers / Cookie и сохранить их в файле), но к сожалению не вышло.

    Поэтому это предложение по улучшению программы, а именно добавить функцию сохранения Custom Headers / Cookies в отдельный файл
     
  5. Trenikola

    Trenikola Member Пользователи

    Регистрация:
    8 июн 2013
    Сообщения:
    50
    Озон парситься на ура на дешевых прокси, без бана - о чем Вы говорите? Я его и WB спокойно парсю без проблем
     
    ITz нравится это.
  6. TeslaCo

    TeslaCo Member Пользователи

    Регистрация:
    4 мар 2014
    Сообщения:
    191
    Здравствуйте, добавьте пожалуйста в это меню, галочку PUT
    upload_2021-6-28_18-31-28.png
     
  7. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    273
    Здравствуйте.

    Хотелось бы видеть в программе возможность увеличения максимального числа потоков до 500.
    Многие крупные сайты (от 500 тысяч страниц и больше, которые нужно обрабатывать на постоянной основе) позволяют парсить себя.
    В текущих условиях 100 потоков - это, уже на сегодняшний год честно говоря маловато. Скорость обработки при хорошем "железе" и быстром интернете позволяют работать и быстрее, но на текущий момент хотелось бы видеть подобную доработку в программе.
    Заранее спасибо, если такое добавите в программу
     
  8. Xim

    Xim New Member Пользователи

    Регистрация:
    8 мар 2021
    Сообщения:
    9
    Город:
    Moscow
    Вот такой косяк вышел.
    Сел в самолет. Думаю, пока лечу, запилю-ка я проект на CD, благо сгреб html страницы на диск.
    Взлетели, связи нет... а CD и говорит - не могу проверить активацию лицензии.
    Можно ли как-то сделать, чтобы програмулина делала с какой-то периодичностью проверку активации, например раз в сутки и помнила сутки это состояние.
     
  9. JAGUAR

    JAGUAR New Member Пользователи

    Регистрация:
    26 авг 2010
    Сообщения:
    12
    Здравствуйте, Сергей скажите пожалуйста, можно ли организовать/добавить функцию запуска .bat файлов до и после выполнения различных проектов в планировщике? У меня сложная организация проекта. Например:

    1. Сначала идёт парсинг необходимых данных с сайта в файл формате поиска-замены
    2. Далее идёт обработка (вставка данных) с помощью правил поиска-замены на основе сформированного файла из 1 шага
    3. Запуск .bat для подготовки файла в формате .dat на основе обработанного файла из 2 шага
    4. Запуск .bat для подготовки файла в формате .dat (принцип как в 3 шаге только для другого формата)
    5. Запуск .bat файла для перемещения/удаления (move, del, erase) ненужных файлов из каталога
    6. Завершающий .bat для сборки время которого длится 20-25 мин
    7. Запуск .bat файла для упаковки рабочего каталога в .7z архив

    Было бы здорово организовать чтобы до/после запуска различных проектов в планировщике можно было бы запускать необходимые .bat файлы, пусть даже не планировщиком, а пока открыта программа CD. Сложно подобрать время которое уходит на обработку в CD + сборку bin/dat. Готов оплатить данную доработку, для полной автоматизации этого очень не хватает! Не перестаю радоваться программе, спасибо Сергею! Сергей ГЕНИЙ!
     
  10. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    273
    Это все делается средствами внутреннего планировщика задач Windows. Сначала настраиваете все BAT-ники и другие компиляции по порядку, а после запускаете CD для парсинга (если он нужен конечно). Работает на УРА, да и велосипед создавать не нужно.
     
    Root нравится это.
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.073
    Город:
    Барнаул
    Здравствуйте.

    2021-07-30_06-19-11.png
     
  12. vadimsoloviev

    vadimsoloviev New Member Пользователи

    Регистрация:
    6 окт 2017
    Сообщения:
    12
    Город:
    Витебск
    Хочу тёмную тему.
     

Поделиться этой страницей