Автоматизация работы CD

Discussion in 'Разное' started by TeslaCo, Oct 29, 2014.

  1. TeslaCo

    TeslaCo Member Пользователи

    Joined:
    Mar 4, 2014
    Messages:
    211
    Likes Received:
    19
    Здравствуйте, подскажите пожалуйста, как автоматизировать процесс парсинга запуская каждый раз разные проекты

    здесь Ссылки недоступны для гостей ничего не могу понять

    нужно запустить программу, выбрать определенный проект, собрать ссылки или указать ссылки с файла, спарсить ссылки, запустить другой проект сделать тоже самое только с другими ссылками, и так далее

    В планировщике задач нашел только запуск программы. Все остальное как нажимать комбинацию клавиш(например ctrl+o), выбирать файлы(например какой-то определенный проект на диске) и прочее не могу найти.

    Заранее благодарен за помощь.
     
    TeslaCo, Oct 29, 2014
    #1
  2. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Likes Received:
    1,422
    Хорошо бы для начала ознакомиться с планировщиком задач виндовса.
    На примере возьмем популярную в данный момент ос , Windows 7 планировщик по началу кажется чудом неизведанным для обычных пользователей.

    На youtube.com поиск по "Настроить планировщик задач Windows 7" после просмотренной видео инструкций поможет вам. (пользуюсь сам тоже не только на запуск cd, а также скайп, твидиум и т.д.).
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
     
    kagorec, Oct 29, 2014
    #2
  3. TeslaCo

    TeslaCo Member Пользователи

    Joined:
    Mar 4, 2014
    Messages:
    211
    Likes Received:
    19
    В этих видео объясняется только как запустить Content Downloader, а как выбрать проект, как запустить парсинг и так далее там к сожалению нет.
     
    TeslaCo, Oct 29, 2014
    #3
  4. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Likes Received:
    1,422
    В справке с примерами показано - запуск cd с параметрами (например со сканера и со вкладки ссылки или просто парсинг сразу)

    Пример на скриншоте
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
     
    Last edited: Oct 29, 2014
    kagorec, Oct 29, 2014
    #4
  5. TeslaCo

    TeslaCo Member Пользователи

    Joined:
    Mar 4, 2014
    Messages:
    211
    Likes Received:
    19
    подскажите как перед началом парсинга указать ссылки которые нужно парсить (из какого-то файла)
    макрос SCANDIR
    парсит только путь файлов со ссылками а не сами ссылки которые находятся внутри этих файлов
     
    TeslaCo, Oct 29, 2014
    #5
  6. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Likes Received:
    1,422
    Если стандартный список статичный не подходит, и надо подгружать с файла:
    сохраните проект на открытой вкладке "ссылки"
    в списке ссылок должен быть путь до файла где лежат ссылки, чтоб их могло собрать оттуда надо на вкладке "ссылки" указать среди каких меток каждая ссылка например href="{get}"
     
    kagorec, Oct 29, 2014
    #6
  7. TeslaCo

    TeslaCo Member Пользователи

    Joined:
    Mar 4, 2014
    Messages:
    211
    Likes Received:
    19
    не понял, напишите на примере что нужно вставлять во вкладку ссылки
    C:\content\12.txt - путь файла

    в нем ссылки просто с новой строки
    HTML:
    http://people.passion.ru/zvezdnye-novosti/blagotvoritelnost/shakira-otdast-zarabotannoe-detyam-99064.htm
http://people.passion.ru/zvezdnye-novosti/lyubov/u-armena-dzhigarkhanyana-tridtsatiletnyaya-muza-99053.htm
http://mama.passion.ru/novosti-i-sobytiya/deti/babushki-meshayut-detyam-razvivatsya-99046.htm
http://people.passion.ru/zvezdnye-novosti/zdorove/khyu-dzhekman-boretsya-s-rakom-kozhi-99045.htm
http://people.passion.ru/zvezdnye-novosti/razvody/dzhennifer-lourens-brosila-krisa-martina-99044.htm
http://people.passion.ru/zvezdnye-novosti/krasota/rene-zellveger-bolshe-ne-kommentiruet-svoe-novoe-litso-99043.htm
     
    TeslaCo, Oct 29, 2014
    #7
  8. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Likes Received:
    1,422
    1. В функции "поиск между тегами" добавьте
    2. В фильтре ссылок в поле "поиск-замена" добавьте
     
    kagorec, Oct 29, 2014
    #8
  9. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Likes Received:
    3,485
    Вышеупомянутая функция "поиска между тегами" находится в: вкладка "ссылки" -> группа "парсинг и обработка" -> кнопка "настройка функции поиска ссылок".

    Фильтры ссылок вызываются при нажатии ctrl+3.
     
    Root, Oct 30, 2014
    #9
  10. emkub

    emkub Active Member Пользователи

    Joined:
    Mar 16, 2015
    Messages:
    157
    Likes Received:
    26
    Здравствуйте.
    Сложность с автоматизацией...
    Есть десяток проектов, которые запускаются подряд из планировщика CD. НО, если в планировщике Windows настроить автозапуск первого проекта (из которого должны запускаться последующие), то этот первый проект отрабатывает и останавливается.
    Подскажите пожалуйста, как настроить правильно?
     
    emkub, Jun 17, 2015
    #10
  11. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Likes Received:
    3,485
    Здравствуйте.

    Если используете планировщик Windows, "вбивайте" туда все ваши проекты.

    С уважением к вам, Сергей.
     
    Root, Jun 17, 2015
    #11
  12. TeslaCo

    TeslaCo Member Пользователи

    Joined:
    Mar 4, 2014
    Messages:
    211
    Likes Received:
    19
    Здравствуйте.
    Какой аргумент поставить в windows планировщике что бы в начале запускался:
    - сканер сайтов в заданном проекте?
    - нажалась кнопка сгенерировать ссылки (и выбрать как)?
    - применить фильтр к списку ссылок?
     
    Last edited: Oct 8, 2018
    TeslaCo, Oct 8, 2018
    #12
  13. inotoxic

    inotoxic Well-Known Member Пользователи

    Joined:
    Sep 13, 2015
    Messages:
    874
    Likes Received:
    404
    Можно через встроенный планировщик
    1)
    [​IMG]
    2) указываете стартовый url
    [​IMG]
    3)предварительно настраиваете фильтр ссылок
     
    inotoxic, Oct 8, 2018
    #13
    kagorec likes this.
  14. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Likes Received:
    1,422
    Можно Winsows планировщиком запускать проект с командами (как подробно описано в этой теме выше), после этот проект может запускать следующий проект через батник в ctrl+u

    [​IMG]


    Во как отметили в предидущем сообщении, в сканере галочкй отметьте и список ссылок что в очереди запомнится при сохранении проекта

    [​IMG]
     
    Last edited: Oct 8, 2018
    kagorec, Oct 8, 2018
    #14
    xLime and inotoxic like this.
Similar Threads
  1. Алекса

    скость работы

    Алекса, Oct 17, 2012, in forum: Решение проблем с использованием программы
    Replies:
    2
    Views:
    2,098
    Алекса
    Oct 22, 2012
  2. t@lev@n

    Автоматизация

    t@lev@n, Jun 16, 2014, in forum: Решение различных задач по парсингу
    Replies:
    2
    Views:
    1,038
    t@lev@n
    Jun 17, 2014
  3. divenow

    Количество потоков и скорость работы - как увеличить?

    divenow, Oct 30, 2015, in forum: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Replies:
    13
    Views:
    3,811
    Root
    Jun 28, 2017
  4. ltt

    Логика работы альтернативных границ

    ltt, Apr 25, 2017, in forum: Решение проблем с использованием программы
    Replies:
    3
    Views:
    1,333
    t@lev@n
    Apr 26, 2017
  5. sapsan72

    Требуется человек, для постоянной работы.

    sapsan72, Apr 7, 2018, in forum: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Replies:
    4
    Views:
    834
    sapsan72
    Apr 7, 2018
Loading...

Share This Page