Вопрос по автоматизации

Тема в разделе "Решение различных задач по парсингу", создана пользователем furiec, 16 май 2015.

  1. furiec

    furiec Member Пользователи

    Регистрация:
    24 дек 2012
    Сообщения:
    63
    Добрый всем сутк! Прошу помочь с вопросом автоматизации задач
    Дано: Несколько проектов у которых по разному парсятся ссылки (где то через сканер, где то через вкладку ссылки+ через вебапп)
    Необходимо:
    1 Полностью автоматизировать запуск, удаление старой папки чтоб не дублировать картинки (или другой способ о котором мне не известно)
    2 Сбор ссылок в эту папку
    3 Сам парсинг
    4 Если есть способ качать как то только новые картинки (товаров которые добавились на автомате просьба объяснить пока только руками придумал как, но это не подходит)
    5 Нужно чтобы проекты стартовали один за другим
    Спасибо всем за ранее!
     
    Последнее редактирование: 16 май 2015
  2. furiec

    furiec Member Пользователи

    Регистрация:
    24 дек 2012
    Сообщения:
    63
    Я вот пока смотрел и думал как же все это реализовать, возникло пожелание адресованное Разработчику. Может быть можно сделать отдельную программу-планировщика, чтоб она сама вызывала CD, сама создавала и удаляла папку с предыдущими прайсами и картинками, потому как через батники я совсем не готов и думаю не многие готовы такое делать. А так было бы удобно - сделал расписание и к каждому пункту задание, что нужно выполнить. Или например первое задание по времени а остальные следом.
     
  3. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Это все уже реализовано)
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    1 пункт
    5 пункт, ctrl+p
     

    Вложения:

    Последнее редактирование: 16 май 2015
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Ребята ну вы такие темы создаете какбудто "Справки" нету, а ведь разработчик внедрял функционал и описывал потом, старался.
    Полная автоматизация - вам сюда Ссылки недоступны для гостей Запуск программы с передачей параметров (например, из планировщика Windows)
    ---
    1. Автоматизированный запуск через планировщик виндовса, удаление только старой папки можно через bat файл в ctrl+u справо указываете путь до батника
    Код:
    for /f "delims=" %%i in ('dir "papka-name\subkatego*" /a:d /b') do rmdir /s /q "folder\%%i"
    ..это примерный код бат файла, идиальное решение содержимого батника можно поискать в гугле.
    2. Зачем сбор ссылок в папку, желательно уточнить.
    3. Запуск на автомате от планировщика
    4. ctrl+t и указать текстовик для записи спарсенных ссылок, возможно это подойдкет.
    5. Планировщик можно настраивать на выполнение в любое время.

    п.с. что не понятно - спрашивайте. Но прежде самостоятельно пробуйте.
     
    Последнее редактирование: 16 май 2015
  6. furiec

    furiec Member Пользователи

    Регистрация:
    24 дек 2012
    Сообщения:
    63
    Ребят извиняюсь, я как всегда не могу угнаться за функционалом, единственное конечно батники... ну чтож будем и в этом разбираться попробую на днях настроить и отпишусь о результатах, спасибо за ответы
    Сергей извиняюсь что не прочитал справку, без обид, Ваши старания я ценю очень высоко!
     
    Последнее редактирование: 18 май 2015
  7. furiec

    furiec Member Пользователи

    Регистрация:
    24 дек 2012
    Сообщения:
    63
    Попробовал сделать через планировщик, но как я понял там можно указать список проектов и откуда запускать парсинг (сканер или вкладка) ссылки но для всех проектов. Тоесть если мне нужно чтобы проекты стартовали с разных мест то нужно только через командную строку с параметрами? и как тогда сделать чтоб друг за другом стартовало. Спасибо
     
  8. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Логично что одному допустим первому требуется на работу час, тогда через час запускаем второй проект через планировщик.
     
  9. furiec

    furiec Member Пользователи

    Регистрация:
    24 дек 2012
    Сообщения:
    63
    Это примерно понятно, а как бы так чтоб не по времени а друг за другом? Никак?
     
  10. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Через bat файл в ctrl+u справо указываете путь до батника, пример содержимого файла bat
    Код:
    start C:\Windows\Notepad.exe
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Последнее редактирование: 21 май 2015
  11. Vladyslav

    Vladyslav Member Пользователи

    Регистрация:
    20 фев 2015
    Сообщения:
    58
    Решил не плодить темы. Вопрос также по автоматизации. Если, мне нужно не только запустить программу и необходимый проект, но и внести список сайтов для парсинга, изменить некоторые данные, к примеру, в CheckEntry, установить индивидуальные фильтры для сбора ссылок и так далее. Реально ли как-то автоматом передать все эти параметры, а не настраивать программу вручную?
     
  12. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    для каждого сайта нужен индивидуальный подход.
     
  13. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Файл проекта с расширением .cdp - имеет структуру xml.
    Возможно, меняя данные в тегах, можно получить желаемый результат
     
    Vladyslav нравится это.
  14. Vladyslav

    Vladyslav Member Пользователи

    Регистрация:
    20 фев 2015
    Сообщения:
    58
    В том-то и дело, что индивидуальный подход не нужен. К примеру, мне нужно прочекать наличие определенных тегов на сайтах. И каждый раз - это проверка наличия разного кода или текста, так вот, мне нужна иметь возможность поменять данные в том же CHECKENTRY. Или к примеру, мне нужно урлы контактных страниц с пачки сайтов, нужна возможность также передать новые параметры фильтру ссылок.

    А это вариант - генерация индивидуального файла проекта с изменением данных по нему в самом файле проекта. Вот только нужно изучить все, чтобы понять константную структуру и части, которые меняются. А также за что они отвечают.
     
    Последнее редактирование: 15 апр 2018
  15. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Если сделаете универсально, то можно и в одном проекте
     

Поделиться этой страницей