Последовательный запуск проектов с разными proxy (socks/http)

Тема в разделе "Решение проблем с использованием программы", создана пользователем xLime, 29 ноя 2017.

  1. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Добрый день.
    При последовательном запуске проектов с разными настройками proxy, настройки берутся из последнего запущенного проекта.

    Имеем:
    * 2 задачи в планировщике windows;
    * 2 проекта с настройками:
    - CIS, HTTP Proxy
    [​IMG]
    - CIS, Socks Proxy
    [​IMG]

    Последовательно запускаю задачи в планировщике:
    - HTTP Proxy
    Без изменений. Т.к. они редактировались последними.
    - Socks Proxy
    Видим, что протокол используется HTTP, а ИП добавлены из предыдущего проекта.
    [​IMG]

    Это очень важный для меня параметр. Необходимо настройки proxy привязать к каждому проекту отдельно. Либо в глобальных настройках proxy сделать 2 пункта - для socks и http.
     
  2. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Судя по всему проблему решает запуск программы из разных папок.
    Но такой вариант сомнительный, т.к. при большом количестве проектов это усложняет их настройку. Заранее неизвестно какие прокси будут использованы в новом проекте, чтобы выбрать необходимую папку для запуска программы. А их изменение (прокси) повлечет за собой сбой уже настроенных проектов.
     
    kagorec нравится это.
  3. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Добрый день.
    Запускаю в планировщике windows проект.
    Парсинг не происходит: "Файл не сохранен: программе не удалось загрузить страницу".
    Открываю настройки прокси (ctrl+r), нажимаю на список протоколов. Выбираю уже выбранный http и снова запускаю парсинг.
    Ссылки загружаются. Парсинг проходит успешно.

    Пока такая проблема наблюдается только с этим сайтом.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 9999 постов.**
     
  4. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Root,
    Просьба посмотреть видео.
    Пробовал создать с нуля новый проект. Проблема осталась.
    Жду любых комментариев. Если причина не в программе, буду придумывать что-нибудь еще.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    2017-12-08_04-17-38.png
     
  6. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Прошу прощения.
    Исправил.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 9999 постов.**
     
    Root нравится это.
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    xLime нравится это.
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Теперь ok?
     
    xLime нравится это.
  9. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Все отлично.
    Спасибо!
     
    Последнее редактирование: 8 дек 2017
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста...

    И вам спасибо
     
  11. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Добрый день.
    Парсинг по расписанию не проходит по той же причине, и исключительно для этого сайта.

    Задача установлена на ночь. Запускается, но данные не собирает.
    Запускаю вручную утром и вижу следующие настройки прокси: отсутствие протокола и библиотеки. В логе ошибка "программе не удалось загрузить страницу". Выставляю необходимые настройки прокси в окне ctrl+r (http/cis) и страницы начинают загружаться. Прокси добавляются без проверки в количестве 1000 шт. Однозначно рабочие, т.к. последующий запуск исправно получает данные.
    Насколько я понимаю, настройки протокола и библиотеки в окне ctrl+r необходимы для проверки прокси и не должны влиять на парсинг.
    [​IMG]

    Так же считаю важным указать (но не считаю причиной), что в планировщике имеется задача, которая в полночь "убивает" все процессы Content Downloader.exe, чтобы зависшие или незавершенные по каким-либо причинам программы не мешали парсингу. Отключать ее нецелесообразно, т.к. в течение дня запускаются более 50 проектов, и если по какой-либо причине они автоматически не завершатся, то это повлечет сбой всех последующих задач.
    [​IMG]

    Т.е. планировщик выглядит следующим образом:
    1. taskkill CD
    2. Запуск одного из проектов http/cis (удачный)
    3. Запуск проекта с проблемой http/cis
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Еще раз все перепроверил. Проблем не обнаружил.

    Приложите сюда архив с файлами:
    1) mainprogrammoptions.ini (в папке с программой)
    2) файлы проекта, которые вы используете (можно под хайдом с большим postcount)
     
  13. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Утром пересохранял проект. Завтра прикреплю проект после запуска по расписанию (после чего он имеет настройки как на картинке выше).
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 9999 постов.**
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    1) Убедитесь, что используете программу версии 11.1.0000279 и выше
    2)
    2017-12-19_11-46-59.png
     
    xLime нравится это.
  15. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Настройки применил. Буду наблюдать за работой.

    Судя по всему программа не использовала прокси при запуске. Странно, что другие сайты не забанили.
    [​IMG]

    o_O
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    После применения настроек теперь все ok?
     
    xLime нравится это.
  17. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    До применения этих настроек он тоже парсил после того как я проставлял протокол и библиотеку в окне ctrl+r, но автоматический парсинг по расписанию через планировщик windows не проходил.

    Запуск по расписанию прошел успешно. Благодарю за помощь.
     
    Root нравится это.

Поделиться этой страницей