Парсинг фото через прокси

Тема в разделе "Прокси для парсинга", создана пользователем babblosy, 15 апр 2020.

  1. babblosy

    babblosy New Member Пользователи

    Регистрация:
    8 янв 2013
    Сообщения:
    18
    Доброго дня!

    Пожалуйста, подскажите, почему CD не использует прокси для парсинга через <DOWNLOADFILE><CD_DOCURL!></DOWNLOADFILE>

    Я задаю прямые ссылки на фото, например, Ссылки недоступны для гостей
    И фото скачиваются, даже когда выставлен чекбокс, что надо скачивать только с прокси - Ссылки недоступны для гостей

    Может не туда смотрю?

    Спасибо!
     
  2. babblosy

    babblosy New Member Пользователи

    Регистрация:
    8 янв 2013
    Сообщения:
    18
    Я специально удалил список прокси, и всё равно фото скачивает.
     
  3. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    868
    А какая версия CDx у Вас ?
    кем-то из форумчан был выявлен баг, что данные обрабатывались даже если в списке проксей не было живых
     
  4. babblosy

    babblosy New Member Пользователи

    Регистрация:
    8 янв 2013
    Сообщения:
    18
    видимо пора мне обновиться)
     
  5. babblosy

    babblosy New Member Пользователи

    Регистрация:
    8 янв 2013
    Сообщения:
    18
    Обновился до последней версии, но ошибка не пропала(
    Всё равно фото скачиваются без прокси
     
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Так правильнее
    Код:
    <DOWNLOADFILE>[PARAM]</DOWNLOADFILE>
    В списке ссылок
    Код:
    [BLANK][PARAM]:https://domen.ru/images.jpg
    п.с. приложите проект если не получается разобраться совсем
     
  7. babblosy

    babblosy New Member Пользователи

    Регистрация:
    8 янв 2013
    Сообщения:
    18
    Вроде бы всё так сделал
    но всё равно фото грузятся без списки прокси, хотя и выставлено, что надо использовать прокси
     

    Вложения:

  8. babblosy

    babblosy New Member Пользователи

    Регистрация:
    8 янв 2013
    Сообщения:
    18
    в отчете тоже написано, что прокси не используется(
    и это при условии, что я добавил приватные прокси и они рабочие.

    надеюсь, что решение проблемы есть
     

    Вложения:

  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Приложите файл проекта, как вам порекомендовали выше.
     
  10. babblosy

    babblosy New Member Пользователи

    Регистрация:
    8 янв 2013
    Сообщения:
    18
    Добрый день!

    Прикладываю проект

    Спасибо!
     

    Вложения:

  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    При текущих настройках DOWNLOADFILE загружает через прокси.

    В логе (ctrl+l) не указывается использование прокси, так как документ является [BLANK].
     
  12. babblosy

    babblosy New Member Пользователи

    Регистрация:
    8 янв 2013
    Сообщения:
    18
    Получается, если в настройках прокси выставлены чекбоксы использовать прокси - Ссылки недоступны для гостей а самих прокси нет, то CD все запросы будет делать через основной IP?
     

    Вложения:

  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Да, без прокси запросы будут через ваш IP, так как прокси не указаны, а запросы делать нужно.
     
  14. babblosy

    babblosy New Member Пользователи

    Регистрация:
    8 янв 2013
    Сообщения:
    18
    Большое спасибо за ответы.
    Получается если в логе указано, что прокси используется, то запрос идет через эту прокси?
    upload_2020-4-16_10-59-43.png
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Для загрузки файла применяется следующий прокси из списка.
     

Поделиться этой страницей