Помогите с настройкой прокси

Тема в разделе "Прокси для парсинга", создана пользователем Dimon_chik, 11 июл 2019.

  1. Dimon_chik

    Dimon_chik New Member Пользователи

    Регистрация:
    10 июн 2019
    Сообщения:
    28
    Ну вы же их уже запускали и они работали

    Давайте поменяю на soks5
     
  2. Dimon_chik

    Dimon_chik New Member Пользователи

    Регистрация:
    10 июн 2019
    Сообщения:
    28
    Айпи в них не прописан, могу ваш прописать для пробы
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Предполагаю что для анонимного парсинга вашего источника, достаточно будет Advor как прокси.
     
    signale нравится это.
  4. Dimon_chik

    Dimon_chik New Member Пользователи

    Регистрация:
    10 июн 2019
    Сообщения:
    28
    Я из Беларуси , и как понял работать не будет(
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    В общем ситуация такая.

    Для доработки библиотеки WIN под использование прокси с логин паролем нужно время (оказалось, что не все так там просто и нужно полностью разобраться в вопросе и переписать функцию, грубо говоря, заново, нужно время, даже не скажу сколько).

    Сейчас есть обновление:
    Обратите внимание на возможность использования прокси для WBAppCEF (Ссылки недоступны для гостей)

    2019-07-14_14-02-17.png

    Ваши прокси не тестировал (если честно, поднадоело). Тестировал, какие у меня есть с авторизацией по логин паролю, вроде ok!

    Либо еще есть вариант, парсить с помощью библиотеки WIN, но заряжать туда прокси без логин пароля (с авторизацией только по IP).
     
  6. Dimon_chik

    Dimon_chik New Member Пользователи

    Регистрация:
    10 июн 2019
    Сообщения:
    28
    Настроил через Адвор, но всё равно проявляется проблема с разными валютами( Один прайс тянет в $ другой в рублях((( Ссылки всем проектам дал в $. Как побороть?
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Не обладаю данной информацией.
     
  8. Dimon_chik

    Dimon_chik New Member Пользователи

    Регистрация:
    10 июн 2019
    Сообщения:
    28
    Как в 80 проектах включить отключить прокси?

    upload_2019-7-15_18-22-38.png
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Массово поиск-заменой в файлах проектов, например, в Total Commander, заменить:
    Код:
    <CD_PARSING_CHECK_54_01>1</CD_PARSING_CHECK_54_01>
    На:
    Код:
    <CD_PARSING_CHECK_54_01>0</CD_PARSING_CHECK_54_01>
     
  10. Dimon_chik

    Dimon_chik New Member Пользователи

    Регистрация:
    10 июн 2019
    Сообщения:
    28
    Спасибо! Правда в Тотале не нашёл такую функцию, но вот нашёл программку, может кому пригодится
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Root нравится это.
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
  12. Dimon_chik

    Dimon_chik New Member Пользователи

    Регистрация:
    10 июн 2019
    Сообщения:
    28
    Как вот это в проекты добавить?

    Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0
    Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Iron/28.0.1550.1 Chrome/28.0.1550.1
    Mozilla/5.0 (compatible; YandexBot/3.0; +Ссылки недоступны для гостей)
    Mozilla/5.0 (compatible; Googlebot/2.1; +Ссылки недоступны для гостей)
    msnbot/1.1 (+Ссылки недоступны для гостей)
    Mozilla/5.0 (compatible; Googlebot/2.1; +Ссылки недоступны для гостей)
    Mozilla/5.0 (compatible; YandexBot/3.0; +Ссылки недоступны для гостей)
    msnbot/1.1 (+Ссылки недоступны для гостей)
    Mozilla/5.0 (compatible; Googlebot/2.1; +Ссылки недоступны для гостей)
    Mozilla/5.0 (iPhone; U; CPU iPhone OS 3_0 like Mac OS X; en-us) AppleWebKit/528.18 (KHTML, like Gecko) Version/4.0
    msnbot/1.1 (+Ссылки недоступны для гостей)
    Mozilla/5.0 (compatible; Googlebot/2.1; +Ссылки недоступны для гостей)
    MSIE 11.0
    Mozilla/5.0 (compatible; YandexBot/3.0; +Ссылки недоступны для гостей)
    Mozilla/5.0 (compatible; Googlebot/2.1; +Ссылки недоступны для гостей)
    Version/3.1.2 Mobile Safari/525.20.1
    BlackBerry8300/4.2.2 Profile/MIDP-2.0 Configuration/CLDC-1.1 VendorID/107 UP.Link/6.2.3.15.0
    Mozilla/5.0 (compatible; YandexBot/3.0; +Ссылки недоступны для гостей)
    msnbot/1.1 (+Ссылки недоступны для гостей)
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Код:
    <CD_PARSING_EDIT_F40_2>...</CD_PARSING_EDIT_F40_2>
     
  14. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Проблемы с валютой начались после добавления данного списка useragent? - это вам повезло что на сайте нет мобильной версии, периодически включалась бы по useragent))
     
    Root нравится это.
  15. Dimon_chik

    Dimon_chik New Member Пользователи

    Регистрация:
    10 июн 2019
    Сообщения:
    28
    Есть мобильная версия на доноре. Так какие из этих удалить?
    Не предусмотрел этот момент, Спасибо!!
    Посчитал что адворе главнее в этом случае.
     
  16. Dimon_chik

    Dimon_chik New Member Пользователи

    Регистрация:
    10 июн 2019
    Сообщения:
    28
    Зависимости от этого нет. Вот свежий прайс весь отработан правильно в $
    upload_2019-7-16_9-8-8.png
     
  17. Dimon_chik

    Dimon_chik New Member Пользователи

    Регистрация:
    10 июн 2019
    Сообщения:
    28
    Как можно посмотреть логи парсинга после планировщика?
     
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
  19. Dimon_chik

    Dimon_chik New Member Пользователи

    Регистрация:
    10 июн 2019
    Сообщения:
    28
    Вот этот вариант сработал. Всё таки видимо адвор какие то прокси ставит из зоны РУ, хотя я запретил, и поэтому лезут рубли в прайс(
    Сейчас запустил через USA прокси, пока идёт гладко, в $.
     
    kagorec и Root нравится это.
  20. Dimon_chik

    Dimon_chik New Member Пользователи

    Регистрация:
    10 июн 2019
    Сообщения:
    28
    Доброго времени!!!
    Подскажите ещё , как всем проектам настроить один ФТП?
     

Поделиться этой страницей