Использование GETMORECONTENT при парсинге через прокси

Тема в разделе "Прокси для парсинга", создана пользователем weresa, 9 апр 2020.

Метки:
  1. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Здравствуйте.
    Проясните кто-нибудь, пожалуйста, возможно ли совместное использование макроса GETMORECONTENT и прокси?
    Настроила макрос без прокси - работает. Но тут возникла проблема блокировки.
    Подключила прокси. Но теперь не могу настроить макрос - в окне задания границ страница заблокирована (как без прокси). И код страницы. соответственно, отсутствует.
    Можно ли здесь что-то сделать?
     
    weresa, 9 апр 2020
    #1
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Если такие проблемы, значит нужно полностью пересмотреть проект и скорее всего отказаться от гетмор
     
    Kreol, 9 апр 2020
    #2
  3. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Ну скорее всего так и придется поступить - генерировать вложенные ссылки и отдельно их парсить. Но это обходной путь и лишнее время.
    Я надеялась, что сразу можно все собрать...
    Ну ладно.
    Спасибо за совет)
     
    weresa, 9 апр 2020
    #3
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Мы не видим с чем именно вы работаете, поэтому советы получаем гаданием на кофейной гуще )))
     
    Kreol, 9 апр 2020
    #4
  5. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    иногда, в некоторых случаях, используется режим "Нострадамус" с использованием функции "Вангую"
     
    inotoxic, 9 апр 2020
    #5
    Kreol нравится это.
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Настройте макрос GETMORECONTENT до получения временного бана от сайта. Если получили бан, переподключите интернет для смены IP (чтобы сайт разбанил).

    После разбана сайта сделайте настройку GETMORECONTENT.

    В ctrl+r включите
    2020-04-10_01-03-03.png

    И при парсинге (не при задании границ парсинга) прокси будут использоваться при вызове макроса GETMORECONTENT.
     
    Root, 10 апр 2020
    #6
    weresa нравится это.
  7. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Спасибо))
     
    weresa, 10 апр 2020
    #7
Similar Threads
  1. Atms

    Парсинг через прокси (с периодической перепроверкой списка прокси)

    Atms, 8 янв 2016, в разделе: Прокси для парсинга
    Ответов:
    10
    Просмотров:
    46.172
    Kreol
    7 фев 2018
  2. rdw

    Не парсится через прокси, висит 1 поток.

    rdw, 10 июл 2017, в разделе: Решение проблем с использованием программы
    Ответов:
    36
    Просмотров:
    2.054
    Root
    23 окт 2017
  3. dandandan

    Как повторить попытку загрузки данных через <GETMORECONTENT> ?

    dandandan, 5 апр 2019, в разделе: Решение проблем с загрузкой WEB-страниц
    Ответов:
    1
    Просмотров:
    360
    kagorec
    6 апр 2019
  4. Sergej

    Подключение прокси через API поставщика

    Sergej, 19 май 2019, в разделе: Прокси для парсинга
    Ответов:
    18
    Просмотров:
    1.988
    Root
    26 май 2019
  5. kredit24

    При парсинге через WBApp появляются диалоговые окна с сертификатами и авторизациями для прокси

    kredit24, 19 ноя 2019, в разделе: Решение проблем с использованием программы
    Ответов:
    2
    Просмотров:
    275
    Root
    20 ноя 2019
Загрузка...

Поделиться этой страницей