Периодическая проверка списка прокси при парсинге

Тема в разделе "Функции и интерфейс программы", создана пользователем powerful, 23 фев 2021.

  1. powerful

    powerful New Member Пользователи

    Регистрация:
    23 фев 2021
    Сообщения:
    6
    Город:
    Москва
    Так и не понял, можно или на лету парсинга менять список прокси?
    тоесть если они "сдохли"
    программа остановит или зацикливается или ещё как ? или видишь и паузу поставил и сменил прокси и опять нажал продолжить? как то так ?
    к примеру программа наткнулась на блок по айпи, и она что делает останавливается или что? можно ли чтобы она сообщила, ты заменил прокси и она пошла далее, а не с начала ????
    хочу купить прогу и не пойму вот эти важные моменты.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
  3. powerful

    powerful New Member Пользователи

    Регистрация:
    23 фев 2021
    Сообщения:
    6
    Город:
    Москва
    а те которые не сработали прокси и страницы заблокированы , тоесть не спарсена с них информация, они как то помечаются или в список докачки какой то ставятся или как ?
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Несколько попыток загрузки с разными прокси. Все страницы должны спарситься.
     
  5. powerful

    powerful New Member Пользователи

    Регистрация:
    23 фев 2021
    Сообщения:
    6
    Город:
    Москва
    а если ушёл спать)) а все прокси упали, что тогда ? несколько попыток это крах парсинга, надо или бесконечные или в очередь на докачку.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Тогда нужно вызывать супергероев на помощь.
     
  7. powerful

    powerful New Member Пользователи

    Регистрация:
    23 фев 2021
    Сообщения:
    6
    Город:
    Москва
    тоесть в программе это непредусмотрено?
     
  8. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Если у вас будет список прокси, то у вас 2 варианта: либо это публичные бесплатные прокси, которые по качеству будут ой как проседать, либо уже купленные в личное пользование.
    На рынке полно вариантов того, что предлагают: и статичные, и динамические, и мобильные, про это можно целую статью написать, которых в интернете полно.

    Вернёмся к вопросу: в программе есть возможность каждые N раз проверять прокси (скриншот от Root выше), есть также возможность отсеивать прокси если они по каким-то причинам не сработали.

    лучший вариант -делать периодическую проверку, если прокси бесплатные, или взять платные динамические (мобильные) прокси (которые меняют IP-адрес каждые 2 или 10 минут) и зарядить страницы сайта, чтобы всё отработало
     
  9. powerful

    powerful New Member Пользователи

    Регистрация:
    23 фев 2021
    Сообщения:
    6
    Город:
    Москва
    да вопрос ещё в том, что к прмиеру все прокси накрылись, что делает программа ? остановится ? или запишет то что не смогла на будущую перепроверку, или просто пропустит и не узнаешь что она пропустила, и без возможности допарсить то что пропущено? или остановится и будет ждать новых прокси)
     
  10. powerful

    powerful New Member Пользователи

    Регистрация:
    23 фев 2021
    Сообщения:
    6
    Город:
    Москва
    а как покупать? и вообще как давно вышло обновление программы ??? в каком году?
    какие скидки) для некомерческих организаций?
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Лог доработок и инструкция по покупке Ссылки недоступны для гостей

    Скидок нет.
     
  12. Trenikola

    Trenikola Member Пользователи

    Регистрация:
    8 июн 2013
    Сообщения:
    60
    Добрый день!
    Добавлю в тему свой вопрос
    Есть ли возможность поставить на проверку прокси через n время, а не по кол-ву запросов!?
     
  13. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Нету такого функционала
     

Поделиться этой страницей