Сканер не собирает ссылки с сайта с использованием прокси

Тема в разделе "Сбор ссылок сканером сайтов", создана пользователем sten30, 20 июл 2020.

  1. sten30

    sten30 Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    188
    Не собирает ссылки Сканер сайтов в режиме MemSave с прокси
    Без MemSave все собирал
    Проект прилагаю
     

    Вложения:

  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.353
    Город:
    Барнаул
    Прокси проверяете некорректно.

    Добавьте строку, например:
    Код:
    <!doctype html>
    Вот сюда:
    2020-07-21_15-48-14.png

    Из списка ваших прокси на данном сайте работает только малая часть.

    Также рекомендуется и в окне ctrl+h и в окне прокси чекера (ctrl+r) использовать библиотеку Clever Internet Suite (CIS).
     
  3. sten30

    sten30 Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    188
    Режим MemSave собрал 2 миллиона ссылок. Прокси исключены при 2 не загруженных страницах.
    Сбор ссылок затормозился.
    Что делать сейчас? Как продолжить сбор ссылок? Прокси на ходу не добавить. Останавливать режим MemSave нельзя.
     
  4. Alexlife

    Alexlife Member Пользователи

    Регистрация:
    16 окт 2015
    Сообщения:
    49
    обновил программу и прокси настройки с адвором слетели...как настраивал не помню, нашел по поиску эту страницу
    но не помогло...кто может прокомментировать?
     
  5. recrut

    recrut New Member Пользователи

    Регистрация:
    16 мар 2017
    Сообщения:
    19
    К вопросу использования прокси серверов при сборе ссылок. При запуске программа запускает процесс проверки прокси серверов, но не замечал, что бы это процесс запускался повторно в сканере сайтов. Необходимо собрать достаточно большое количество ссылок с сайта, который блокирует частые обращения. Возникнет ли проблема при сборе или процесс будет запускаться повторно по мере отфильтровки всех адресов?
     

Поделиться этой страницей