Сканер не собирает ссылки с сайта с использованием прокси

Тема в разделе "Сбор ссылок сканером сайтов", создана пользователем sten30, 20 июл 2020.

  1. sten30

    sten30 Active Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    228
    Не собирает ссылки Сканер сайтов в режиме MemSave с прокси
    Без MemSave все собирал
    Проект прилагаю
     

    Вложения:

    sten30, 20 июл 2020
    #1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Прокси проверяете некорректно.

    Добавьте строку, например:
    Код:
    <!doctype html>
    Вот сюда:
    2020-07-21_15-48-14.png

    Из списка ваших прокси на данном сайте работает только малая часть.

    Также рекомендуется и в окне ctrl+h и в окне прокси чекера (ctrl+r) использовать библиотеку Clever Internet Suite (CIS).
     
    Root, 21 июл 2020
    #2
  3. sten30

    sten30 Active Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    228
    Режим MemSave собрал 2 миллиона ссылок. Прокси исключены при 2 не загруженных страницах.
    Сбор ссылок затормозился.
    Что делать сейчас? Как продолжить сбор ссылок? Прокси на ходу не добавить. Останавливать режим MemSave нельзя.
     
    sten30, 21 июл 2020
    #3
  4. Alexlife

    Alexlife Member Пользователи

    Регистрация:
    16 окт 2015
    Сообщения:
    49
    обновил программу и прокси настройки с адвором слетели...как настраивал не помню, нашел по поиску эту страницу
    но не помогло...кто может прокомментировать?
     
    Alexlife, 15 окт 2020
    #4
  5. recrut

    recrut New Member Пользователи

    Регистрация:
    16 мар 2017
    Сообщения:
    45
    К вопросу использования прокси серверов при сборе ссылок. При запуске программа запускает процесс проверки прокси серверов, но не замечал, что бы это процесс запускался повторно в сканере сайтов. Необходимо собрать достаточно большое количество ссылок с сайта, который блокирует частые обращения. Возникнет ли проблема при сборе или процесс будет запускаться повторно по мере отфильтровки всех адресов?
     
    recrut, 4 дек 2020
    #5
Similar Threads
  1. infamous

    сканер сайтов собирает не все ссылки

    infamous, 31 мар 2017, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    5
    Просмотров:
    1.003
    Root
    3 апр 2017
  2. weresa

    Сканер не собирает ссылки на товары

    weresa, 16 июл 2017, в разделе: Сбор ссылок сканером сайтов
    Ответов:
    18
    Просмотров:
    1.067
    Root
    7 окт 2019
  3. Trenikola

    Не могу собрать все ссылки на товар сканером - могу только часть.

    Trenikola, 9 авг 2017, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    2
    Просмотров:
    758
    Root
    18 авг 2017
  4. loskatti

    Сканер собирает не все ссылки

    loskatti, 25 июн 2019, в разделе: Сбор ссылок сканером сайтов
    Ответов:
    5
    Просмотров:
    340
    Root
    26 июн 2019
  5. Silent1981

    Сканер не находит некоторые ссылки

    Silent1981, 14 ноя 2019, в разделе: Сбор ссылок сканером сайтов
    Ответов:
    3
    Просмотров:
    345
    Silent1981
    15 ноя 2019
Загрузка...

Поделиться этой страницей