Парсинг в режиме "паука"

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем konfuciy, 4 апр 2014.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Сейчас можно настроить сканер так, чтобы он собирал только внешние ссылки и ходил только по внешним ссылкам, как вы и просите (добавить в фильтр [DOMEN]). Только сканер будет собирать и собирать, пока не остановите его или список очереди не опустеет...

    Ограничивать количество переходов нельзя и делать это не планирую пока...

    Вы можете прогнать список ссылок сначала один раз (кнопка "редактировать список очереди")(с включенной галочкой "не пополнять очередь"), затем второй раз (и прогонять, сколько вам нужно раз).
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Это запрос видимо на альтернативное решение HREFER ?))
     
  3. konfuciy

    konfuciy New Member Пользователи

    Регистрация:
    10 янв 2013
    Сообщения:
    89
    не совсем, но тема та же)
    хрефер собирает ссылки с поисковиков.

    у меня же потребность такая:

    парсер заходит на форум, парсит оттуда все внешние ссылки со всех веток, переходит по этим ссылкам на другие форумы, парсит все внешние ссылки со всех веток, переходит по этим ссылкам, парсит, переходит, парсит и так далее.
    называется парсер-паук.
    такого нет ни в хрефере, ни пока в CD
     
  4. konfuciy

    konfuciy New Member Пользователи

    Регистрация:
    10 янв 2013
    Сообщения:
    89
    никак не могу нормально объяснить, еще раз пробую))

    парсер заходит на форум, парсит оттуда все внешние ссылки со всех веток, переходит по этим ссылкам на другие форумы, парсит все внешние ссылки со всех веток, переходит по этим ссылкам, парсит, переходит, парсит и так далее.
    называется парсер-паук.

    вот это я хотел)

    ну это все на автомате разумеется)
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Теперь понял, спасибо, но, думаю, такое делать не будем...
     
  6. konfuciy

    konfuciy New Member Пользователи

    Регистрация:
    10 янв 2013
    Сообщения:
    89
    ээх, жаль) как я писал - то очень востреованная тема на одном закрытом форуме, там такой парсер продается за 120 у.е.
    если б сделали, могли бы там продавать, там аудитория платежеспособная
     
  7. duksa

    duksa New Member Пользователи

    Регистрация:
    27 июн 2012
    Сообщения:
    15
    +1 присоединяюсь
     
  8. esif22

    esif22 New Member Пользователи

    Регистрация:
    22 июл 2014
    Сообщения:
    26
    Присоединяюсь к выше упомянутой проблеме. Очень востребованная функция которая решает очень много проблем. Спасибо!
     
  9. Qreshok

    Qreshok New Member Пользователи

    Регистрация:
    18 ноя 2013
    Сообщения:
    1
    Если это для парсера доделать реально -поддерживаю. Заранее Спасибо! :)
     
  10. luxet

    luxet New Member Пользователи

    Регистрация:
    31 янв 2019
    Сообщения:
    5
    Город:
    Moscow
    +1
    Было бы полезно собирать таким пауком мейлы с внешних сайтов в процессе работы
     

Поделиться этой страницей