Парсинг в режиме "паука"

Discussion in 'Парсинг конкретных сайтов по запросу (ПЛАТНО)' started by konfuciy, Apr 4, 2014.

  1. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Сейчас можно настроить сканер так, чтобы он собирал только внешние ссылки и ходил только по внешним ссылкам, как вы и просите (добавить в фильтр [DOMEN]). Только сканер будет собирать и собирать, пока не остановите его или список очереди не опустеет...

    Ограничивать количество переходов нельзя и делать это не планирую пока...

    Вы можете прогнать список ссылок сначала один раз (кнопка "редактировать список очереди")(с включенной галочкой "не пополнять очередь"), затем второй раз (и прогонять, сколько вам нужно раз).
     
  2. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Это запрос видимо на альтернативное решение HREFER ?))
     
  3. konfuciy

    konfuciy New Member Пользователи

    Joined:
    Jan 10, 2013
    Messages:
    89
    не совсем, но тема та же)
    хрефер собирает ссылки с поисковиков.

    у меня же потребность такая:

    парсер заходит на форум, парсит оттуда все внешние ссылки со всех веток, переходит по этим ссылкам на другие форумы, парсит все внешние ссылки со всех веток, переходит по этим ссылкам, парсит, переходит, парсит и так далее.
    называется парсер-паук.
    такого нет ни в хрефере, ни пока в CD
     
  4. konfuciy

    konfuciy New Member Пользователи

    Joined:
    Jan 10, 2013
    Messages:
    89
    никак не могу нормально объяснить, еще раз пробую))

    парсер заходит на форум, парсит оттуда все внешние ссылки со всех веток, переходит по этим ссылкам на другие форумы, парсит все внешние ссылки со всех веток, переходит по этим ссылкам, парсит, переходит, парсит и так далее.
    называется парсер-паук.

    вот это я хотел)

    ну это все на автомате разумеется)
     
  5. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Теперь понял, спасибо, но, думаю, такое делать не будем...
     
  6. konfuciy

    konfuciy New Member Пользователи

    Joined:
    Jan 10, 2013
    Messages:
    89
    ээх, жаль) как я писал - то очень востреованная тема на одном закрытом форуме, там такой парсер продается за 120 у.е.
    если б сделали, могли бы там продавать, там аудитория платежеспособная
     
  7. duksa

    duksa New Member Пользователи

    Joined:
    Jun 27, 2012
    Messages:
    15
    +1 присоединяюсь
     
  8. esif22

    esif22 New Member Пользователи

    Joined:
    Jul 22, 2014
    Messages:
    26
    Присоединяюсь к выше упомянутой проблеме. Очень востребованная функция которая решает очень много проблем. Спасибо!
     
  9. Qreshok

    Qreshok New Member Пользователи

    Joined:
    Nov 18, 2013
    Messages:
    1
    Если это для парсера доделать реально -поддерживаю. Заранее Спасибо! :)
     
  10. luxet

    luxet New Member Пользователи

    Joined:
    Jan 31, 2019
    Messages:
    5
    Город:
    Moscow
    +1
    Было бы полезно собирать таким пауком мейлы с внешних сайтов в процессе работы
     

Share This Page