Сбор ссылок с главной

Тема в разделе "Решение различных задач по парсингу", создана пользователем dexperanto, 22 янв 2018.

  1. dexperanto

    dexperanto New Member Пользователи

    Регистрация:
    21 ноя 2014
    Сообщения:
    123
    Добрый день.
    Есть какой-нибудь шаблон или способ собирать налету ссылки с главной страницы без паука? У меня 20 тысяч сайтов, нужно собрать с главной ссылки, содержащие Contacts. Паук проходит 100 сайтов в час, виснет долго. Хотя, сайты все прогнал до этого на выдачу docsource, и вынес отдельно в текстовый файлы фильтром по пройденным на них ссылки. т.е. сайты все рабочие, нет проблем с ними)
     
    dexperanto, 22 янв 2018
    #1
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    обычно данные Contacts находятся в подвале сайта поэтому и снимать их проще на вкладке ссылки, либо на вкладке контент с библиотекой win. Думаю что для 85% сайтов достаточно в фильтрах ссылок указать
    contact
    Kontact
    support
     
    Kreol, 22 янв 2018
    #2
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Прогоните список через google, формируя запрос для каждого домена:
    Код:
    site:domensayta.ru контакты
    От результата берем первую ссылку которой google считает содержащей контакты и потом по собранным ссылкам парсите.

    п.с. на форуме подобное уже повторял раз 10))
     
    kagorec, 22 янв 2018
    #3
    Root и Kreol нравится это.
  4. dexperanto

    dexperanto New Member Пользователи

    Регистрация:
    21 ноя 2014
    Сообщения:
    123
    Вопрос в том, что гугл начнёт банить за множественные запросы. Как обойти?)
     
    dexperanto, 22 янв 2018
    #4
  5. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    прокси)
     
    Kreol, 22 янв 2018
    #5
    Root нравится это.
  6. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    причем не разу ни бесплатные и не за 10-20$, а например от
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    которые 100-200$ так как google банит бросто безбожни и надолго такие прокси
     
    Kreol, 23 янв 2018
    #6
Similar Threads
  1. Anufriy

    Сбор ссылок с Job.ru

    Anufriy, 9 авг 2015, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    5
    Просмотров:
    1.252
    kagorec
    10 авг 2015
  2. Mind

    Как оптимизировать сбор ссылок?

    Mind, 28 ноя 2016, в разделе: Фильтры ссылок
    Ответов:
    2
    Просмотров:
    856
    Root
    28 ноя 2016
  3. Felix_b

    WBApp прокрутка страницы для подгрузки ссылок

    Felix_b, 28 июн 2017, в разделе: Решение различных задач по парсингу
    Ответов:
    12
    Просмотров:
    1.043
    Root
    24 авг 2019
  4. Anri

    Собрать ccылки на тематические форумы либо отзовики

    Anri, 16 авг 2017, в разделе: Сбор ссылок сканером сайтов
    Ответов:
    6
    Просмотров:
    832
    Anri
    19 авг 2017
  5. JagerJ

    Сбор ссылок с olx.ua

    JagerJ, 17 авг 2017, в разделе: Решение различных задач по парсингу
    Ответов:
    3
    Просмотров:
    495
    Root
    19 авг 2017
Загрузка...

Поделиться этой страницей