Как парсить выдачу результатов с Гугл?

Тема в разделе "Решение различных задач по парсингу", создана пользователем comp56, 10 мар 2018.

  1. comp56

    comp56 New Member Пользователи

    Регистрация:
    25 ноя 2011
    Сообщения:
    18
    Задача такая. Нужно спарсить
    <meta name="description" content=" **** " />
    <meta name="keywords" content="     **** " />
    с результатов выдачи google.
    Например ищу - строительная компания. Как с результатов Google получить список сайтов для парсинга ? И вставить их в список ссылок.
    Пробовал сканер сайтов но не могу настроить правильно фильтр (
     
    comp56, 10 мар 2018
    #1
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    У вас есть хорошие прокси? чтоб парсить гугл?
     
    Kreol, 10 мар 2018
    #2
  3. comp56

    comp56 New Member Пользователи

    Регистрация:
    25 ноя 2011
    Сообщения:
    18
    парсинг 10-15 страниц результатов примерно. Мне нужна помощь с добавлением результатов страниц в раздел ссылки для парсинга.
     
    comp56, 10 мар 2018
    #3
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    ЭТО бан айпи или капча 100%
     
    Kreol, 10 мар 2018
    #4
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    На каждый ип прокси примерно по 2-10 запроса и потом идут каптчи. Вот и считайте сколько прокси надо.
    На данный момент в интернете много прокси-сервисов продают заспамленные прокси, которым сразу и всегда будет каптча при парсинге гоогле.
     
    kagorec, 10 мар 2018
    #5
    igor333333 и Root нравится это.
  6. igor333333

    igor333333 New Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    5
    ПОмогите распарсит 100 страниц Гугл
     
    igor333333, 6 июн 2020
    #6
  7. Reset

    Reset Active Member Пользователи

    Регистрация:
    16 дек 2013
    Сообщения:
    114
    А что сложного то ?
     
    Reset, 7 июн 2020
    #7
  8. igor333333

    igor333333 New Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    5
    Банит и с прокси даже
     
    igor333333, 7 июн 2020
    #8
  9. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Видать прокси - заспамлены
    Как вариант прокси + разгадывание каптчи
     
    inotoxic, 7 июн 2020
    #9
  10. Reset

    Reset Active Member Пользователи

    Регистрация:
    16 дек 2013
    Сообщения:
    114
    Гугл парсят все кому не лень, конечно у него стоит приличная защита, поэтому 5-7 запросов и гадай капчу.

    Поэтому или приличные прокси или специализированные программы, т.к. рекапча по идее cd не поддерживается
     
    Reset, 8 июн 2020
    #10
  11. XMLRiver

    XMLRiver New Member Пользователи

    Регистрация:
    10 сен 2021
    Сообщения:
    2
    Город:
    Киев
    Можете попробовать Ссылки недоступны для гостей, api привычное (Yandex.XML), CD легко справится с этим форматом
     
    XMLRiver, 10 сен 2021
    #11
  12. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Здравствуйте.
    Возможно вы представитель сервиса XML RIVER, и скидку предоставите для пользователей CD?)
     
    kagorec, 10 сен 2021
    #12
  13. bek

    bek Member Пользователи

    Регистрация:
    22 фев 2017
    Сообщения:
    28
    Город:
    Краснодар
    <meta name="keywords" content=" **** " /> не актуален для ПС
    тем более гугл с августа подтягивает снипет из тега h1
     
    bek, 10 сен 2021
    #13
  14. XMLRiver

    XMLRiver New Member Пользователи

    Регистрация:
    10 сен 2021
    Сообщения:
    2
    Город:
    Киев
    Здравствуйте!
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    XMLRiver, 12 сен 2021
    #14
    kagorec нравится это.
Similar Threads
  1. zek24

    Как парсить выдачу Google

    zek24, 19 фев 2012, в разделе: Решение различных задач по парсингу
    Ответов:
    6
    Просмотров:
    5.430
    Valiks
    5 мар 2012
  2. klever2000

    Как парсить гугл|google кеш (ссылок)

    klever2000, 30 мар 2012, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    9
    Просмотров:
    6.548
    Alisa
    28 окт 2014
  3. Igor_st

    Как парсить Гугл кеш

    Igor_st, 1 июн 2013, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    0
    Просмотров:
    1.353
    Igor_st
    1 июн 2013
  4. serfer

    Как парсить определенную выдачу поисковиков???

    serfer, 28 авг 2013, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    8
    Просмотров:
    2.498
    kagorec
    27 окт 2014
  5. cduser

    Как парсить выдачу? (Яндекс, Google, Youtube)

    cduser, 2 дек 2013, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    12
    Просмотров:
    7.075
    Root
    30 апр 2014
Загрузка...

Поделиться этой страницей