Как парсить выдачу Google

Тема в разделе "Решение различных задач по парсингу", создана пользователем zek24, 19 фев 2012.

  1. zek24

    zek24 New Member Пользователи

    Регистрация:
    26 янв 2011
    Сообщения:
    4
    Возникли проблемы с парсингом гугла - версия 31+,
    Ссылки недоступны для гостей скачал Googlefor31.rar, но и он отказывается парсить.
    Точнее говоря не парсит при включенных "не парсить google и youtube" и "глубина от 2 до 100". Хотя мне кажется что они должны быть включены или я ошибаюсь? Просто мне главные страницы сайтов не нужны.
    При включенных фильтрах пишет - найдено 0 ссылок.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    скачал и не изменяя ничего, проверил - все работает
    [​IMG]
     
    Последнее редактирование: 19 фев 2012
  3. zek24

    zek24 New Member Пользователи

    Регистрация:
    26 янв 2011
    Сообщения:
    4
    попадаются ссылки на главную страницу - они не нужны
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки там такого вида
    Ссылки недоступны для гостей
    Поиск-заменой (в фильтрах) из них получаются конечные вида:
    Ссылки недоступны для гостей

    Чтобы на морды ссылки не парсились, поставьте глубину ссылок от 6 до 100.

    Все ок теперь?
     
  5. zek24

    zek24 New Member Пользователи

    Регистрация:
    26 янв 2011
    Сообщения:
    4
    да, спасибо - заработало
     
  6. begin

    begin New Member Пользователи

    Регистрация:
    3 мар 2012
    Сообщения:
    4
    У меня при парсинге выдачи гугла возникла проблема - добавляю список ссылок по нескольким ключам, запускаю парсинг - и найдено 0 ссылок.
    Делаю все на основе вашего проекта, пауза 5000 мсек стоит, делаю в 1 поток.

    Проблема возникла после второй попытки - до этого при первой попытке парсинг ссылок прошел успешно, правда нечаянно закрыл программу.

    Похоже на бан гугла, как теперь это обойти?
     
  7. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Вот Ссылки недоступны для гостей есть урок о парсинге Гугля.
    Там же, внизу, под уроком, есть новый файл проекта для парсинга выдачи гугле Ссылки недоступны для гостей. Скачай его с попробуй этот файл в качестве шаблона проекта. Всё должно заработать, но должна быть обновленная версия программы.
    Если бан Гугля, зайди в "Авторизация", и "Получить куки". Но, даже если бан, то он долго не держится.
    Второе,- старайся не задавать слишком большой список ключевиков за один раз. Всё равно больше статей, чем при нескольких поисковых запросах не получится. Оптимально,- грузить ключевиков не больше, чем помещается в окошко, в котором пишешь ключевики (кнопка {key}) без прокрутки.
     
    Последнее редактирование: 5 мар 2012

Поделиться этой страницей