Как парсить выдачу Google

Discussion in 'Решение различных задач по парсингу' started by zek24, Feb 19, 2012.

  1. zek24

    zek24 New Member Пользователи

    Joined:
    Jan 26, 2011
    Messages:
    4
    Возникли проблемы с парсингом гугла - версия 31+,
    Ссылки недоступны для гостей скачал Googlefor31.rar, но и он отказывается парсить.
    Точнее говоря не парсит при включенных "не парсить google и youtube" и "глубина от 2 до 100". Хотя мне кажется что они должны быть включены или я ошибаюсь? Просто мне главные страницы сайтов не нужны.
    При включенных фильтрах пишет - найдено 0 ссылок.
     
  2. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    скачал и не изменяя ничего, проверил - все работает
    [​IMG]
     
    Last edited: Feb 19, 2012
  3. zek24

    zek24 New Member Пользователи

    Joined:
    Jan 26, 2011
    Messages:
    4
    попадаются ссылки на главную страницу - они не нужны
     
  4. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Ссылки там такого вида
    Ссылки недоступны для гостей
    Поиск-заменой (в фильтрах) из них получаются конечные вида:
    Ссылки недоступны для гостей

    Чтобы на морды ссылки не парсились, поставьте глубину ссылок от 6 до 100.

    Все ок теперь?
     
  5. zek24

    zek24 New Member Пользователи

    Joined:
    Jan 26, 2011
    Messages:
    4
    да, спасибо - заработало
     
  6. begin

    begin New Member Пользователи

    Joined:
    Mar 3, 2012
    Messages:
    4
    У меня при парсинге выдачи гугла возникла проблема - добавляю список ссылок по нескольким ключам, запускаю парсинг - и найдено 0 ссылок.
    Делаю все на основе вашего проекта, пауза 5000 мсек стоит, делаю в 1 поток.

    Проблема возникла после второй попытки - до этого при первой попытке парсинг ссылок прошел успешно, правда нечаянно закрыл программу.

    Похоже на бан гугла, как теперь это обойти?
     
  7. Valiks

    Valiks New Member Супер Модератор

    Joined:
    Jan 18, 2012
    Messages:
    554
    Location:
    Всё время в скэйпе
    Вот Ссылки недоступны для гостей есть урок о парсинге Гугля.
    Там же, внизу, под уроком, есть новый файл проекта для парсинга выдачи гугле Ссылки недоступны для гостей. Скачай его с попробуй этот файл в качестве шаблона проекта. Всё должно заработать, но должна быть обновленная версия программы.
    Если бан Гугля, зайди в "Авторизация", и "Получить куки". Но, даже если бан, то он долго не держится.
    Второе,- старайся не задавать слишком большой список ключевиков за один раз. Всё равно больше статей, чем при нескольких поисковых запросах не получится. Оптимально,- грузить ключевиков не больше, чем помещается в окошко, в котором пишешь ключевики (кнопка {key}) без прокрутки.
     
    Last edited: Mar 5, 2012

Share This Page