парсинг выдачи гугла

Тема в разделе "Решение различных задач по парсингу", создана пользователем Noofen, 8 апр 2021 в 08:24.

  1. Noofen

    Noofen New Member Пользователи

    Регистрация:
    Четверг
    Сообщения:
    12
    Город:
    Kirovo
    Подскажите пожалуйста
    пробую парсить по этому шаблону
    Ссылки недоступны для гостей


    не парсит - я так понимаю у меня там нет границ
    Помогите что бы заработал пожалуйста - куплю готовое решение если что.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.758
    Город:
    Барнаул
    Проект скачал, проверил - все ok.
     
  3. Noofen

    Noofen New Member Пользователи

    Регистрация:
    Четверг
    Сообщения:
    12
    Город:
    Kirovo
    может проблема в том что у меня Ultimate , но не Unlimited
    как получить Unlimited?
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.758
    Город:
    Барнаул
    Оплатите 2000 рублей любым удобным способом Ссылки недоступны для гостей (в примечании к переводу укажите ваш ключ(и) программы).

    Спасибо
     
  5. Noofen

    Noofen New Member Пользователи

    Регистрация:
    Четверг
    Сообщения:
    12
    Город:
    Kirovo
    сделал
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.758
    Город:
    Барнаул
    Спасибо!

    Без примечания почему-то перевод пришел.

    Могли бы вы мне ваши ключи отправить на почту SBFRoot@gmail.com ?
     
  7. Noofen

    Noofen New Member Пользователи

    Регистрация:
    Четверг
    Сообщения:
    12
    Город:
    Kirovo
    написал
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.758
    Город:
    Барнаул
    Спасибо

    Ответил
     
  9. Noofen

    Noofen New Member Пользователи

    Регистрация:
    Четверг
    Сообщения:
    12
    Город:
    Kirovo
    ну теперь он начал парсить, но очень медленно, да и то не все
    я скормил ему запросы за 24 часа пока что

    есть ли смысл играться с методами запросов?
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.758
    Город:
    Барнаул
    Скорость зависит от прокси и количества потоков.

    Вы паблик прокси взяли или покупные?
     
  11. Noofen

    Noofen New Member Пользователи

    Регистрация:
    Четверг
    Сообщения:
    12
    Город:
    Kirovo
    покупные

    верно ли я вижу что эксперименты с запросами и парсингом с webapp и без - могут улучшать результаты?
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.758
    Город:
    Барнаул
    Для парсинга выдачи Google не нужно использовать WBApp. Страницы открываются быстро обычными GET запросами.

    Единственное, что нужно - список прокси (чтобы данные грузились и ваш IP не попал под временный бан).
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.758
    Город:
    Барнаул
  14. Noofen

    Noofen New Member Пользователи

    Регистрация:
    Четверг
    Сообщения:
    12
    Город:
    Kirovo
    вродь заработал
    правда очень часто показывает что документ загружен, но в файле ничего не прибавляет
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.758
    Город:
    Барнаул
    В логе (ctrl+l) указано, в какой файл записались данные и какая длина текста записалась.

    Можете предоставить скриншот лога?
     
  16. Noofen

    Noofen New Member Пользователи

    Регистрация:
    Четверг
    Сообщения:
    12
    Город:
    Kirovo
    [​IMG]
    Ссылки недоступны для гостей[​IMG]
    какое то окошко в 15 мин словил - спарсил много и быстро и все...потом все время так
    запросы эти в веб браузере нормально открываются прямо из окна лога даже...
    прокси - уже 3 сервиса пробую
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.758
    Город:
    Барнаул
    Я по логам вижу, что прокси не более 50.

    Прокси быстро уходят в бан и на каждый документ посылается по 10 запросов (производятся попытки загрузки с разными прокси).

    Добавьте примерно по 50 прокси на каждый поток. Тогда, думаю, будет нормально.
     
  18. Noofen

    Noofen New Member Пользователи

    Регистрация:
    Четверг
    Сообщения:
    12
    Город:
    Kirovo
    эти - с мультипортами
    сейчас загружу огромный лист который без портов идет тогда
     
    Root нравится это.
  19. Noofen

    Noofen New Member Пользователи

    Регистрация:
    Четверг
    Сообщения:
    12
    Город:
    Kirovo
    такая же картина и на других проксях
    менять запросы или прокси искать ?
    с помощью web-app браузера немного попарсило и стало все на каптчу вылетать. Попробую еще антигейт или ксевил тогда подключить...

    капризный гугл
     
    Последнее редактирование: 8 апр 2021 в 22:23
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.758
    Город:
    Барнаул
    Раньше было лучше.

    Сейчас с паблик прокси даже процесс не пошел.

    Попробую прикупить в одном сервисе и протестировать.

    Написал в ПМ.
     

Поделиться этой страницей