Как при парсинге задать user agent: Googlebot?

Тема в разделе "Решение различных задач по парсингу", создана пользователем zava75, 22 мар 2022.

Метки:
  1. zava75

    zava75 New Member Пользователи

    Регистрация:
    23 янв 2020
    Сообщения:
    30
    Город:
    Ромны
    Есть сайты с клоакой 301 редирект на пп контент отдается только боту гугла . Как при парсинге задать user agent: Googlebot?
     
    zava75, 22 мар 2022
    #1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2022-03-22_14-36-11.png
     
    Root, 22 мар 2022
    #2
Similar Threads
  1. kagorec

    список user agent (в CD кнопка "Дополнительно")

    kagorec, 26 дек 2011, в разделе: Разное
    Ответов:
    0
    Просмотров:
    76.315
    kagorec
    26 дек 2011
  2. zlatosvet

    User agent

    zlatosvet, 5 мар 2012, в разделе: Решение проблем с использованием программы
    Ответов:
    4
    Просмотров:
    50.115
    kagorec
    6 мар 2012
  3. portret32

    User agent

    portret32, 18 ноя 2014, в разделе: WBAppIE
    Ответов:
    4
    Просмотров:
    1.181
    portret32
    19 ноя 2014
  4. Djahat

    User agent для WBApp

    Djahat, 30 окт 2017, в разделе: WBAppIE
    Ответов:
    3
    Просмотров:
    738
    Djahat
    31 окт 2017
  5. GRINE

    Различные списки User-agent для Сканера и Парсинга

    GRINE, 10 авг 2019, в разделе: Разное
    Ответов:
    4
    Просмотров:
    2.611
    kenny872012
    11 авг 2019
Загрузка...

Поделиться этой страницей