Спарсить мобильную версию сайта

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем ewgender, 16 июл 2015.

Метки:
  1. ewgender

    ewgender New Member Пользователи

    Регистрация:
    18 фев 2014
    Сообщения:
    3
    Всем привет!
    Есть такой вопрос - на основной версии сайта телефоны выдаются скриптов в виде картинок.

    На мобильной версии (на поддомене m.domain.com) телефоны выдаются текстом, но я не могу собрать сканнером ссылки мобильной версии, они существенно отличаются от ссылок полной версии сайта.

    Предполагаю, что я туплю при выборе User Agent - можно ведь в Content Downloader представляться телефоном на Андроиде?

    Помогите советом кто может, пожалуйста?
     
  2. ewgender

    ewgender New Member Пользователи

    Регистрация:
    18 фев 2014
    Сообщения:
    3
    Вроде бы вставлял вот такое:

    Mozilla/5.0 (Linux; U; Android 2.2.1; en-us; device Build/FRG83) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Safari/533.1

    Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19

    Но ему пофиг, собирает ссылки основной, а не мобильной версию сайта.

    То есть как бы проблемы даже 2, а не 1:

    1) Не могу собрать ссылки мобильной версии сканнером
    2) Не могу спарсить контент ссылки мобильной версии, так как она не открывается для предпросмотра при десктопном юзерагенте
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    О каком сайте идет речь? С каких именно страниц не можете собрать данные?
     
  4. Семен.S

    Семен.S New Member Пользователи

    Регистрация:
    11 авг 2015
    Сообщения:
    8
    а ссылки мобильного сайта глобально отличаются?
    если у них различие только в поддомене m.
    может проще после парсинга открыть в том же notepad++
    и через функцию "найти и заменить", заменить m.domian.com на domian.com (или m.domian на domian)?
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Все зависит от сайта и все настолько индивидуально, что нужно разбирать каждый конкретный пример.

    С уважением к вам, Сергей.
     

Поделиться этой страницей