Проблемы при парсинке MediaMarkt

Тема в разделе "Решение различных задач по парсингу", создана пользователем efes2002, 24 фев 2015.

  1. efes2002

    efes2002 New Member Пользователи

    Регистрация:
    19 янв 2015
    Сообщения:
    9
    Не как не получается задать город, нужно спарсить категорию телевизоров в двух городах, не как не получается, не могу определить что им надо передать.
    Единственное заметил что можно добавить к ссылке товара вот такую надпись ?location=shop_R009, но как это делать на этапе парсинга я не знаю.
    И второй вопрос, на странице товара есть название города в верхнем углу а спарсить я его не могу так как его нет в коде страницы, от куда тогда он выводиться не пойму.
     
    Последнее редактирование: 24 фев 2015
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Город можно задать с помощью передачи cookies.

    Авторизация методом передачи Cookies из плагина Firefox — LiveHTTPHeaders в настройку HTTP-запросов программы (ctrl+h) (Ссылки недоступны для гостей):

    1) Открываем Firefox с установленным в нем плагином LiveHTTPHeaders
    2) Выбираем нужный город в браузере Firefox
    3) Запускаем плагин LiveHTTPHeaders: alt (для вызова меню) -> «инструменты» -> «просмотр HTTP-заголовков»
    4) Переходим в браузере на любую страницу товара, возвращаемся в окно плагина и копируем cookies из соответствующего запроса (запрос на страницу товара) через контекстное меню (правый клик по строке с cookies)
    5) Возвращаемся в Content Downloader, нажимаем ctrl+h и вставляем скопированные cookies в соответствующее поле (также убеждаемся, что библиотека «Internet Explorer (DOM)» отключена)

    Cookies должны быть примерно такие:
    Имя региона содержится в следующем участке кода:
    С уважением к вам, Сергей...
     
  3. efes2002

    efes2002 New Member Пользователи

    Регистрация:
    19 янв 2015
    Сообщения:
    9
    С первыми вопросами разобрался.
    Возникла новая проблема вечером, сайт вообще перестал парситься и собирать ссылки, хотя во всех браузер все открывается, и даже смена IP не помогает.
    Где я туплю не пойму уже второй час.
    Посмотреть вложение MediaMarktRU.cdp
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Может быть куки устарели. Передайте новые Cookies.
     
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Медиамаркт банит попытки парсинга, блокировка по ип, наберитесь терпения и много прокси (в ctrl+h добавьте пару сотен useragent) ;)
    п.с. процесс занимает несколько суток безперерывного парсинга на весь сайт.
     
    Последнее редактирование: 26 фев 2015

Поделиться этой страницей