Парсинг характеристик товара с ЯМаркета

Тема в разделе "Решение различных задач по парсингу", создана пользователем qoren, 27 янв 2015.

  1. qoren

    qoren New Member Пользователи

    Регистрация:
    18 янв 2015
    Сообщения:
    8
    Прошу простить если где то было, но никак не могу найти ни на форуме в поиске ни в инструкции:

    У меня есть список товаров в csv
    Мне нужно пропарсить яндекс маркет и вытащить из маркета характеристики
    Я задаю ссылки для парсера вида:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    , но по этой ссылке характеристики скрыты.

    Вопрос: Как имея название товара попадать сразу на страницу ЯМ с развернутыми характеристиками? Заранее примного благодарен.

    У меня парсер комплектации standart.
     
    Последнее редактирование: 27 янв 2015
  2. qoren

    qoren New Member Пользователи

    Регистрация:
    18 янв 2015
    Сообщения:
    8
    Кажется, я догадался как сделать. Я прогоню все ссылки через парсер как есть, а границы парсинга установлю на ссылку "Все характеристики", так получу список нужных мне ссылок для последущих парсов.
     
  3. qoren

    qoren New Member Пользователи

    Регистрация:
    18 янв 2015
    Сообщения:
    8
    Столкнулся с проблемой: Не могу выделить области для парсенга т.к. при задании границ парсенга в верхней части экрана код содержит "Ой, кажется ваши запросы автоматические", а внизу в браузере нормально все отображается. С других бразузеров тоже все ссылки нормально отображаются, только в коде при задании границ парсинга, типа введите код, но куда и как его ввести? Программу перезапускал, интернет 3г тоже перезапускал, все без изменений. Как выкрутиться?
     
  4. qoren

    qoren New Member Пользователи

    Регистрация:
    18 янв 2015
    Сообщения:
    8
    Тоже решилось, правда я так и не понял как, лазал по меню, было "сборвить кеш броузера" в программе, + добавил чтобы программа определялась как разные браузеры и заработало все.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    При парсинге Маркета рекомендуется использовать SOCKS5 прокси. Либо выставлять 1 поток и подбирать паузу между запросами (чтобы избежать бана).
     
  6. qoren

    qoren New Member Пользователи

    Регистрация:
    18 янв 2015
    Сообщения:
    8
    Спасибо. Проблема была в другом. До парсинга даже не доходило, мне не удавалось сделать разметку полей парсинга т.к. в нижний браузер загружалась нормальная страница, а вверху, где код страницы, вместо кода нужно страницы было "Ой извините". Скорее всего изза того что одновременно 2 траницы загружалось (в браузер и с кодом),при этом в остальных браузерах все работает штатно, все открывается.

    И я понял что помогло. Я выбрал настройку "Показывать оператору капчу", и получилось что при выделении зон парсинга код и браузер стали грузиться не одновременно, а с небольшой разницей во времени и все стало нормально работать.
     

Поделиться этой страницей