Проблема при парсинге DNS-SHOP.ru

Тема в разделе "Решение различных задач по парсингу", создана пользователем efes2002, 13 мар 2019.

  1. efes2002

    efes2002 New Member Пользователи

    Регистрация:
    19 янв 2015
    Сообщения:
    9
    Задача спарсить товар (название, цены) из определенного раздел сайта, например сотовые телефоны (только его). + это нужно по нескольким городам.
    Решил использовать такую тактику: Ссылка на раздел у них одна, заходим в радел и используя wbapp нажимаем на кнопку добавить товар, пока он весь не добавиться на страницу, и после повторяющимеся граница парсим.
    Проблема 1) Все работает, но при парсинге парситься только 30 элементов (1 лист), хотя при всех пред просмотрах видно что wbapp отрабатывает правильно и добавляться весь товар. Может что то у меня с очередностью выполнения wbapp+повторяющиеся границы ?

    Проблема 2) не как не получается переключать города. Единственное выяснил опытным путем что если перед парсингом запустить страницу Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! то парситься этот город который указан после =, но как это сделать в проекте что перед парсингом сначала заходил по этой ссылке а потом начинал парсить по другой ссылке, я незнаю.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.437
    Пробуйте после каждой товарной ссылки поставить параметр city с нужным значением.
     
  3. efes2002

    efes2002 New Member Пользователи

    Регистрация:
    19 янв 2015
    Сообщения:
    9
    с проблемой №1 я справился, нашел косяк свой.

    Пробовал вот так: Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! не работает.
     
    kagorec нравится это.
  4. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    10.356
    Город:
    Сочи
    Откройте Firefox, выберите там нужный город, нажмите shift+ctrl+i и перезагрузите страницу. Затем скопируйте cookie запроса и вставьте cookie с нужным городом в Content Downloader (окно ctrl+h).
     
  5. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    10.356
    Город:
    Сочи
    Либо проще. Нажмите ctrl+k и в браузере выберите нужный город. Закройте окно без передачи cookie. В окне ctrl+h выберите библиотеку WIN и при последующем парсинге будет активен выбранный во встроенном браузере город.
     
  6. efes2002

    efes2002 New Member Пользователи

    Регистрация:
    19 янв 2015
    Сообщения:
    9
    Все настроил, всем спасибо.
     
  7. evgenius87

    evgenius87 New Member Пользователи

    Регистрация:
    Суббота
    Сообщения:
    1
    Город:
    Волгоград
    А есть ли готовый проект по этому сайту?
     
  8. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    449
    Есть - на платной основе
     
    Root нравится это.

Поделиться этой страницей