Пятерочка

Тема в разделе "Решение различных задач по парсингу", создана пользователем dimochkaorg, 30 мар 2017.

  1. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    Господа, у меня заказ нужен ему сайт с акциями торговых сетей. С Дикси я разобрался. А вот с Пятерочкой обломился. Там Аякс, как подступиться к нему не понимаю. Установил live http headers пытался по наитии вычислить странницу откуда подгружаются товары, но не смог разобраться. Можеит поделитесь опытом, либо на кейс какой-нибудь сошлетесь, я не нашел к сожалению. :(
    Святой грааль здесь. Парсить надо именно с ссылок категорий, т.к. карточки товара, не имеют идентефикационной привязки к категории, во всяком случае в визуальном плане. :) Хелп!
    Ссылки недоступны для гостей

    UP. Спарсить товары я могу, но как их потом к нужной категории привязать. Вот вопрос. :)
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Ctrl+h -> включить "Internet Explorer (DOM)"
     
  3. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    Огромное спасибо. Чего-то ступил, я. Действительно был отключен. Надо все-таки мне быть повнимательней.
     
  4. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    Все равно не выходи т каменный цветок. Вроде считывает страницу, когда цифирьки бегут и смайлик показывается. Продукты видны, а когда пытаешься задать границу парсинга - страничка пустая без продуктов как на скрине.

    upload_2017-3-30_21-34-3.png

    UPD: Решил задача сбором ссылок для разных категорий. получив 20 файлов с линками на итемы, что позволяет их отнести к головной категории (к сожалению без подкатегорий). Но это конечно геморно, потому как придется делать 20 подпроектов, где в csv придется прописывать категорию хоть и одним махом, но вручную. А ведь чувствую, как-то можно проще и изящнее, и апдейтиться конечно так геморно будет.
     
    Последнее редактирование: 30 мар 2017
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вот есть специальный пост даже:
    Ссылки недоступны для гостей
     
  6. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    Все бы хорошо, если браузер позволял задать граицы парсинга. После построения дерева, границы задать невозможно т.к. докмент не содержит информацию ни о товарах ни о категориях, хотя в момент отображает. Может я чего туплю, но попробуйте на примере этой ссылки Ссылки недоступны для гостей и DOM включен, а все рано не работает. :(
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Да все нормально там, не знаю, откуда проблемы берутся у вас

    2017-04-01_06-06-51.png

    2017-04-01_06-07-42.png
     
  8. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    Все как у вас сделал... Все равно не выходит, может чего в браузере не включено, что должно быть включено?






    upload_2017-4-3_16-35-57.png Посмотреть вложение 3567
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Странно!

    Какой версии Internet Explorer установлен в вашей системе?

    Можете ли показать код страницы, который вы получаете от сайта?
     
  10. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
  11. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    Момент Это версия. Может его по умолчанию надо поставить?

    upload_2017-4-3_16-40-13.png
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Это во встроенном браузере по умолчанию выполнение скриптов отключено. Нажмите на кнопку с изображением планеты (в окне задания границ парсинга) и включите галочку "включить выполнение скриптов"
     
  13. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    Код страницы в аттаче
     

    Вложения:

  14. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    УРА! Спасибо огромное. А я ведь долго смотрел на этот пункт, но не высмотрел... :)
     
    Root нравится это.
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста...
     
  16. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    Да, товары видны все прекрасно. Спасибо, но задать границу значения Param невозможно. Т.к. в коде ее нет :(

    upload_2017-4-3_16-57-55.png
     
  17. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    204
    Спасибо. Разобрался, просто не мог понять, что могу создать целый список стартовых урлов. :)
     
    Последнее редактирование: 3 апр 2017
    Root нравится это.

Поделиться этой страницей