Парсинг taobao

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Dima_777, 17 дек 2014.

  1. Dima_777

    Dima_777 New Member Пользователи

    Регистрация:
    16 дек 2014
    Сообщения:
    3
    Привет. Прошу помочь в таком вопросе. Хочу спарсить магазин например вот
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    . И программа ссылок не нашла. Подскажите в чем причина. Или настройки нужны определенные...Очень жду ответа.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    таобао на яваскриптах в категориях выводит товары, сочетание клавишь ctrl+h и отметьте где надо обработка DOM.
     
  3. Dima_777

    Dima_777 New Member Пользователи

    Регистрация:
    16 дек 2014
    Сообщения:
    3
    Вечер добрый. Спасибо за ответ. Я все отметил. Поставил все галочки - из 300 наимен. товаров нашел 35. Я до этого парсил на CDII, и все получилось. Все выдал. Но потом случилась вот эта ситуация. Купил лиц. таже штука. В чем причина, не пойму. Брал вот эту ссылку для примера
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    При парсинге через DOM нужно парсить в 1 поток. Вы, видимо, парсили в 5 или в 10.
     
  5. Dima_777

    Dima_777 New Member Пользователи

    Регистрация:
    16 дек 2014
    Сообщения:
    3
    Вечер добрый. Спасибо за ответ. Все равно ни как. Я прикреплю файл с проектом. Очень вас прошу глянуть. Вопрос только в кол-ве ссылок. Около 300 должно быть.
    Посмотреть вложение taobao.cdp
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте! Пожалуйста...

    Разобрался, вижу, что товары там подгружаются при попадании в "зону видимости". Для их подгрузки нужно постепенно прокручивать всю страницу на 1 экран в низ (до самого конца).

    Для этого был сделан новый макрос списка событий WBApp - [SCROLLBYSCREENTHENRETURN]
    Для парсинга товаров с предоставленной вами страницы достаточно поместить в список событий WBApp (Ссылки недоступны для гостей) следующую конструкцию:
    И парсить нужно не сканером сайтов, а во вкладке "ссылки", поместив туда всего одну ссылку
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    так как товары расположены на ней.

    Для того, чтобы у вас появился этот новый макрос, необходимо скачать и установить новый дистрибутив:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Также мною было выявлено, что на предоставленной вами странице содержится не 300, а 100 ссылок на РАЗНЫЕ товары.

    С уважением к вам, Сергей...
     
  7. SuperUser

    SuperUser New Member Пользователи

    Регистрация:
    19 янв 2015
    Сообщения:
    28
    Так получилось в итоге спарсить все товары из конкретного магазина на таобао или нет? Нужен парсер именно для загрузки всех товаров из конкретных магазинов на таобао. И как я понимаю WBApp работает только в редакции ULTIMATE?
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Список событий WBApp (имитация кликов и прочее) работает только в ULTIMATE. Но я не думаю, что это необходимо для парсинга Taobao (парсингом занимаюсь не я, а эти ребята Ссылки недоступны для гостей). С Taobao должна справиться программа с любым типом лицензии (если потребуется ULTIMATE, то можно доплатить за нее в любой момент).

    Спасибо!
     
  9. SuperUser

    SuperUser New Member Пользователи

    Регистрация:
    19 янв 2015
    Сообщения:
    28
    ок, просто перед покупкой хотелось бы быть уверенной, что она будет полезной)) не хочется убить кучу времени разбираясь в настройках и настраивая не самую простую программу, а потом убедиться, что для данной задачи она не подойдет)
     
  10. SuperUser

    SuperUser New Member Пользователи

    Регистрация:
    19 янв 2015
    Сообщения:
    28
    Из сообщений выше я как раз поняла, что для таобао нужен список событий, а именно [SCROLLBYSCREENTHENRETURN] или не так?
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Поднявшись выше я тоже увидел этот макрос. Да, он работает только в ULTIMATE-версии. Простите, я не помню тонкостей парсинга всех сайтов.
     
  12. SuperUser

    SuperUser New Member Пользователи

    Регистрация:
    19 янв 2015
    Сообщения:
    28
    Вот поэтому я и не могу проверить работоспособность парсинга для данной задачи в демо((( А автор темки видимо не заходит сюда(
     
    Последнее редактирование: 20 янв 2015
  13. Siroff

    Siroff New Member Пользователи

    Регистрация:
    17 апр 2015
    Сообщения:
    117
    Подскажите почему программа не находит ссылки на товары через F6, если нужно выборочно собрать товары?
    Например вот Ссылки недоступны для гостей на категорию с которой нужно собрать.
     
  14. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Альтернативное решение - собирайте со вкладки ССЫЛКИ отметив в ctrl+h выполнение DOM. Ссылки недоступны для гостей
     
    Root нравится это.
  15. Siroff

    Siroff New Member Пользователи

    Регистрация:
    17 апр 2015
    Сообщения:
    117
    Так и делаю, спасибо.
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Скачайте и установите доработанную версию программы (в программе: главное меню - файл - центр обновлений -> кнопка "обновить через сайт").

    С уважением к вам, Сергей.
     
    kagorec и Siroff нравится это.
  17. Siroff

    Siroff New Member Пользователи

    Регистрация:
    17 апр 2015
    Сообщения:
    117
    Спасибо!
     
    Root и kagorec нравится это.

Поделиться этой страницей