Помогите с aliexpress

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем vcat, 30 сен 2014.

Метки:
  1. vcat

    vcat New Member Пользователи

    Регистрация:
    8 ноя 2010
    Сообщения:
    4
    Подскажите как правильно настроить парсинг информации о товарах с aliexpress. Парсить надо характеристики и картинки товара.
    Для примера страница товара
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    На форуме нашел предыдущую тему о парсинге картинок с алиэкспреса, но теперь видимо что-то изменилось, т.к. тот проект не работает.
     
    Последнее редактирование модератором: 30 сен 2014
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Опишите что вы хотели бы получить в итоге или пример настройки или документа приложите к посту.
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Вот общий мануал по парсингу интернет-магазинов Ссылки недоступны для гостей

    Если у вас будут конкретные вопросы по определенным моментам, пожалуйста, задавайте.

    С уважением к вам, Сергей.
     
  4. vcat

    vcat New Member Пользователи

    Регистрация:
    8 ноя 2010
    Сообщения:
    4
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Хотелось бы получить информацию из указанных на вышеприведенных картинках блоках.
    А также все из блоков
    Item specifics
    Product Description
    Packaging Details
     
    Последнее редактирование: 30 сен 2014
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Это же основа, вам рекомендую сперва в справке почитать как выделять границы парсинга - Ссылки недоступны для гостей
    п.с. сначало думал чтото серьезно трудное
     
  6. vcat

    vcat New Member Пользователи

    Регистрация:
    8 ноя 2010
    Сообщения:
    4
    Спасибо за совет. Я в справке читал все, но здесь возникает проблема в том, что картинки не все подгружаются, если выбираешь только указанные границы. Картинки загружаются через скрипт. В проекте указано подгружать картинки, создаваемые скриптом.
    [​IMG]
    Как правильно указать в проекте границу для парсинга картинок?
     

    Вложения:

    Последнее редактирование: 1 окт 2014
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Вот, пожалуйста, проект.

    Примечание: Загружает эту картинку только макрос <DOWNLOADFILE> (Ссылки недоступны для гостей)!

    Надеюсь, мы вам помогли!

    С уважением к вам, Сергей...
     

    Вложения:

  8. vcat

    vcat New Member Пользователи

    Регистрация:
    8 ноя 2010
    Сообщения:
    4
    Большое спасибо за помощь.
    Но есть нюанс. А как получить остальные 5 картинок? Вернее первую понятно как, а вот остальные ...
    Вот в этой секции window.runParams.imageBigViewURL=[....]
    И в блоке Product Description текст видимо также загружается через скрипт. Его можно как-то получить?

    [​IMG]
     
    Последнее редактирование: 1 окт 2014
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Все 5 картинок можно получить используя повторяющиеся границы парсинга Ссылки недоступны для гостей

    Текст, подргужаемый скриптом можно получать таким способом Ссылки недоступны для гостей
    Либо (еще проще, но парсинг будет более медленным и парсить можно максимум в два потока) включить использование Internet Explorer (DOM) в ctrl+h

    С уважением к вам, Сергей.
     
  10. Novikt

    Novikt New Member Пользователи

    Регистрация:
    6 фев 2015
    Сообщения:
    1
    Добрый день.
    Возможно ли с
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    спарсить стоимость доставки? и описание?
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Нажать ctrl+h и включить Internet Explorer (DOM). После этих действий код WEB-документа от этого сайта должен приходить с нужной вам информацией.

    Примечание: При использовании Internet Explorer (DOM) парсить можно в 1-2 потока.

    С уважением к вам, Сергей.
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    1) Ссылки недоступны для гостей (Переименование изображений);
    2) Приведите адрес страницы, настрою.
     
  13. je4a

    je4a New Member Пользователи

    Регистрация:
    10 июн 2015
    Сообщения:
    9
    ...
     
    Последнее редактирование: 17 июн 2015
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Описание к товару на этом сайте подгружается скриптом с адресов типа http___ru_aliexpress_com/getSubsiteDescModuleAjax.htm?productId=1909357003 при прокрутке WEB-страницы вниз.

    В прикрепленном файле проекта (скачайте его и в программе сделайте: меню - файл - загрузить проект) я подгружаю данные описания с помощью макроса [GETMORECYCLECONTENT] (Ссылки недоступны для гостей)

    PS: Сайт очень сложный для парсинга. Хотя бы потому, что нужно понять, откуда что подгружается. Суть я вам преподнес. Если у вас будут еще вопросы, пожалуйста, обращайтесь. Желаю успехов!

    С уважением к вам, Сергей.
     

    Вложения:

  15. je4a

    je4a New Member Пользователи

    Регистрация:
    10 июн 2015
    Сообщения:
    9
    благодарю, разобрался
     
    Последнее редактирование: 17 июн 2015
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    1) Настроить фильтры очереди и фильтры выдачи ссылок сканера сайтов, чтобы избежать попадания в результат нежелательных ссылок Ссылки недоступны для гостей

    2) Простите, но паузу и количество потоков для этого сайта я не подбирал. Подберите это опытным путем (уменьшайте количество потоков, пока сайт вас не перестанет банить, если будет банить и при одном потоке, тогда увеличивайте паузу между запросами)

    3) Обратите внимание на макрос IMAGESPATH Ссылки недоступны для гостей

    4) Настроить фильтры очереди и фильтры выдачи ссылок сканера сайтов, чтобы избежать попадания в результат нежелательных ссылок Ссылки недоступны для гостей

    С уважением к вам, Сергей.
     
  17. stixel2222

    stixel2222 New Member Пользователи

    Регистрация:
    2 мар 2014
    Сообщения:
    8
    Добрый день помогите пожалуйста что у меня сделано в настройке товара
    неправильно?

    Проблемма в том что у меня парсит с раздела товаров всего 285 штук хотя в разделе кольца оооочень много товаров в чем у меня ошибка в настройке парсинга товаров с раздела?
     

    Вложения:

  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Производите парсинг этого сайта во вкладке "Ссылки" по такому принципу Ссылки недоступны для гостей

    Проект прилагаю...

    С уважением к вам, Сергей.
     

    Вложения:

  19. stixel2222

    stixel2222 New Member Пользователи

    Регистрация:
    2 мар 2014
    Сообщения:
    8
    Еще просьба помогите

    Еще большая просьба помогите разобраться с парсингом не посредственно картинок из товаров вроде настроил но даже с первого товара не загружаются не пойму в чем ошибка попробывал разные варианты

    Но даже в этом виде я так понимаю картинки парситься несмогут так как на али почему то повторяются имена которые я задаю как границы для парсинга вот например в одном товаре есть такое Ссылки недоступны для гостей. повторяется несколько раз как же обьяснять парсеру что нужны именно эти все картинки

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     

    Вложения:

  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Проект прикрепил.
     

    Вложения:

Поделиться этой страницей