Проект для парсинга ссылок с маркета

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Stan, 21 апр 2020.

  1. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    499
    Здравсвтуйте.
    Нужен проект для парсинга ссылок товаров с листинга маркета.
     
  2. Denorion

    Denorion Member Пользователи

    Регистрация:
    7 апр 2020
    Сообщения:
    52
    Город:
    Москва
    Ссылки на сами товары на маркете или ссылки на магазины, которые их продают?
    Например здесь ссылки на товары из категории Ссылки недоступны для гостей
    Вот карточка одного из товаров и на этой странице уже ссылки на магазины Ссылки недоступны для гостей

    Если речь о ссылках на товары на самом маркете вот эта ссылка (Ссылки недоступны для гостей), то все товары нужны или достаточно первой страницы листинга.

    Если первую страницу листинга брать по 48 товаров на странице то +- 1,5 млн товаров выходит. Около 8 часов в один поток. Нужена версия программы с браузером Хром Ссылки недоступны для гостей

    Вот пример
    Ссылки недоступны для гостей
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Недели две минимум в один поток собирать полтораляма. Если с параметрами ссылок как в вашем примере то пару месяцев.
     
  4. Denorion

    Denorion Member Пользователи

    Регистрация:
    7 апр 2020
    Сообщения:
    52
    Город:
    Москва
    Я полтора млн написал?) Во сне писал. У меня последний раз получилось 144 000 ссылок на товары. Первая страница выдачи. 3130 категорий. Если в глубину все товары снимать, то не знаю сколько товаров получится. Не было такой задачи. Эти 144000 снялись за 8 часов.
     
    kagorec нравится это.
  5. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    499
    ссылки на маркете, не на магазины внешние
    по 48 товаров, там 50 страниц вроде лимит
    откуда 1.5 млн, это по фильтрам распарсивание идет?
     
  6. Denorion

    Denorion Member Пользователи

    Регистрация:
    7 апр 2020
    Сообщения:
    52
    Город:
    Москва
    144000 если снимать первую страницу по 48 товаров. Где то 48, а в каких то категориях меньше товаров. 1,5 млн это я ошибся.
    Если все страницы снимать, не только первую страницу каталога, а распарсивать в глубину, не могу сказать сколько получится.
    Я снимал только первые страницы. Выше писал.
    У вас IP случайно не статистический?
    Я с мобильного интернета снимал в один поток - все нормально снялось. Ночью каптча вылезла, примерно на 2/3 ссылок. Утром треть допарсил.
     
  7. Denorion

    Denorion Member Пользователи

    Регистрация:
    7 апр 2020
    Сообщения:
    52
    Город:
    Москва
    Вот пример. Ссылки недоступны для гостей Парсится в один поток. В несколько потоков сделать не смогу на яндексе. Если подойдет - 1500 фунтов стерлингов за проект.
     
  8. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    499
    у меня проект есть, я раньше собирал норм ссылки, с антикапчей, айпи статический да.
    сейчас просто в самом проекте при парсинге не сохраняет ссылки на товары, т.е. что то поменялось в верстке яндекса

    1500 это проект сбора и парсинга товаров?
     
  9. Denorion

    Denorion Member Пользователи

    Регистрация:
    7 апр 2020
    Сообщения:
    52
    Город:
    Москва
    В личку написал
     
  10. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Скиньте проект в лс, может там просто фильтр ссылок поправить.
     

Поделиться этой страницей