Проект для парсинга ссылок с маркета

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Stan, 21 апр 2020.

  1. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    404
    Здравсвтуйте.
    Нужен проект для парсинга ссылок товаров с листинга маркета.
     
  2. Denorion

    Denorion Member Пользователи

    Регистрация:
    7 апр 2020
    Сообщения:
    45
    Город:
    Москва
    Ссылки на сами товары на маркете или ссылки на магазины, которые их продают?
    Например здесь ссылки на товары из категории Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Вот карточка одного из товаров и на этой странице уже ссылки на магазины Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    Если речь о ссылках на товары на самом маркете вот эта ссылка (Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! ), то все товары нужны или достаточно первой страницы листинга.

    Если первую страницу листинга брать по 48 товаров на странице то +- 1,5 млн товаров выходит. Около 8 часов в один поток. Нужена версия программы с браузером Хром Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    Вот пример
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.891
    Город:
    Riga
    Недели две минимум в один поток собирать полтораляма. Если с параметрами ссылок как в вашем примере то пару месяцев.
     
  4. Denorion

    Denorion Member Пользователи

    Регистрация:
    7 апр 2020
    Сообщения:
    45
    Город:
    Москва
    Я полтора млн написал?) Во сне писал. У меня последний раз получилось 144 000 ссылок на товары. Первая страница выдачи. 3130 категорий. Если в глубину все товары снимать, то не знаю сколько товаров получится. Не было такой задачи. Эти 144000 снялись за 8 часов.
     
    kagorec нравится это.
  5. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    404
    ссылки на маркете, не на магазины внешние
    по 48 товаров, там 50 страниц вроде лимит
    откуда 1.5 млн, это по фильтрам распарсивание идет?
     
  6. Denorion

    Denorion Member Пользователи

    Регистрация:
    7 апр 2020
    Сообщения:
    45
    Город:
    Москва
    144000 если снимать первую страницу по 48 товаров. Где то 48, а в каких то категориях меньше товаров. 1,5 млн это я ошибся.
    Если все страницы снимать, не только первую страницу каталога, а распарсивать в глубину, не могу сказать сколько получится.
    Я снимал только первые страницы. Выше писал.
    У вас IP случайно не статистический?
    Я с мобильного интернета снимал в один поток - все нормально снялось. Ночью каптча вылезла, примерно на 2/3 ссылок. Утром треть допарсил.
     
  7. Denorion

    Denorion Member Пользователи

    Регистрация:
    7 апр 2020
    Сообщения:
    45
    Город:
    Москва
    Вот пример. Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! Парсится в один поток. В несколько потоков сделать не смогу на яндексе. Если подойдет - 1500 фунтов стерлингов за проект.
     
  8. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    404
    у меня проект есть, я раньше собирал норм ссылки, с антикапчей, айпи статический да.
    сейчас просто в самом проекте при парсинге не сохраняет ссылки на товары, т.е. что то поменялось в верстке яндекса

    1500 это проект сбора и парсинга товаров?
     
  9. Denorion

    Denorion Member Пользователи

    Регистрация:
    7 апр 2020
    Сообщения:
    45
    Город:
    Москва
    В личку написал
     
  10. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.891
    Город:
    Riga
    Скиньте проект в лс, может там просто фильтр ссылок поправить.
     

Поделиться этой страницей