Как спарсить все ссылки определенной категории с Amazon.com

Тема в разделе "Разное", создана пользователем r0m41k, 5 фев 2017.

  1. r0m41k

    r0m41k New Member Пользователи

    Регистрация:
    5 фев 2017
    Сообщения:
    2
    Подскажите пожалуйста Как спарсить все ссылки товаров определенной категории (например "Hunting & Fishing") с Amazon.com?
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.627
    Здравствуйте.
    Берете ссылку
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    и меняя page= парсите в 1 поток и с паузой так как схватите БАН
     
    r0m41k и Root нравится это.
  3. r0m41k

    r0m41k New Member Пользователи

    Регистрация:
    5 фев 2017
    Сообщения:
    2
    1 поток ставлю. а какое значение паузы в "мс" ставить примерно?
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.637
    Здравствуйте.

    Навскидку:
    1000-2000
    (так и пропишите)

    С уважением к вам, Сергей.
     
    Kreol и r0m41k нравится это.
  5. pompey

    pompey New Member Пользователи

    Регистрация:
    27 янв 2015
    Сообщения:
    20
    Здравствуйте!

    Меня например в 1 поток с паузой 1000-2000 все равно банят через 2000 запросов (страниц) примерно....
    А подскажите если через прокси парсить Амазон, то получится в многопоточном режиме? И если да, то что порекомендуете по настройкам?
     
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.951
    Город:
    Riga
    50 потоков без паузы при наличии нескольки тысяч прокси.
     
    Root нравится это.
  7. nargo

    nargo New Member Пользователи

    Регистрация:
    22 фев 2017
    Сообщения:
    1
    Спасибо
     
  8. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    200
    Добрый день.
    Аналогичная проблема с сайтом Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! . На странице товара нет навигации, поэтому раздел взять негде. Пытаюсь парсить пораздельно, но программа не находит нужных ссылок, на каждый подраздел выставляет всегда ровно 27 ссылок, причем из совершенно посторонних разделов(((. Подскажите, как задать фильтры в сканере?
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.637
    Здравствуйте.

    Создайте новую тему. Ваш вопрос не соответствует заголовку темы.
     
  10. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    200
    хорошо)
     
    Root нравится это.

Поделиться этой страницей