Как спарсить все ссылки определенной категории с Amazon.com

Тема в разделе "Разное", создана пользователем r0m41k, 5 фев 2017.

Метки:
  1. r0m41k

    r0m41k New Member Пользователи

    Регистрация:
    5 фев 2017
    Сообщения:
    2
    Подскажите пожалуйста Как спарсить все ссылки товаров определенной категории (например "Hunting & Fishing") с Amazon.com?
     
    r0m41k, 5 фев 2017
    #1
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте.
    Берете ссылку
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    и меняя page= парсите в 1 поток и с паузой так как схватите БАН
     
    Kreol, 5 фев 2017
    #2
    r0m41k и Root нравится это.
  3. r0m41k

    r0m41k New Member Пользователи

    Регистрация:
    5 фев 2017
    Сообщения:
    2
    1 поток ставлю. а какое значение паузы в "мс" ставить примерно?
     
    r0m41k, 5 фев 2017
    #3
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Навскидку:
    1000-2000
    (так и пропишите)

    С уважением к вам, Сергей.
     
    Root, 5 фев 2017
    #4
    Kreol и r0m41k нравится это.
  5. pompey

    pompey New Member Пользователи

    Регистрация:
    27 янв 2015
    Сообщения:
    20
    Здравствуйте!

    Меня например в 1 поток с паузой 1000-2000 все равно банят через 2000 запросов (страниц) примерно....
    А подскажите если через прокси парсить Амазон, то получится в многопоточном режиме? И если да, то что порекомендуете по настройкам?
     
    pompey, 17 фев 2017
    #5
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    50 потоков без паузы при наличии нескольки тысяч прокси.
     
    kagorec, 17 фев 2017
    #6
    Root нравится это.
  7. nargo

    nargo New Member Пользователи

    Регистрация:
    22 фев 2017
    Сообщения:
    1
    Спасибо
     
    nargo, 16 апр 2017
    #7
  8. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Добрый день.
    Аналогичная проблема с сайтом Ссылки недоступны для гостей. На странице товара нет навигации, поэтому раздел взять негде. Пытаюсь парсить пораздельно, но программа не находит нужных ссылок, на каждый подраздел выставляет всегда ровно 27 ссылок, причем из совершенно посторонних разделов(((. Подскажите, как задать фильтры в сканере?
     
    weresa, 30 июн 2017
    #8
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Создайте новую тему. Ваш вопрос не соответствует заголовку темы.
     
    Root, 30 июн 2017
    #9
  10. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    хорошо)
     
    weresa, 30 июн 2017
    #10
    Root нравится это.
Similar Threads
  1. balladokus86

    Как спарсить все ссылки с определенной страницы

    balladokus86, 21 окт 2012, в разделе: Решение различных задач по парсингу
    Ответов:
    0
    Просмотров:
    1.786
    balladokus86
    21 окт 2012
  2. seobot

    Как спарсить ссылки с конкретной категории?

    seobot, 4 фев 2013, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    5
    Просмотров:
    1.669
    Root
    5 фев 2013
  3. Kotenok

    Как спарсить описание с Amazon?

    Kotenok, 8 авг 2015, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    6
    Просмотров:
    1.434
    Kotenok
    9 авг 2015
  4. Алена-1

    Ссылки при условии:1. отсутсвия домена 2. определенной категории

    Алена-1, 2 ноя 2015, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    8
    Просмотров:
    1.362
    kagorec
    4 ноя 2015
  5. djjoid

    Как собрать ссылки определенной категории

    djjoid, 7 ноя 2015, в разделе: Фильтры ссылок
    Ответов:
    8
    Просмотров:
    1.575
    djjoid
    8 ноя 2015
Загрузка...

Поделиться этой страницей