Не парсит ссылки в Я-Маркете

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем roman_k, 30 ноя 2015.

  1. roman_k

    roman_k Member Пользователи

    Регистрация:
    4 ноя 2015
    Сообщения:
    46
    Всей команде, привет!

    Просьба помочь - вставляю ссылку во вкладке "Ссылки": Ссылки недоступны для гостей

    Через шаблон генерации списка ссылок, создаю список из ссылок, все отлично.

    Далее при двойном клике, например на первую ссылку, выходит вот это: Документ, который вы пытаетесь загрузить, пуст (Connection Closed Gracefully)

    Еще минут 30 назад делал, нашел только 20 ссылок с 48 страниц, думал может баг какой, или неправильно что то делал. Теперь вообще говорит что документ пустой. Через сканер ссылок начинаю проверять, там он естественно грузит миллион этих ссылок на все подряд.

    Что делаю не так? может забанили? если да, то даже после включения прокси ничего не пашет...

    Спасибо за помощь!
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Судя по описанию, вы получили временный бан.

    Не факт, что прокси, которые вы добавили, уже не находятся в бане у Маркета. Также, насколько я знаю, необходимо использовать SOCKS-прокси (HTTP-прокси для парсинга Яндекс Маркета не годятся).

    Если не сможете найти подходящие прокси, рекомендую парсить в 1 поток с паузой 10000-12000 чтобы не попадать под бан. Раньше это для ЯМаркета помогало, сейчас не знаю, попробуйте...

    PS: Чтобы снять бан передайте cookies (кнопка с изображением ключика во вкладке "Контент" или во вкладке "Ссылки").

    С уважением к вам, Сергей.
     

Поделиться этой страницей