Как подгрузить картинки если сайт сразу банит?

Тема в разделе "Решение различных задач по парсингу", создана пользователем rusalex, 28 мар 2019.

  1. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Город:
    Kiev
    Здравствуйте друзья.
    Вот здесь Ссылки недоступны для гостей
    Подскажите как увидеть картинки и в какой конфигурации их подгрузить??

    У фото вот такие конструкция

    Ссылки недоступны для гостей

    Но по HTML ее не видно, также не нашел через плагин Хейдер в Мазиле!
    как правило фото 2 или 4, я-то конфигурацию сделал и можно скачать, но парсить надо с большими паузами, а то сайт сразу банит и лишнии пустые ссылки ненужны.

    Подскажите, буду очень признателен!
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Что требуется? Сделать паузы перед каждым скачиванием картинки макросом DOWNLOADFILE?
     
    rusalex нравится это.
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Парсить используя прокси пробовали?
     
    rusalex нравится это.
  4. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Город:
    Kiev
    У меня все скачивается и паузы я сделал 3-6 секунд все ОК. Я хотел спросить о другом!

    В html не видно ссылок на фото и как они подгружаются я не пойму? Я выставил конфигурацию для 4 фото и каждый раз у меня прокручиваются с паузами все 4 , но картинок бывает всего 2! Я хотел спросить как мне увидеть их количество? Не могу понять как они подгружаются?
    Спасибо.
     
  5. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Город:
    Kiev
    Да у меня стоит 31 прокси, но все равно сайт забанил!!!)))

    У меня вопрос как выйти из бана! сайт требует прроверку через капчу... Где почитать подскажите?

    Я понимаю, что через wbapp и я для парсинга ссылок установил прокрутку страницы вниз через нее и парсится сайт, но кажется и эту мах нацию уже пронюхали!!)))
     
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Для подобного источника крайне мало
     
    rusalex нравится это.
  7. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Город:
    Kiev
    А сколько нужно?

    Я предварительно (пробно, без заказчки фото) спарсил 2 раза для проверки всех хараетеристик и т.п.

    Первый раз в 10 потоков и паузой 1-3 сек, второй раз 1 поток 2-3 сек... все спарсилось отлично.

    Меня забанил при предпросмотре и задании границ парсинга!! И я вот не знаю с фото как будет также или в бан попаду???

    Подскажите как лучше поступить? какие рекомендации?? Я просо парсю сайты трех языках сразу с переводчиком Яндекс .

    Буду признателен за рекомендации! спасибо!!!

    Еще вопрос!

    Нашел у вас рекомендации воспользоваться ТОРом Ссылки недоступны для гостей
    Это как действует и стоит попробовать?
     
  8. cherkas

    cherkas Member Пользователи

    Регистрация:
    20 авг 2013
    Сообщения:
    54
    Адрес:
    Украина
    это тяжелый вопрос, был у меня сайт, выкачивал неделю, ставил за раз от 1000 до 2000 прокси, где то раз в сутки может в пару суток менял все прокси

    тор тоже работает, но если донор так банит, то нужно индивидуально подход искать, однозначно сказать нельзя, что Вам больше поможет. Я через тор когда то яндекс маркет успешно парсил.
     
    Последнее редактирование: 31 мар 2019
    rusalex нравится это.
  9. rusalex

    rusalex Active Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    133
    Город:
    Kiev
    Спасибо, у меня больше банит, когда скачиваю картинки и задаю конфигурацию... приходится имитировать движения по сайту... правда могу только примитивно это делать!)))
     

Поделиться этой страницей