Как снять бан при парсинге (403)

Тема в разделе "Решение проблем с загрузкой WEB-страниц", создана пользователем dava002, 15 июн 2021.

  1. dava002

    dava002 Member Пользователи

    Регистрация:
    21 июл 2015
    Сообщения:
    48
    Здравствуйте, парсил Ссылки недоступны для гостей и получил бан практически сразу, роутер перезагружал ip не меняется, подскажите что делать?)
     
  2. Achronis

    Achronis Well-Known Member Пользователи

    Регистрация:
    30 июл 2020
    Сообщения:
    64
    Город:
    Барнаул
    Здравствуйте.

    Как правило сайты банят временно, подождите 15, 30, 60 минут и ваш ip должны разбанить.
    При парсинге данного сайта необходимо использовать прокси, либо уменьшать количество потоков парсинга, увеличивать задержки между запросами.
    Ссылки недоступны для гостей

    Использование прокси Ссылки недоступны для гостей
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Пробуте через прокси или через vpn
     
  4. dava002

    dava002 Member Пользователи

    Регистрация:
    21 июл 2015
    Сообщения:
    48
    что то ничего не выходит, некоторые ссылки норм, а по некоторым Программе не удалось загрузить WEB-страницу (HTTP/1.1 403 Forbidden) и это я еще не парсил, только предпросмотр и задание границ парсинга
    посмотрите пожалуйста
     

    Вложения:

    • stockx_com.cdp
      Размер файла:
      122,9 КБ
      Просмотров:
      4
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Передайте Cookie из браузера в окне задания границ парсинга вот так

    2021-06-16_10-15-59.png

    Тогда этот сайт должен парситься.

    Также послеживайте за развитием WBApp2 Ссылки недоступны для гостей
     
    Achronis нравится это.
  6. dava002

    dava002 Member Пользователи

    Регистрация:
    21 июл 2015
    Сообщения:
    48
    в общем что то все равно не выходит и прокси подключил и wbapp и куки, но парсится вначале через 1 товар, потом вообще не парсится
     

    Вложения:

    • stockx_com.cdp
      Размер файла:
      122,4 КБ
      Просмотров:
      2
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Парситься все вполне хорошо без банов через прокси.
    В Ctrl+h выберите CIS

    [​IMG]
     
  8. dava002

    dava002 Member Пользователи

    Регистрация:
    21 июл 2015
    Сообщения:
    48
    а у меня вот такая тема в задании границ и при парсинге Ссылки недоступны для гостей
     
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Встроенный броузер работает без поддержки прокси в режиму указания границ.
    На панеле в самом верху, нажмите кнопку "CODE -> WEB" для отображения страницы как видит парсер.
     
  10. dava002

    dava002 Member Пользователи

    Регистрация:
    21 июл 2015
    Сообщения:
    48
    все облазил не могу найти эту кнопку)
     
  11. dava002

    dava002 Member Пользователи

    Регистрация:
    21 июл 2015
    Сообщения:
    48
    если у вас все работает, может спарсите?)
     
  12. dava002

    dava002 Member Пользователи

    Регистрация:
    21 июл 2015
    Сообщения:
    48
    я спарсил в итоге файл пустой
     
  13. dava002

    dava002 Member Пользователи

    Регистрация:
    21 июл 2015
    Сообщения:
    48
    видимо у меня прокси не рабочие, подскажите где приобрести нормальные и какое количество нужно для парсинга этого сайта?
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если не подберете прокси, подождите пару дней. Отпишусь тут.
     
  15. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    [​IMG]
     
    Trenikola нравится это.
  16. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вот так можно выкачать WEB страницы на диск, а затем спарсить локальные документы в Content Downloader -> Ссылки недоступны для гостей
     
  18. dava002

    dava002 Member Пользователи

    Регистрация:
    21 июл 2015
    Сообщения:
    48
    а что с этими файлами дальше делать? есть инструкция?
     
  19. dava002

    dava002 Member Пользователи

    Регистрация:
    21 июл 2015
    Сообщения:
    48
    блин столько гемора, первый раз с таким сайтом сталкиваюсь и надеюсь последний, может кто нибудь спарсит через нормальные прокси и скинет мне файл, готов заплатить. файл исправленного проекта прикрепил
     

    Вложения:

    • stockx_com.cdp
      Размер файла:
      122,3 КБ
      Просмотров:
      0
  20. dava002

    dava002 Member Пользователи

    Регистрация:
    21 июл 2015
    Сообщения:
    48
    благодарю этот способ помог
    сначала не дошло что и как, благодарю за помощь

    Всем спасибо кто откликнулся!
     
    Root нравится это.

Поделиться этой страницей