помощь в парсинге определенного сайта

Тема в разделе "Решение различных задач по парсингу", создана пользователем Root, 10 мар 2010.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Конечно, можете. Его Skype - Kagorec
    Спасибо!
     
  2. Dron25

    Dron25 Well-Known Member Пользователи

    Регистрация:
    17 июн 2014
    Сообщения:
    263
    Здравствуйте парсил очень много страниц с потоком 50 и наверное получил банан
    при заходе на сайт пишет 403 Forbidden

    вопрос: когда проходит бан и что для этого надо делать?
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Ссылки недоступны для гостей
     
  4. Dron25

    Dron25 Well-Known Member Пользователи

    Регистрация:
    17 июн 2014
    Сообщения:
    263
    интернет переподключал, куки чистил

    значит придется ждать, спасибо за ссылку
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Похоже на поведение Авито. Если Авито парсите, то вам так и так надо будет включить Internet Explorer (DOM) в ctrl+h. Через IE после переподключения интернета Авито парсится =)
    Также замечено, что Авито (номера с Авито) нужно парсить в 1 поток с паузой 10 000 секунд
     
  6. Dron25

    Dron25 Well-Known Member Пользователи

    Регистрация:
    17 июн 2014
    Сообщения:
    263
    сайт битрикса, бан поймал после где то 50 тыс ссылок в 50 потоков
    думаю вопрос времени, писал сюда думал может есть какой то вариант выйти из бана
     
  7. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    прокси, смена айпи
     
  8. Dron25

    Dron25 Well-Known Member Пользователи

    Регистрация:
    17 июн 2014
    Сообщения:
    263
    Прошло уже не мало дней а при заходе на
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    дальше висит 403 Forbidden

    Нету никаких еще вариантов чтоб пускало на сайт ?
     
  9. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Что именно вы хотите сделать, зашел нормально, только включил яваскрипт.
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Его сайт забанил =)
    Попробуйте почистить Cookies, сменить IP
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Или прокси хороший(ие) найдите! Через прокси парсите)
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Прокси прописываются в ctrl+r! =)
     
  13. Мурат

    Мурат New Member Пользователи

    Регистрация:
    2 фев 2015
    Сообщения:
    2
    Объясните пожалуйста, как можно выдрать только коды видео с описаниями с этого сайта
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    если это вообще возможно,так как я понимаю видео подгружается откуда то.
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Что вы имеете ввиду под словами "коды видео"?
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Может быть это:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    ->>>
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  16. Мурат

    Мурат New Member Пользователи

    Регистрация:
    2 фев 2015
    Сообщения:
    2
    В общем хочу реализовать кино сайт на wp,для этого мне нужно спарсить фильмы,а откуда их брать толом не пойму.Я так понимаю это будет второй код.
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Первый код присутствует в исходном коде WEB-страницы. А второй код получается из первого макросом шаблона вывода [BASE64DECODE]:
     
  18. redfox

    redfox New Member Пользователи

    Регистрация:
    18 фев 2013
    Сообщения:
    35
    Как при пасинге ссылок с страницы, выдернуть только те, что в nofollow стоят?
     
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.
    Задать повторяющиеся границы парсинга нужным образом. Например, начало парсинга - rel="nofollow">, конец парсинга - </a> (зависит от сайта, с которого парсите).

    С уважением к вам, Сергей...
     
  20. redfox

    redfox New Member Пользователи

    Регистрация:
    18 фев 2013
    Сообщения:
    35
    Здравствуйте Сергей.
    Я думал про такой вариант. Но он не подходит. rel=nof может стоять в начале, или конце. А я как узнаю то? А вдруг не попаду? :)
    А нет такого, что-бы указать в парсинге какойто атрибут, при наличии которого ссылка бы не фильровалась? Как к примеру в фильтрации ссылок?
     

Поделиться этой страницей