Необходимо спарсить pravoved.ru

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Jekyll1911, 29 ноя 2018.

Статус темы:
Закрыта.
  1. Jekyll1911

    Jekyll1911 New Member Пользователи

    Регистрация:
    8 дек 2017
    Сообщения:
    3
    Город:
    Москва
    Необходимо спарсить страницы
    с Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! по Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    Столбцы должны иметь вид
    Заголовок , ссылка по заголовку, категория( если категории нет, то вставить "семейное право")
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    Пытался сделать сам, но почему-то не получается.

    Готов просто выкупить .cdp файл
    - в этом случае планирую парсить через прокси. Нужно чтобы исполнитель подсказал какие прокси можно использовать

    1000р WMR
     
    Последнее редактирование модератором: 29 ноя 2018
    Root нравится это.
  2. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.919
    Город:
    Сочи
    Для вас или для возможного исполнителя:
    При парсинге этого сайта нужно задать другой UserAgent и выбрать другую библиотеку

    2018-11-29_12-39-57.png

    Код:
    User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:63.0) Gecko/20100101 Firefox/63.0
     

    Вложения:

    • pravoved_ru.cdp
      Размер файла:
      36,5 КБ
      Просмотров:
      2
  3. Jekyll1911

    Jekyll1911 New Member Пользователи

    Регистрация:
    8 дек 2017
    Сообщения:
    3
    Город:
    Москва
    Делал. При таких настройках прокси банятся где-то после 3-й итерации
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.478
    в 1 поток с большой паузой
     
  5. Jekyll1911

    Jekyll1911 New Member Пользователи

    Регистрация:
    8 дек 2017
    Сообщения:
    3
    Город:
    Москва
    Ну так то да
    Спасибо

    А как тему закрыть?
     
    Последнее редактирование: 29 ноя 2018
  6. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.919
    Город:
    Сочи
    Готово.
     
Статус темы:
Закрыта.

Поделиться этой страницей