Блокирует сайт при парсинге отзывов со страниц

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Skandar, 3 июн 2012.

  1. Skandar

    Skandar New Member Пользователи

    Регистрация:
    13 апр 2012
    Сообщения:
    9
    Есть ссылки вида www.otzyv.ru/read.php?id=138773
    Передал куки.
    Задал границы вида: </table></noindex> - </font>
    Т.е. что бы парсился только сам текст из отзыва.

    Видимо там ограничение на одновременные подключения - страницы перестают открываться. Поэтому выставил 1 поток с паузой 5000.

    Но парсятся пустые сраницы, хотя при выставлении границ код содержимого сраницы отображается.
     
    Последнее редактирование модератором: 4 июн 2012
    Skandar, 3 июн 2012
    #1
  2. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Используйте прокси. Посмотрите вот эту тему "Прокси"
     
    Valiks, 4 июн 2012
    #2
  3. Skandar

    Skandar New Member Пользователи

    Регистрация:
    13 апр 2012
    Сообщения:
    9
    Даже при использовании AOR и задержки в 20 сек - пустые файлы.
     
    Последнее редактирование: 4 июн 2012
    Skandar, 4 июн 2012
    #3
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Через Avor все парсит прекрасно, кстати и не нужно указывать паузы!
    В парсере кнопка "Дополнительно" укажите там где user agent Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
    И 5 потоков без паузы.
    Теперь включите Avor и попробуйте с такими настройками HTTP
    [​IMG]

    п.с. не забудьте в Авор-е указать процесс Content Downloader
     
    kagorec, 4 июн 2012
    #4
  5. Skandar

    Skandar New Member Пользователи

    Регистрация:
    13 апр 2012
    Сообщения:
    9
    UPD.

    Даже при таких настройках пустые страницы парсятся
     
    Последнее редактирование: 6 июн 2012
    Skandar, 5 июн 2012
    #5
Similar Threads
  1. Savelife

    Пробелы при парсинге из-за страниц с кодом 404

    Savelife, 10 июл 2015, в разделе: Разное
    Ответов:
    1
    Просмотров:
    1.110
    Root
    10 июл 2015
  2. Werter

    Сайт полностью блокирует парсинг

    Werter, 17 сен 2015, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    9
    Просмотров:
    2.114
    Werter
    18 сен 2015
  3. cd-market@bk.ru

    Сайт блокирует доступ к нему из парсера , помогите решить проблему

    cd-market@bk.ru, 22 сен 2015, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    1
    Просмотров:
    1.131
    Root
    22 сен 2015
  4. AntonS

    Не срабатывает прокрутка страниц при парсинге

    AntonS, 3 ноя 2015, в разделе: WBAppIE
    Ответов:
    3
    Просмотров:
    1.200
    Root
    4 ноя 2015
  5. Семен Семеныч

    При парсинге играет музыка со страниц

    Семен Семеныч, 8 ноя 2015, в разделе: Решение различных задач по парсингу
    Ответов:
    2
    Просмотров:
    750
    Семен Семеныч
    9 ноя 2015
Загрузка...

Поделиться этой страницей