Таймаут при недоступности страницы

Тема в разделе "Функции и интерфейс программы", создана пользователем w0nd3r, 23 фев 2013.

  1. w0nd3r

    w0nd3r New Member Пользователи

    Регистрация:
    18 фев 2013
    Сообщения:
    2
    Приветствую, возникла такая проблема. Паршу гугл, проксей на него ненапасёшся, поэтому пользуюсь скриптом автосмены ип (реконект, ип динамика) но пока подключение возобновляется(нет интернета)- cd пачками пропускает ссылки для парсинга. Можно ли както сделать, что бы он ожидал хотябы минуту, а не считал эту страницу недоступной? настройки>опции программы>connect timeout пробовал, похоже, что это немного не то) Ещё добавлю, что галочку остановки при бане, юзать не хотелось бы, так как процес парсинга происходит в моё отсутствие(вот еслиб такуюже штуку, только что бы потом сама начинала дальше парсить, ах мечты:) ).
    upd: nikolas1612 , снова выручаеш, респект! :)
     
    Последнее редактирование: 23 фев 2013
  2. nikolas1612

    nikolas1612 Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    насколько я знаю, эта опция уже доработана именно с учетом таких пожеланий. в случае бана через заданный Вами промежуток времени парсинг возобновляется сам. покопайтесь в этих опциях, поэкспериментируйте с пустой границей или отсутствием ответа (разные варианты бана). а если на эти опции накрутить еще и "повторно парсить незагруженные ссылки" + "пытаться повторно загружать документы" то CD ничего не пропустит. Гугль офигеет от назойливых запросов. правда, если они жестко схлестнутся - пойдет позиционная война, а это очень медленно.
     
  3. spake

    spake New Member Пользователи

    Регистрация:
    23 фев 2013
    Сообщения:
    2
    А куда именно заходить? Я сейчас поковырялся ничего подобного не нашел, тоже очень интересует решение данного вопроса.
    Заранее благодарен за помощь.
     
  4. nikolas1612

    nikolas1612 Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    -----------------------
     

    Вложения:

    • 1111111111.jpg
      1111111111.jpg
      Размер файла:
      43,1 КБ
      Просмотров:
      25
    • 22222222.jpg
      22222222.jpg
      Размер файла:
      38,4 КБ
      Просмотров:
      23
    • 33333333.jpg
      33333333.jpg
      Размер файла:
      34,5 КБ
      Просмотров:
      23
  5. spake

    spake New Member Пользователи

    Регистрация:
    23 фев 2013
    Сообщения:
    2
    Спасибо огромное за помощь, так все элементарно, правда, как я сразу не увидел))
     

Поделиться этой страницей