Парсить из выделенного сервера

Discussion in 'Автоматизация парсинга' started by User123, Oct 2, 2018.

  1. User123

    User123 New Member Пользователи

    Joined:
    May 23, 2015
    Messages:
    51
    Здравствуйте.

    Скажите пожалуйста можно ли парсить из арендованного сервера?
    Если я закачаю программу Content Downloader на сторонний сервер, то как мне её нужно активировать?
    Всё так же как и на домашнем компьютере? Ввести пароль и логин и всё?

    Подскажите дешевый сервер из которого можно парсить в пределах 5 долларов в месяц?
    digitalocean.com пойдет для этих целей?
     
  2. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Подойдет любой Windows сервер соответствующий системным требованиям:
    – Windows 7 и выше (Рекомендуется использовать программу на OS Windows7 64-bit!);
    – Наличие в системе диска с меткой C;
    – Права администратора в системе;
    – Internet Explorer Версии 11 и выше;
    – Разрешение экрана: от 1366*768 до 1920*1080;
    – Стабильный интернет без прокси в 512 и более кбит/с;
    – Мощность не меньше чем: CPU 2ghz, RAM 2gb, а диск в зависимости от принципа парсинга иногда 5gb вполне достаточно
    – Так как Content Downloader использует некоторые системные библиотеки DLL, требуется их полная работоспособность.

    Стоит учитывать важный момент - при парсинге с использованием wbapp, возможно понадобится сервер с запасом по мощности.

    п.с. по надобности обращайтесь, помогу выбрать сервер и настроить (платно).
     
    Last edited: Oct 2, 2018
    User123 likes this.
  3. User123

    User123 New Member Пользователи

    Joined:
    May 23, 2015
    Messages:
    51
    Спасибо за ответ. Попробовал сам сделать. Зарегистрировал бесплатный Amazon удаленный компьютер.
    Там сервер windows server 2013 вроде
    При парсинге возникла проблема, почему то 404 страницы парсились wbapp и шли в запись пустыми. Ничего не смог с этим сделать. И капча гугла переодически в cloudflare
     
  4. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Когда источник защищен через Cloudflare, то помогает библиотека WIN, при парсинге через wbapp парсинг в один поток с паузами, бывает очень строго настроен cloudflare и там слишком часто заглушка с новой каптчей.
     

Share This Page