Парсить из выделенного сервера

Тема в разделе "Автоматизация парсинга", создана пользователем User123, 2 окт 2018.

  1. User123

    User123 New Member Пользователи

    Регистрация:
    23 май 2015
    Сообщения:
    51
    Здравствуйте.

    Скажите пожалуйста можно ли парсить из арендованного сервера?
    Если я закачаю программу Content Downloader на сторонний сервер, то как мне её нужно активировать?
    Всё так же как и на домашнем компьютере? Ввести пароль и логин и всё?

    Подскажите дешевый сервер из которого можно парсить в пределах 5 долларов в месяц?
    digitalocean.com пойдет для этих целей?
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Подойдет любой Windows сервер соответствующий системным требованиям:
    – Windows 7 и выше (Рекомендуется использовать программу на OS Windows7 64-bit!);
    – Наличие в системе диска с меткой C;
    – Права администратора в системе;
    – Internet Explorer Версии 11 и выше;
    – Разрешение экрана: от 1366*768 до 1920*1080;
    – Стабильный интернет без прокси в 512 и более кбит/с;
    – Мощность не меньше чем: CPU 2ghz, RAM 2gb, а диск в зависимости от принципа парсинга иногда 5gb вполне достаточно
    – Так как Content Downloader использует некоторые системные библиотеки DLL, требуется их полная работоспособность.

    Стоит учитывать важный момент - при парсинге с использованием wbapp, возможно понадобится сервер с запасом по мощности.

    п.с. по надобности обращайтесь, помогу выбрать сервер и настроить (платно).
     
    Последнее редактирование: 2 окт 2018
    User123 нравится это.
  3. User123

    User123 New Member Пользователи

    Регистрация:
    23 май 2015
    Сообщения:
    51
    Спасибо за ответ. Попробовал сам сделать. Зарегистрировал бесплатный Amazon удаленный компьютер.
    Там сервер windows server 2013 вроде
    При парсинге возникла проблема, почему то 404 страницы парсились wbapp и шли в запись пустыми. Ничего не смог с этим сделать. И капча гугла переодически в cloudflare
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Когда источник защищен через Cloudflare, то помогает библиотека WIN, при парсинге через wbapp парсинг в один поток с паузами, бывает очень строго настроен cloudflare и там слишком часто заглушка с новой каптчей.
     

Поделиться этой страницей