"файл не сохранен: программе не удалось загрузить страницу" - какие типичные методы лечения?

Тема в разделе "Решение проблем с использованием программы", создана пользователем Lexus, 27 сен 2017.

Метки:
  1. Lexus

    Lexus New Member Пользователи

    Регистрация:
    23 фев 2017
    Сообщения:
    39
    Ссылки недоступны для гостей - такая проблема постоянно - "файл не сохранен: программе не удалось загрузить страницу", 50 потоков, пробовал меньше - не помогает.

    1) это сервер ikea.com так отвечает моему IP ? Добавление списка браузеров спасет, без прокси?
    2) или компу не хватает производительности - процессор - Intel Atom Z3775 1,46GHz, память 2Gb ? Есть ли рекомендуемые параметры к железу, к каналу интернета, wi-fi? Пробую Intel Core 2 Duo, 4Gb - несколько лучше.
    3) может быть еще какая-то причина? Кто-нибудь ikea.com парсит, есть проект стабильный? Могу свой прикрепить.
    4) очень долго парсит - больше 1.5 суток ~25000 товаров
     
    Последнее редактирование: 27 сен 2017
    Lexus, 27 сен 2017
    #1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Нужно проект тестировать. Гадать можно долго.
     
    Root, 27 сен 2017
    #2
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Разрешаем). Если вам эти слова мешали самостоятельно проверить.
    ---
    Пробуйте добавить список useragents в ctrl+h, и пробуйте TOR в прокси добавить (ctrl+r)
    п.с. наивно так в 50 потоков без паузы парсить, поскольку 10 потоков максимум и пауза 1000-2000 рекомендуется при любом источнике.
     
    kagorec, 27 сен 2017
    #3
    Lexus нравится это.
  4. Lexus

    Lexus New Member Пользователи

    Регистрация:
    23 фев 2017
    Сообщения:
    39
    Это да, согласен. Но а к железу есть какие то требования? Чтоб рабочий комп не грузить сутки, попробовал аренду на 1gb.ru - 2560 MB, 60 GB / SSD, процессор 4*2 GHz core, Xeon E5 , - тут вообще почти 2 суток парсинг, хотя конфигурация тут производительнее чем у меня на компе и проект тот же, хотя память на моем компе чуть больше - 4 Gb , Core 2 Duo, 128 Gb SSD! Вообщем хотелось бы понять как железо влияет.
     
    Lexus, 24 окт 2017
    #4
  5. Lexus

    Lexus New Member Пользователи

    Регистрация:
    23 фев 2017
    Сообщения:
    39
    выслать Вам в личку проект?
     
    Lexus, 24 окт 2017
    #5
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Есть такие сайты которые при соединении резко откликаются и отдают скачать код моментально - при такой ситуации 25.000 спарсить получиться менее чем за 60минут.
    Парсинг очень зависит от характеристик хостинга источника который парсите.
    Сколько сайтов - столько и разновидностей скорости парсинга, это все индивидуально.
     
    kagorec, 24 окт 2017
    #6
Similar Threads
  1. maxnemo

    Программе не удалось загрузить WEB-страницу

    maxnemo, 16 июн 2015, в разделе: Решение проблем с использованием программы
    Ответов:
    1
    Просмотров:
    1.309
    Root
    16 июн 2015
  2. TeslaCo

    Программе не удалось загрузить WEB-страницу

    TeslaCo, 6 окт 2015, в разделе: Разное
    Ответов:
    7
    Просмотров:
    69.776
    badha
    28 окт 2017
  3. qwdgvtgb

    Программе не удалось загрузить WEB-страницу

    qwdgvtgb, 19 янв 2017, в разделе: Решение проблем с использованием программы
    Ответов:
    15
    Просмотров:
    6.444
    ltt
    8 апр 2017
  4. Farid

    Программе не удалось загрузить WEB-страницу (Read timed out)

    Farid, 20 июл 2017, в разделе: Решение проблем с использованием программы
    Ответов:
    7
    Просмотров:
    878
    Farid
    24 июл 2017
  5. SmAiL

    Программе не удалось загрузить WEB-страницу (0)

    SmAiL, 17 окт 2017, в разделе: Решение проблем с использованием программы
    Ответов:
    7
    Просмотров:
    605
    Root
    17 окт 2017
Загрузка...

Поделиться этой страницей