Парсинг ссылок Out of memory

Тема в разделе "Решение проблем с использованием программы", создана пользователем Семен Семеныч, 6 мар 2015.

  1. Семен Семеныч

    Семен Семеныч New Member Пользователи

    Регистрация:
    6 мар 2015
    Сообщения:
    56
    Непозволяет сделать бэкап и работает с выбросом ошибки out memory
    win 8.1 64, 8gb

    [​IMG]

    [​IMG]
     
    Последнее редактирование: 6 мар 2015
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    сейчас бекап совсем стал погано работать с цифрами 500к и больше.
    Собирайте ссылки не сканером, а через категории на сайте во вкладке ссылки.
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте!

    Постараюсь оптимизировать функцию создания бекапа ссылок в сканере сайтов.
     
  4. Maximalist

    Maximalist New Member Пользователи

    Регистрация:
    15 мар 2015
    Сообщения:
    11
    мне помогла программа memBoost
    до установки парсил в 10 потоков, и Out of memory писало через каждые 5 мин (после 10К собранных вроде)
    а поставил парсинг в 50 потоков, прогу настроил на сброс RAM через каждые 15 сек
    в итоге, 200+К собрал за несколько часов :)

    ps. бук "lenovo g550" (но оперативы 4гб), вин7
     
    Последнее редактирование: 3 апр 2015
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Постарайтесь настроить сканер так чтоб ненужных ссылок поменьше попадало в очередь, так вы на порядок разгрузите сканер, и пропадут ошибки.
    Есть для этого зеленый пункт "дополнительные фильтры очереди ссылок" и в белом списке желательно указать где сканер должен работать, например только по каталогу.
    п.с. поскольку адрес сайта остается секретом, пробуйте самостоятельно.
     
  6. Maximalist

    Maximalist New Member Пользователи

    Регистрация:
    15 мар 2015
    Сообщения:
    11
    kagorec, насколько я вижу, он парсит с веблансера :)
    и у него вроде настроена категория (юзерс), в которой прога парсит данные
     
  7. zortexx

    zortexx New Member Пользователи

    Регистрация:
    5 авг 2012
    Сообщения:
    35
    Нашел такие решения. Пока не проверял. Сергей и Kagorec, не могли бы вы прокомментировать работоспособность данных вариантов?
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     

Поделиться этой страницей