Парсинг ссылок Out of memory

Тема в разделе "Решение проблем с использованием программы", создана пользователем Семен Семеныч, 6 мар 2015.

  1. Семен Семеныч

    Семен Семеныч New Member Пользователи

    Регистрация:
    6 мар 2015
    Сообщения:
    56
    Непозволяет сделать бэкап и работает с выбросом ошибки out memory
    win 8.1 64, 8gb

    [​IMG]

    [​IMG]
     
    Последнее редактирование: 6 мар 2015
    Семен Семеныч, 6 мар 2015
    #1
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    сейчас бекап совсем стал погано работать с цифрами 500к и больше.
    Собирайте ссылки не сканером, а через категории на сайте во вкладке ссылки.
     
    Kreol, 7 мар 2015
    #2
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте!

    Постараюсь оптимизировать функцию создания бекапа ссылок в сканере сайтов.
     
    Root, 7 мар 2015
    #3
  4. Maximalist

    Maximalist New Member Пользователи

    Регистрация:
    15 мар 2015
    Сообщения:
    11
    мне помогла программа memBoost
    до установки парсил в 10 потоков, и Out of memory писало через каждые 5 мин (после 10К собранных вроде)
    а поставил парсинг в 50 потоков, прогу настроил на сброс RAM через каждые 15 сек
    в итоге, 200+К собрал за несколько часов :)

    ps. бук "lenovo g550" (но оперативы 4гб), вин7
     
    Последнее редактирование: 3 апр 2015
    Maximalist, 3 апр 2015
    #4
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Постарайтесь настроить сканер так чтоб ненужных ссылок поменьше попадало в очередь, так вы на порядок разгрузите сканер, и пропадут ошибки.
    Есть для этого зеленый пункт "дополнительные фильтры очереди ссылок" и в белом списке желательно указать где сканер должен работать, например только по каталогу.
    п.с. поскольку адрес сайта остается секретом, пробуйте самостоятельно.
     
    kagorec, 4 апр 2015
    #5
  6. Maximalist

    Maximalist New Member Пользователи

    Регистрация:
    15 мар 2015
    Сообщения:
    11
    kagorec, насколько я вижу, он парсит с веблансера :)
    и у него вроде настроена категория (юзерс), в которой прога парсит данные
     
    Maximalist, 4 апр 2015
    #6
  7. zortexx

    zortexx New Member Пользователи

    Регистрация:
    5 авг 2012
    Сообщения:
    35
    Нашел такие решения. Пока не проверял. Сергей и Kagorec, не могли бы вы прокомментировать работоспособность данных вариантов?
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    zortexx, 9 апр 2015
    #7
Similar Threads
  1. lapa666

    Ошибка «out of memory»

    lapa666, 6 дек 2013, в разделе: Решение проблем с использованием программы
    Ответов:
    4
    Просмотров:
    1.723
    Root
    22 янв 2014
  2. sepro

    Out of Memory в Сканер Сайтов

    sepro, 8 авг 2014, в разделе: Решение проблем с использованием программы
    Ответов:
    5
    Просмотров:
    2.173
    Root
    9 авг 2014
  3. beach_master

    Out of Memory / Использование RAM

    beach_master, 6 июл 2015, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    15
    Просмотров:
    1.928
    Root
    21 апр 2018
  4. 4toy

    Парсинг ссылок

    4toy, 11 июл 2015, в разделе: Разное
    Ответов:
    9
    Просмотров:
    1.657
    4toy
    15 июл 2015
  5. artur

    Парсинг ссылок

    artur, 11 окт 2015, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    2
    Просмотров:
    1.009
    artur
    12 окт 2015
Загрузка...

Поделиться этой страницей