Ограничение файла SCANNER_RES_LINKS

Тема в разделе "Сбор ссылок сканером сайтов", создана пользователем SEO_Tesla, 19 июн 2019.

  1. SEO_Tesla

    SEO_Tesla New Member Пользователи

    Регистрация:
    7 май 2019
    Сообщения:
    5
    Город:
    Воронеж
    Суть: При сканирование сайта, оказывается большой объем ссылочной массы более 14млн. Файл SCANNER_RES_LINKS наполняется до 2 гб и процесс парсинга ссылок прекращается.
    Есть возможность расширить объем данных записываемых ссылок в файл txt? Или сделать фичу, когда файл заполнился создавался еще один файл и процесс продолжился. Фильтр ссылок включен.
     

    Вложения:

    • 1.jpg
      1.jpg
      Размер файла:
      366,3 КБ
      Просмотров:
      5
    • 1233.jpg
      1233.jpg
      Размер файла:
      102,4 КБ
      Просмотров:
      5
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.578
    Прекращается каким образом? Сканер ссылок прекращает парсить или просто в файл ссылки не дозаписываются? Сколько при этом в диспетчере задач программа занимает процессора?
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.578
    Теперь будут создаваться новые файлы с найденными ссылками при превышении первым размера ~1.2GB
     
    kagorec нравится это.
  4. SEO_Tesla

    SEO_Tesla New Member Пользователи

    Регистрация:
    7 май 2019
    Сообщения:
    5
    Город:
    Воронеж
    Благодарю за доработки. Очень помогает при сканирование больших емких проектов.
     
    Root нравится это.
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.578
    Пожалуйста.
     

Поделиться этой страницей