Ограничение файла SCANNER_RES_LINKS

Тема в разделе "Сбор ссылок сканером сайтов", создана пользователем SEO_Tesla, 19 июн 2019.

  1. SEO_Tesla

    SEO_Tesla New Member Пользователи

    Регистрация:
    7 май 2019
    Сообщения:
    5
    Город:
    Воронеж
    Суть: При сканирование сайта, оказывается большой объем ссылочной массы более 14млн. Файл SCANNER_RES_LINKS наполняется до 2 гб и процесс парсинга ссылок прекращается.
    Есть возможность расширить объем данных записываемых ссылок в файл txt? Или сделать фичу, когда файл заполнился создавался еще один файл и процесс продолжился. Фильтр ссылок включен.
     

    Вложения:

    • 1.jpg
      1.jpg
      Размер файла:
      366,3 КБ
      Просмотров:
      5
    • 1233.jpg
      1233.jpg
      Размер файла:
      102,4 КБ
      Просмотров:
      5
    SEO_Tesla, 19 июн 2019
    #1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Прекращается каким образом? Сканер ссылок прекращает парсить или просто в файл ссылки не дозаписываются? Сколько при этом в диспетчере задач программа занимает процессора?
     
    Root, 19 июн 2019
    #2
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Теперь будут создаваться новые файлы с найденными ссылками при превышении первым размера ~1.2GB
     
    Root, 19 июн 2019
    #3
    kagorec нравится это.
  4. SEO_Tesla

    SEO_Tesla New Member Пользователи

    Регистрация:
    7 май 2019
    Сообщения:
    5
    Город:
    Воронеж
    Благодарю за доработки. Очень помогает при сканирование больших емких проектов.
     
    SEO_Tesla, 29 июн 2019
    #4
    Root нравится это.
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.
     
    Root, 29 июн 2019
    #5
Similar Threads
  1. portret32

    Ограничение в проекте

    portret32, 17 май 2014, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    11
    Просмотров:
    1.330
    Root
    21 май 2014
  2. aresa

    Ограничение повторов

    aresa, 17 окт 2015, в разделе: Решение различных задач по парсингу
    Ответов:
    14
    Просмотров:
    1.152
    Root
    19 окт 2015
  3. dmitryt

    Ограничение потоков

    dmitryt, 23 окт 2015, в разделе: Решение проблем с использованием программы
    Ответов:
    4
    Просмотров:
    1.341
    Root
    6 дек 2015
  4. Djahat

    Как брать данные из файла построчно, и тут же записывать в конец файла

    Djahat, 31 окт 2017, в разделе: Макросы шаблона вывода
    Ответов:
    3
    Просмотров:
    552
    Djahat
    2 ноя 2017
  5. CSVCS

    Как поменять маску имени файла вывода CSV

    CSVCS, 30 ноя 2017, в разделе: Сохранение результата парсинга контента
    Ответов:
    5
    Просмотров:
    1.403
    xLime
    27 июн 2022
Загрузка...

Поделиться этой страницей