падение программы при большом количестве ссылок или параметры для очереди ссылок

Тема в разделе "Решение различных задач по парсингу", создана пользователем Ilya2, 21 авг 2023.

  1. Ilya2

    Ilya2 New Member Пользователи

    Регистрация:
    1 мар 2022
    Сообщения:
    2
    Объемный сайт производителя Ссылки недоступны для гостей , беру только товары на русском языке, заметил что в очередь парсинга попадает большое количество ссылок с параметрами Ссылки недоступны для гостей (но по сути один и тот же урл), как отрезать параметры в очереди не разобрался.
    Ссылки недоступны для гостей тут настройки программы
    Включал и с MemSave все равно через какое-то(пару дней) программа падает либо вылетает либо Memory Out. При этом scaner_backup.scaner Достигает до 1.7Гб.
    Прошу помощи или по обрезанию параметров у урлов очереди или по тому чтоб программа с такими объемами не падала, уж очень нужно забрать товары, уровень пользователя программой новичек.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    В сканере используйте форму "поиск-замена", или удаление параметров "дополнительно"

    [​IMG]
     
    Ilya2 нравится это.

Поделиться этой страницей