Как устранить переполнение памяти при многократном использовании события [GETHTML]

Тема в разделе "WBAppIE", создана пользователем gkelektro, 21 мар 2018.

  1. gkelektro

    gkelektro New Member Пользователи

    Регистрация:
    15 дек 2017
    Сообщения:
    8
    Всем привет !
    помогите собрать ссылки с помощью программы
    Ссылки недоступны для гостей

    делал шаблон по пагинации пробовал ходить по страницам WBAPP но как то все медленно работает
    и WBAPP виснет и макрос не передает ссылки GETHTML если запустить цикл на 2000 страниц

    может что-то не правильно делаю

    порой руками получается быстрее собрать ссылки с помощью плагина linkgopher
     

    Вложения:

    • gues.wbapp
      Размер файла:
      1,5 КБ
      Просмотров:
      1
    gkelektro, 21 мар 2018
    #1
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    GETHTML на 2000 циклов это конечно перебор для wbapp, с такими страницами.
    Используйте снифер заголовков HTTP, для броузера Mozilla адоны HTTP Live hedaer или HTTPFox.

    С помощью снифера обнаружил ссылки по которым быстро без wbapp, можно запускать сбор ид товаров.
    Код:
    https://rs24.ru/OA_HTML/jsonsearch.htm?Nrpp=16&No=0&Ns=R70|1&rem=100007566
https://rs24.ru/OA_HTML/jsonsearch.htm?Nrpp=16&No=16&Ns=R70|1&rem=100007566
https://rs24.ru/OA_HTML/jsonsearch.htm?Nrpp=16&No=32&Ns=R70|1&rem=100007566
https://rs24.ru/OA_HTML/jsonsearch.htm?Nrpp=16&No=48&Ns=R70|1&rem=100007566
...
     
    kagorec, 22 мар 2018
    #2
    xLime нравится это.
  3. gkelektro

    gkelektro New Member Пользователи

    Регистрация:
    15 дек 2017
    Сообщения:
    8
    Привет id товара мне не нужно ,мне нужно собрать ссылки типа Ссылки недоступны для гостей

    я не понимаю почему программно нельзя это сделать
    при задании границы парсинга в окне эти ссылки видны
     
    gkelektro, 22 мар 2018
    #3
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Ссылки недоступны для гостей - в конце ссылки меняется цифровой id
    Это уже програмно встроено. На вкладке ССЫЛКИ кнопка [FIND] , выдергивать id с помощью {get}
    В wbapp видно, а также видно без wbapp (только на первой странице)
     
    kagorec, 22 мар 2018
    #4
  5. gkelektro

    gkelektro New Member Пользователи

    Регистрация:
    15 дек 2017
    Сообщения:
    8

    ок спасибо , но это не то решение которое я ищу, да и программа жутко виснет при задании границ и предпросмотре если использовать DOM
    плагин Ссылки недоступны для гостей выдергивает ссылки в 2 клика
    без проблем настроив фильтр , единственно что нужно автоматизировать процесс хождения по страницам
     
    Последнее редактирование: 22 мар 2018
    gkelektro, 22 мар 2018
    #5
    kagorec нравится это.
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    IMACROS в мозилла броузере запускается с командной строки. Как вариант решения тех задачь что не получалось в CD.
     
    kagorec, 22 мар 2018
    #6
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    2018-03-22_19-39-58.png 2018-03-22_19-41-42.png 2018-03-22_19-45-31.png
     

    Вложения:

    • gues.wbapp
      Размер файла:
      1,6 КБ
      Просмотров:
      2
    Root, 22 мар 2018
    #7
  8. gkelektro

    gkelektro New Member Пользователи

    Регистрация:
    15 дек 2017
    Сообщения:
    8
    Спасибо за помощь ссылки вижу но WBAP при запуске цикла 2114 умирает напрочь
    руками через плагин соберу быстрей
     
    gkelektro, 22 мар 2018
    #8
Similar Threads
  1. zyzy

    Нехватка памяти

    zyzy, 4 дек 2013, в разделе: Решение проблем с использованием программы
    Ответов:
    5
    Просмотров:
    1.506
    zyzy
    4 дек 2013
  2. ilshat

    Как устранить склейку тэгов из разных строк

    ilshat, 18 янв 2014, в разделе: Решение различных задач по парсингу
    Ответов:
    4
    Просмотров:
    1.129
    ilshat
    18 янв 2014
  3. Бука

    [GETHTML] правильный синтаксис

    Бука, 7 ноя 2014, в разделе: WBAppIE
    Ответов:
    13
    Просмотров:
    2.238
    Root
    11 ноя 2014
  4. ajivitca

    переполнение в строке 1

    ajivitca, 25 дек 2015, в разделе: WBAppIE
    Ответов:
    1
    Просмотров:
    1.209
    ajivitca
    25 дек 2015
  5. pagemaster

    Остановка парсинга (переполнение памяти)

    pagemaster, 24 ноя 2017, в разделе: Решение проблем с использованием программы
    Ответов:
    23
    Просмотров:
    2.160
    pagemaster
    4 дек 2017
Загрузка...

Поделиться этой страницей