Как устранить переполнение памяти при многократном использовании события [GETHTML]

Discussion in 'WBAppIE' started by gkelektro, Mar 21, 2018.

  1. gkelektro

    gkelektro New Member Пользователи

    Joined:
    Dec 15, 2017
    Messages:
    8
    Всем привет !
    помогите собрать ссылки с помощью программы
    Ссылки недоступны для гостей

    делал шаблон по пагинации пробовал ходить по страницам WBAPP но как то все медленно работает
    и WBAPP виснет и макрос не передает ссылки GETHTML если запустить цикл на 2000 страниц

    может что-то не правильно делаю

    порой руками получается быстрее собрать ссылки с помощью плагина linkgopher
     

    Attached Files:

    gkelektro, Mar 21, 2018
    #1
  2. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    GETHTML на 2000 циклов это конечно перебор для wbapp, с такими страницами.
    Используйте снифер заголовков HTTP, для броузера Mozilla адоны HTTP Live hedaer или HTTPFox.

    С помощью снифера обнаружил ссылки по которым быстро без wbapp, можно запускать сбор ид товаров.
    Code:
    https://rs24.ru/OA_HTML/jsonsearch.htm?Nrpp=16&No=0&Ns=R70|1&rem=100007566
https://rs24.ru/OA_HTML/jsonsearch.htm?Nrpp=16&No=16&Ns=R70|1&rem=100007566
https://rs24.ru/OA_HTML/jsonsearch.htm?Nrpp=16&No=32&Ns=R70|1&rem=100007566
https://rs24.ru/OA_HTML/jsonsearch.htm?Nrpp=16&No=48&Ns=R70|1&rem=100007566
...
     
    kagorec, Mar 22, 2018
    #2
    xLime likes this.
  3. gkelektro

    gkelektro New Member Пользователи

    Joined:
    Dec 15, 2017
    Messages:
    8
    Привет id товара мне не нужно ,мне нужно собрать ссылки типа Ссылки недоступны для гостей

    я не понимаю почему программно нельзя это сделать
    при задании границы парсинга в окне эти ссылки видны
     
    gkelektro, Mar 22, 2018
    #3
  4. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Ссылки недоступны для гостей - в конце ссылки меняется цифровой id
    Это уже програмно встроено. На вкладке ССЫЛКИ кнопка [FIND] , выдергивать id с помощью {get}
    В wbapp видно, а также видно без wbapp (только на первой странице)
     
    kagorec, Mar 22, 2018
    #4
  5. gkelektro

    gkelektro New Member Пользователи

    Joined:
    Dec 15, 2017
    Messages:
    8

    ок спасибо , но это не то решение которое я ищу, да и программа жутко виснет при задании границ и предпросмотре если использовать DOM
    плагин Ссылки недоступны для гостей выдергивает ссылки в 2 клика
    без проблем настроив фильтр , единственно что нужно автоматизировать процесс хождения по страницам
     
    Last edited: Mar 22, 2018
    gkelektro, Mar 22, 2018
    #5
    kagorec likes this.
  6. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    IMACROS в мозилла броузере запускается с командной строки. Как вариант решения тех задачь что не получалось в CD.
     
    kagorec, Mar 22, 2018
    #6
  7. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    2018-03-22_19-39-58.png 2018-03-22_19-41-42.png 2018-03-22_19-45-31.png
     

    Attached Files:

    Root, Mar 22, 2018
    #7
  8. gkelektro

    gkelektro New Member Пользователи

    Joined:
    Dec 15, 2017
    Messages:
    8
    Спасибо за помощь ссылки вижу но WBAP при запуске цикла 2114 умирает напрочь
    руками через плагин соберу быстрей
     
    gkelektro, Mar 22, 2018
    #8
Similar Threads
  1. zyzy

    Нехватка памяти

    zyzy, Dec 4, 2013, in forum: Решение проблем с использованием программы
    Replies:
    5
    Views:
    1,506
    zyzy
    Dec 4, 2013
  2. ilshat

    Как устранить склейку тэгов из разных строк

    ilshat, Jan 18, 2014, in forum: Решение различных задач по парсингу
    Replies:
    4
    Views:
    1,129
    ilshat
    Jan 18, 2014
  3. Бука

    [GETHTML] правильный синтаксис

    Бука, Nov 7, 2014, in forum: WBAppIE
    Replies:
    13
    Views:
    2,238
    Root
    Nov 11, 2014
  4. ajivitca

    переполнение в строке 1

    ajivitca, Dec 25, 2015, in forum: WBAppIE
    Replies:
    1
    Views:
    1,209
    ajivitca
    Dec 25, 2015
  5. pagemaster

    Остановка парсинга (переполнение памяти)

    pagemaster, Nov 24, 2017, in forum: Решение проблем с использованием программы
    Replies:
    23
    Views:
    2,160
    pagemaster
    Dec 4, 2017
Loading...

Share This Page