Задача передать ссылки в Wbapp

Discussion in 'Решение различных задач по парсингу' started by ivanstrekalov, Dec 10, 2018.

  1. ivanstrekalov

    ivanstrekalov New Member Пользователи

    Joined:
    Apr 8, 2018
    Messages:
    17
    Город:
    Петербург
    Задача передать ссылки в Wbapp из повторяющейся границы и спарсить весь контент с этих ссылок в один файл.
    Пример:
    парсер проходит по ссылкам:
    ссылка1.html
    ссылка2.html
    ...
    ссылка100.html
    По списку ссылок парсер на каждой странце выбирает блок со ссылками.
    Ссылки имеют следующую структуру:
    ссылка1_1.html
    ссылка1_2.html
    ссылка1_3.html
    ссылка1_4.html
    Мы их забираем через повторяющиеся границы парсинга.
    Тут все понятно.
    Как передать каждую конкретную ссвылку ПОДРЯД в Wbapp (ссылка1_1.html -> ссылка1_2.html->ссылка1_3.html->ссылка1_4.html) и из каждой забрать часть кода, который надо сохранить в один файл?
    article1.txt (где есть части из ссылка1_1.html затем код из ссылка1_2.html затем код из ссылка1_3.html затем код из ссылка1_4.html )
    article2.txt (где есть части из ссылка2_1.html затем код из ссылка2_2.html затем код из ссылка2_3.html затем код из ссылка2_4.html )
    Буду благодарен за помощь. Пака что не представляю как это сделать.
     
    ivanstrekalov, Dec 10, 2018
    #1
  2. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
    Root, Dec 10, 2018
    #2
  3. ivanstrekalov

    ivanstrekalov New Member Пользователи

    Joined:
    Apr 8, 2018
    Messages:
    17
    Город:
    Петербург
    Спасибо. [WBAPP(C:\Users\Sila\Desktop\CDDATATEST2.wbapp|Ссылки недоступны для гостей
    [CDDATA:1]<CD_CYCLE_GRAN_4!>[/CDDATA] - внутри будут ссылки через запятую.

    А WBapp будет ходить по ним по очереди Так:

    [REPEAT]
    [GO]:[CDDATA:links]
    [GETHTML]: <body>{get}</body>{get}|
    [/REPEAT]

    И весь контент массива ссылок сохраняется в один файл?
     
    ivanstrekalov, Dec 11, 2018
    #3
  4. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Вы предоставляете решение и тут же спрашиваете результат его работы. Вам не кажется это нелогичным? Что вам мешает попробовать?
     
    Root, Dec 11, 2018
    #4
    ivanstrekalov likes this.
  5. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    И почему именно [WBAPP] для решения этой задачи.

    Проще и производительнее подгружать контент по ссылкам с помощью макроса GETMORECONTENT.
     
    Last edited: Dec 11, 2018
    Root, Dec 11, 2018
    #5
  6. ivanstrekalov

    ivanstrekalov New Member Пользователи

    Joined:
    Apr 8, 2018
    Messages:
    17
    Город:
    Петербург
    У меня не ссылки на файлы, а вэбстраницы HTML с которых надо спарсить куски контента. И со всех вэбстраниц из повторяющихся границ все части соединить в 1 файл txt
     
    Last edited: Dec 11, 2018
    ivanstrekalov, Dec 11, 2018
    #6
  7. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Ошибся, имел ввиду макрос GETMORECONTENT

    Ссылки недоступны для гостей
     
    Root, Dec 11, 2018
    #7
Similar Threads
  1. catol

    Передать перенную из WBApp обратно в CD

    catol, Aug 20, 2014, in forum: WBAppIE
    Replies:
    8
    Views:
    2,154
    catol
    Aug 21, 2014
  2. cd-market@bk.ru

    Задача: передать куки только один раз перед началом парсинга из WBapp

    cd-market@bk.ru, Oct 2, 2015, in forum: WBAppIE
    Replies:
    1
    Views:
    1,273
    Root
    Oct 2, 2015
  3. Dobryanov

    Как из WBAPP передать код элемента внутри JS (без клика)

    Dobryanov, Nov 24, 2016, in forum: WBAppIE
    Replies:
    10
    Views:
    1,726
    Root
    Nov 25, 2016
  4. Kreol

    Передать в WBApp несколько PARAM

    Kreol, Dec 9, 2017, in forum: WBAppIE
    Replies:
    2
    Views:
    603
    Kreol
    Dec 9, 2017
  5. sten30

    Нужно передать ссылку из Wbapp после перехода, но передает начальную ссылку.

    sten30, May 23, 2018, in forum: WBAppIE
    Replies:
    1
    Views:
    558
    xLime
    May 25, 2018
Loading...

Share This Page