Задача передать ссылки в Wbapp

Тема в разделе "Решение различных задач по парсингу", создана пользователем ivanstrekalov, 10 дек 2018.

  1. ivanstrekalov

    ivanstrekalov New Member Пользователи

    Регистрация:
    8 апр 2018
    Сообщения:
    17
    Город:
    Петербург
    Задача передать ссылки в Wbapp из повторяющейся границы и спарсить весь контент с этих ссылок в один файл.
    Пример:
    парсер проходит по ссылкам:
    ссылка1.html
    ссылка2.html
    ...
    ссылка100.html
    По списку ссылок парсер на каждой странце выбирает блок со ссылками.
    Ссылки имеют следующую структуру:
    ссылка1_1.html
    ссылка1_2.html
    ссылка1_3.html
    ссылка1_4.html
    Мы их забираем через повторяющиеся границы парсинга.
    Тут все понятно.
    Как передать каждую конкретную ссвылку ПОДРЯД в Wbapp (ссылка1_1.html -> ссылка1_2.html->ссылка1_3.html->ссылка1_4.html) и из каждой забрать часть кода, который надо сохранить в один файл?
    article1.txt (где есть части из ссылка1_1.html затем код из ссылка1_2.html затем код из ссылка1_3.html затем код из ссылка1_4.html )
    article2.txt (где есть части из ссылка2_1.html затем код из ссылка2_2.html затем код из ссылка2_3.html затем код из ссылка2_4.html )
    Буду благодарен за помощь. Пака что не представляю как это сделать.
     
    ivanstrekalov, 10 дек 2018
    #1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
    Root, 10 дек 2018
    #2
  3. ivanstrekalov

    ivanstrekalov New Member Пользователи

    Регистрация:
    8 апр 2018
    Сообщения:
    17
    Город:
    Петербург
    Спасибо. [WBAPP(C:\Users\Sila\Desktop\CDDATATEST2.wbapp|Ссылки недоступны для гостей
    [CDDATA:1]<CD_CYCLE_GRAN_4!>[/CDDATA] - внутри будут ссылки через запятую.

    А WBapp будет ходить по ним по очереди Так:

    [REPEAT]
    [GO]:[CDDATA:links]
    [GETHTML]: <body>{get}</body>{get}|
    [/REPEAT]

    И весь контент массива ссылок сохраняется в один файл?
     
    ivanstrekalov, 11 дек 2018
    #3
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вы предоставляете решение и тут же спрашиваете результат его работы. Вам не кажется это нелогичным? Что вам мешает попробовать?
     
    Root, 11 дек 2018
    #4
    ivanstrekalov нравится это.
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    И почему именно [WBAPP] для решения этой задачи.

    Проще и производительнее подгружать контент по ссылкам с помощью макроса GETMORECONTENT.
     
    Последнее редактирование: 11 дек 2018
    Root, 11 дек 2018
    #5
  6. ivanstrekalov

    ivanstrekalov New Member Пользователи

    Регистрация:
    8 апр 2018
    Сообщения:
    17
    Город:
    Петербург
    У меня не ссылки на файлы, а вэбстраницы HTML с которых надо спарсить куски контента. И со всех вэбстраниц из повторяющихся границ все части соединить в 1 файл txt
     
    Последнее редактирование: 11 дек 2018
    ivanstrekalov, 11 дек 2018
    #6
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ошибся, имел ввиду макрос GETMORECONTENT

    Ссылки недоступны для гостей
     
    Root, 11 дек 2018
    #7
Similar Threads
  1. catol

    Передать перенную из WBApp обратно в CD

    catol, 20 авг 2014, в разделе: WBAppIE
    Ответов:
    8
    Просмотров:
    1.817
    catol
    21 авг 2014
  2. cd-market@bk.ru

    Задача: передать куки только один раз перед началом парсинга из WBapp

    cd-market@bk.ru, 2 окт 2015, в разделе: WBAppIE
    Ответов:
    1
    Просмотров:
    1.076
    Root
    2 окт 2015
  3. Dobryanov

    Как из WBAPP передать код элемента внутри JS (без клика)

    Dobryanov, 24 ноя 2016, в разделе: WBAppIE
    Ответов:
    10
    Просмотров:
    1.372
    Root
    25 ноя 2016
  4. Kreol

    Передать в WBApp несколько PARAM

    Kreol, 9 дек 2017, в разделе: WBAppIE
    Ответов:
    2
    Просмотров:
    447
    Kreol
    9 дек 2017
  5. sten30

    Нужно передать ссылку из Wbapp после перехода, но передает начальную ссылку.

    sten30, 23 май 2018, в разделе: WBAppIE
    Ответов:
    1
    Просмотров:
    354
    xLime
    25 май 2018
Загрузка...

Поделиться этой страницей