Подскажите, есть пару вопросов

Тема в разделе "Функции и интерфейс программы", создана пользователем freemast, 17 апр 2017.

  1. freemast

    freemast New Member Пользователи

    Регистрация:
    14 апр 2017
    Сообщения:
    5
    Подскажите может есть такой функционал к примеру:

    Запарсил я ссылки вчера, сегодня начал парсить контент, за это время некоторые ссылки превратились в ошибку 404 (были удалены пользователем), может есть такой функционал чтобы проверить это и не записывать в csv такие страницы? (а то записываются одни разделители)

    Еще вопрос может есть где настройка такая чтобы WBApp не всплывал по верх всех страниц при парсинге, а то компом пользоваться невозможно при парсинге ?

    И последний вопрос, можно при парсинге собирать в zip файлы? (упаковать csv файл и файлы картинок относящихся к записям в этом csv файле в один zip архив)

    Спасибо!
     
    freemast, 17 апр 2017
    #1
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте
    Опять же, почему не приводите ссылки?
    1) Обычно 404 не попадает в итоговый файл и так. Если у вас например в шаблоне прописано <CD_DOCURL!> тогда по идее должна будет остаться только ссылка.
    Если же есть получение имени в границе <h1>404</h1>, то возможно вы и получаете 404 в файл, тогда используйте фильтрацию shift+ctrl+f там интуитивно понятно вроде как работать (выбираем границу к которой надо применить, в текстовое поле написать что искать, внизу выбрать что делать с документом)
    2) при нажатии ctrl+w внизу слева есть галочка показывать при парсинге (она должна быть снята), но wbapp сам по себе всегда виден (вроде бы)
    3) Только если вы сами пропишите данные к программе и все ключи (нажав ctrl+u справа посередине окошко)
     
    Kreol, 17 апр 2017
    #2
    freemast нравится это.
  3. Dron25

    Dron25 Well-Known Member Пользователи

    Регистрация:
    17 июн 2014
    Сообщения:
    263
    Добрый день
    делаете границу обязательной
    [​IMG]
    иногда сканирую все ссылки на сайте и таким методом беру только страницы с ценой например
     
    Dron25, 17 апр 2017
    #3
    freemast нравится это.
  4. freemast

    freemast New Member Пользователи

    Регистрация:
    14 апр 2017
    Сообщения:
    5
    там не стандартная 404

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 5 постов.**
    понял, кажется лучше парсить в базу а потом из базы собрать картинки и csv в zip

    с работало

    То что нужно, заработало
     
    freemast, 17 апр 2017
    #4
Similar Threads
  1. samadhy

    Нужно пару функций

    samadhy, 10 май 2010, в разделе: Decorator
    Ответов:
    3
    Просмотров:
    3.805
    igor3310
    24 фев 2011
  2. Dumka

    Кто хочет работать на перспективу? Нужны пару толковых человек...

    Dumka, 19 апр 2012, в разделе: Свободный форум
    Ответов:
    4
    Просмотров:
    2.444
    Dumka
    29 апр 2012
  3. artproma

    Купил прогу, есть пара вопросов.

    artproma, 4 фев 2013, в разделе: Решение проблем с использованием программы
    Ответов:
    1
    Просмотров:
    1.670
    Root
    4 фев 2013
  4. robotwerder

    новичок .. есть пара вопросов по парсингу

    robotwerder, 25 авг 2015, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    4
    Просмотров:
    1.031
    Root
    9 сен 2015
  5. Demontager

    Пару тривиальных задач

    Demontager, 24 ноя 2015, в разделе: Решение различных задач по парсингу
    Ответов:
    5
    Просмотров:
    769
    kagorec
    25 ноя 2015
Загрузка...

Поделиться этой страницей