Парсинг по движку - как создать несколько файлов для разных движков

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем greate, 11 май 2015.

  1. greate

    greate New Member Пользователи

    Регистрация:
    28 мар 2015
    Сообщения:
    17
    Здравствуйте. спарсил весь Рамблер каталог - более 130к ссылок. теперь отсеиваю по движкам. ума хватило только на такое: в фильтр добавляю признаки движка (уникальный текст, который есть только на сайтах с этими движками) - одного, по этим признакам идет отсеивание - либо добавлять в текстовый файл адрес сайта, либо нет. по отдельности для каждого движка сканировать очень долго - больше 20 потоков ставить не могу и одно полное сканирование занимает 6ч. А можно ли сделать так: куда то в программе забить признаки нескольких движков и при нахождении какого то одного признака чтобы адрес сайта записывался в какой то определенный, заранее указаный текстовый файл. Спасибо.
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!

    Примените макрос
    Код:
    [CHECKENTRY(opencart)][DOCSOURCE][THENTEXT]opencart[/CHECKENTRY]
    и так для каждого движка.
    поситать про вариации работы данного макроса можно тут Ссылки недоступны для гостей
     
  3. greate

    greate New Member Пользователи

    Регистрация:
    28 мар 2015
    Сообщения:
    17
    примерно понятно - проверяем вхождение строки. а как указать, в какой именно файл сохранять? и что такое opencart?? в справке не нашел.
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    А зачем вам файл?
    Создайте простой проект csv и для каждой колонки присвойте свой движок.
    Смотрите проект
     

    Вложения:

    • CMS.cdp
      Размер файла:
      27,6 КБ
      Просмотров:
      7
  5. greate

    greate New Member Пользователи

    Регистрация:
    28 мар 2015
    Сообщения:
    17
    Спасибо. Подходит) Оказывается все так просто... Завтра допарсю ЯК, немного переделаю под себя и начну гонять на движки. Если нужен готовый ЯК с разбивкой или просто весь ЯК - обращяйтесь)
     

Поделиться этой страницей