Вопросы по парсингу сайта на скриптоформируемых URL

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем mpn, 14 янв 2013.

  1. mpn

    mpn New Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    2
    Прочитал весь форум, купил программу, нет возможности оплатить kagorec настройку, пробую сам, но , как говориться ни х.... .

    Вопросы:
    1. Парсю простецкую доску объявлений ввиде HTML файлов для создания аналогичного своего сайта.
    КАК изменить URL внутри спарсенного текста, что страницы автономно можно было залить на хостинг и переходить со страницы на страницу ?

    Сейчас все ссылки такие С://content/article1.htm, а надо /article.htm

    Как выводить файлы с назначаемыми именами ,например 1.htm .По умолчанию article.htm ?

    2. Серьезный вопрос.
    Есть сайт, который не выдает ссылки по порядку 1-2-3-4 и {num} тут не поможет . Сайт формирует УРЛы скриптом+дата+категория+название товаров. В итоге получается, что страницы выглядят так /uslugi/mashina/35353453/traktor-k75-novyi-nedorogo_14_01_2013_97834559.htm

    Сайт выдает только заголовки объявлений.
    Ссылки недоступны для гостей Костя
    Ссылки недоступны для гостей Коля

    Заголовки являются ссылкой вида /uslugi/mashina/35353453/traktor-k75-novyi-nedorogo_14012013_97834559.htm
    Ссылка формируется из текста, заголовка, даты и т.д. Ссылка каждый раз уникальна и проходит проверку при добавлении объявления.
    Вопрос - КАК парсить сайт, если УРЛы уникальны и их миллионы.

    Как парсить такой сайт ? Через сканер сайтов вычислять ссылки ?


    :eek: :)
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте. Спасибо!
    Да, ссылки собирать сканером сайтов Ссылки недоступны для гостей
    Переименовывать документы макросом шаблона вывода DOCSNAMES Ссылки недоступны для гостей
    Ссылки в коде менять поиск-заменой Ссылки недоступны для гостей
    Удачи!
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Ссылки недоступны для гостей
    п.с. это наипростейший и специальный метод, из нескольких методов сбора ссылок)
    ---
    вместе ответили))
     
  4. mpn

    mpn New Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    2
    Спасибо, немного прояснилось.
     

Поделиться этой страницей