!Помогите с парсингом ссылки ADDURL!

Тема в разделе "Решение различных задач по парсингу", создана пользователем pavelbe, 7 дек 2015.

  1. pavelbe

    pavelbe New Member Пользователи

    Регистрация:
    9 сен 2015
    Сообщения:
    41
    Привет.

    Очень нужна помощь с проектом.:wave:

    С помощью ADDURL добавляю ссылку в список для парсинга.
    Первую ссылку находит хорошо: domen.ru/ссылка_на_страницу

    последующие:
    domen1.ru/ссылка_на_страницу/ссылка_на_страницу/
    domen1.ru/ссылка_на_страницу/ссылка_на_страницу/ссылка_на_страницу/
    domen1.ru/ссылка_на_страницу/ссылка_на_страницу/ссылка_на_страницу/
    domen1.ru/ссылка_на_страницу/ссылка_на_страницу/ссылка_на_страницу/

    Из 50 ссылок получается более 1300, должно быть !намного_меньше!

    В архивном файле проект CD, CSV файл с результатом, файл с 50 ссылками.

    Друзья, буду признателен за помощь. :wasntme:
    Если нельзя поправить проект - напишите здесь.

    Спасибо:party:
     

    Вложения:

    • cd_problem.rar
      Размер файла:
      23,8 КБ
      Просмотров:
      7
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Для начала, опишите пожалуйста, что именно вы вообще делаете и зачем.
    Спасибо!
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Как и отвечал вам по Skype, проблема в определении текста (ссылки), которую вы вставляете в макрос [ADDURL]. Я видел ваш проект, но сразу не мог разобраться в решении этой задачи (так как нужно некоторое время вникать в механизм построения ссылки, которую передаете макросу [ADDURL]).

    Я сейчас бесплатно дорабатываю проекты настроек клиентов, только когда мне не сложно это сделать. За решение трудозатратных задач людей я сейчас не берусь.

    Пересмотрите механизм построения ссылки, доработайте его!

    С уважением к вам, Сергей.
     
  4. pavelbe

    pavelbe New Member Пользователи

    Регистрация:
    9 сен 2015
    Сообщения:
    41
    Привет.
    Есть список доменов (несколько миллионов), на них я ищу определенный текст.
    Нужно этот текст искать на главной странице домена и на странице контактов.
    Когда CD заходит на сайт где есть ссылка на контакты, он её находит и записывает в список url ( domen.ru/contacts/ )для дальнейшей работы с ней.
    Далее парсит уже страницу domen.ru/contacts/ и нужно бы остановиться, но он снова находит ссылку контакты и записывает в список url domen.ru/contacts/contacts/ и так далее по кругу.

    Есть даже какая-то закономерность - некоторые парсятся нормально (домен.ру , домен.ру/контакты) и все.

    Не могу разобраться никак. Помогитеее!!

    Выше есть файл проекта с результатом и сылки (для примера).
     
  5. pavelbe

    pavelbe New Member Пользователи

    Регистрация:
    9 сен 2015
    Сообщения:
    41
    написал..
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Я не могу сходу помочь вам в решении этого вопроса (нужно разбираться). На форуме я помогаю в случае, если помощь не занимает долгого времени. И наврятли тут кто-то еще будет делать это бесплатно!

    Вам нужно обратиться к специалисту по настройке, чтобы он разобрался в вашей задаче и помог вам ее решить.

    С уважением к вам, Сергей.
     

Поделиться этой страницей