Как правильно задать условия в сканере сайтов ?

Тема в разделе "Фильтры ссылок", создана пользователем natlyapko, 30 авг 2018.

  1. natlyapko

    natlyapko New Member Пользователи

    Регистрация:
    25 июн 2018
    Сообщения:
    7
    Город:
    Москва
    Всем привет! Подскажите! Как правильно в сканере сайтов задать условия? Я так понимаю, что если мне нужно спарсить например коммерческую недвижимость в циане, например в Ярославской области, то я в стартовом URL должна написать yaroslavl.cian.ru, а в фильтре задать соответственно шаблон? А если мне надо по всем областям ссылки получить, то как правильно? просто указать в стартовом cian.ru ?

    ps в основном я пользуюсь SCAN, может лучше использовать GEN или MAP ?

    заранее спасибо!
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    GEN по каждой категории первые пару страниц.
     
  3. natlyapko

    natlyapko New Member Пользователи

    Регистрация:
    25 июн 2018
    Сообщения:
    7
    Город:
    Москва
    думаю GEN не совсем подходит, так как в циане есть id номер, по key тоже не понятно, наверно либо scan либо map, может я ошибаюсь, если не трудно поправьте меня

    уточню... я парсила ярославскую область на предмет коммерческой недвижимости и делала так

    в стартовом URL указываю yaroslavl.cian.ru
    в фильтре ссылок (где шаблон для ссылок) указываю /sale/commercial/
    и не добавлять ссылки которые содержат photos tel и т.д.

    отчасти я понимаю, что это не совсем верно, так как нужно брать исходную ссылку
    в которой открыта коммерческая недвижимость на сайте циан, но как это положить на сканер сайтов не пойму, помогите!
     
    Последнее редактирование: 30 авг 2018
  4. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Во вложении список поддоменов, по городам.
    Ссылки в сканер
     

    Вложения:

    • domen.txt
      Размер файла:
      1,6 КБ
      Просмотров:
      8
  5. natlyapko

    natlyapko New Member Пользователи

    Регистрация:
    25 июн 2018
    Сообщения:
    7
    Город:
    Москва
    спасибо! а откуда этот перечень? просто в нем я не нашла Благовещенск например (Амурская область)

    Ссылки недоступны для гостей

    такой поддомен есть
     
  6. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Парсил ка-то, остался список)
    Во вложении обновленный список на 137 поддоменов
     

    Вложения:

    • domen.txt
      Размер файла:
      2,4 КБ
      Просмотров:
      5
    natlyapko нравится это.
  7. natlyapko

    natlyapko New Member Пользователи

    Регистрация:
    25 июн 2018
    Сообщения:
    7
    Город:
    Москва
    спасибо! этот более полный. Вообще у циана странная структура, но как говориться кто не работает тот не ошибается!
     
    Kreol нравится это.
  8. natlyapko

    natlyapko New Member Пользователи

    Регистрация:
    25 июн 2018
    Сообщения:
    7
    Город:
    Москва
    что то опять не клеиться :( загрузила список в отдельное окно по нажатию START Url Changer, стартовое оставила пустым. Нажимаю запустить и DL поочередно пробегает по списку и меняет поддомены в поле где обычно вводится стартовый URL, после чего по окончанию вставок из списка загруженного издается звук (пилик). Нажимаю начать/продолжить издается такой же звук (пилик) и все :( что не так делаю? Ссылки никакие не появились
     
  9. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Если честно совсем не понятно что вообще вы делаете и что хотите на выходе.
     
  10. natlyapko

    natlyapko New Member Пользователи

    Регистрация:
    25 июн 2018
    Сообщения:
    7
    Город:
    Москва
    я хочу получить массив ссылок для парсинга к примеру omsk.cian.ru/sale/commercial/12345678 по нескольким региона (домены теперь спасибо доброму человеку есть), и уже по этим ссылкам спарсить нужные данные. Отдельно один домен у меня парсится без проблем и ссылки собираются, а как собратьпо двум и более регионам не знаю :(
     
  11. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    [​IMG]
     
    Kreol нравится это.
  12. natlyapko

    natlyapko New Member Пользователи

    Регистрация:
    25 июн 2018
    Сообщения:
    7
    Город:
    Москва
    спасибо! буду пробовать!
     
    Kreol нравится это.

Поделиться этой страницей