Парсить с сайта ссылки только с определенным значением

Тема в разделе "Фильтры ссылок", создана пользователем MaiklWizard, 22 дек 2016.

  1. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Чтото не так настроили сканер, поскольку 8 часов многовато. Нужно ограничить сканеру поиск, чтоб искал только в категориях товары, самое главное товарные чтоб в список очереди не попадали (например в запрет добавить .html для списка очереди)

    Чтоб собирало сразу только товары в наличии, думаю можно через регулярные выражения обрамить ссылки товаров "в наличии" тегами/меткаи <nado>ssilka</nado>. Потом с этих тегов выдергивать с помощью <nado>{get}</nado>
     
    Root нравится это.
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Собираете ссылки на все страницы и вот таким макаром
     

    Вложения:

    Root нравится это.
  3. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Нашел в справке, видео по поводу фильтрации ссылок? может и у меня этот момент проканает?
     
  4. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Можно пояснения?, бо ничего не увидел?

    Т.е. я собираю свои 250000 ссылок, и потом таким макаром, выгружаю в ексель, в один столбец??
    Ссылки недоступны для гостей - можно растолковать "чайнику", плиз. Очень хочу понимания, того что делаю.

    Почему он из двух ссылок:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Сделал в екселе 9 ссылок?
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Т.е. в столбец где URL - проставляеться мне надо поместить: <CD_CYCLE_GRAN_1!> ?
     
  5. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Может вы все-таки посмотрите експрес курс по работе с контентом?
    Ссылки недоступны для гостей
     
    Root нравится это.
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Однозначно!)
     
  7. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Смотрел, и не один раз. У когото из четырех указаных в помощи, пытался купить настройку, 600 рублей перевел, результата так и не получил. Теперь вот учусь сделать самостоятельно. То что не понимаю, спрашиваю на форуме, спасибо Вам, что быстро отвечаете, бо переживал что останусь без ответа.
     
  8. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    1) Кому платили и когда?
    2) Хорошо, если вы не понимаете чего сами хотите, давайте разбиратьсЯ
    Вы писали:
    На что я вам ответил.
    Теперь пытаемся понять, что именно нужно было сделать.
    Вы собирали ссылки сканером, я не люблю сканер и я вам предложил вариант сбора ссылок с самих страниц. Т.е. Мы идем в любую категорию, например:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Видим там 20 товаров, правильно? правильно.
    Смотрим сколько из них доступны в наличии. (8 товаров) (что вы и получаете в моем проекте что выше)
    А если пойдем сюда
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    то там нет ни одного товара для покупки.
    Думаю тут разобрались. непонятно почему вы сами не сделали подобный анализ.
    Пошли дальше.
    Я вам написал, нужно собрать ссылки на все страницы. Т.е. Идем в категорию любую, например:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    и крутим вниз, видим что тут 272 страницы.
    Далее переходим на любую следующую страницу и получаем ссылку
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Далее идем в генератор ссылок Ссылки недоступны для гостей и генерируем от 1 до 272.
    И парсим, получаем список ссылок, который потом применяем в другом проекте парсинга данных.

    Думаю разжевал уже до невозможности.

    Ах да, конечно последует вопрос, как же мне собрать ссылки на начальные страницы, я например собираю руками. Для того чтоб понимать вообще что происходит с ссылками. И генерирую их в спец скрипте.

    А как работает повторяющаяся граница это уж почитайте пожалуйста. Ссылки недоступны для гостей
    Потому что бесплатная поддержка тоже имеет ограничения)
    Успехов.

    P.s. Вы даже не пытаетесь разобраться, вы просто пишете я не понимаю. С таким подходом вы далеко не уйдете, пишите конструктивно. Был сдесь, зделал то-то, получилось так-то. Я согласен, что разобраться не совсем просто. Но для того чтоб решать поставленные вами задачи, нужно проходить довольно большой курс обучения. И если вы не готовы платить за поддержку, то хотя бы основы разберите сами.
     
    JagerJ и kagorec нравится это.
  9. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Ну и конечно, если подумать, то можно в сканере настроить на сбор ссылок с фильтром по page, но надо и чтоб ссылки на основные категории тоже там присутствовали.
     
  10. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Это ж кто такой молодец?)) В кошельке есть статистика перечислений, укажите последние 5 цифр счета на который перечислили 600р .
    -
    Антон, прикольный проект новичку показываешь, с повторяющимися границами и еще с условиями CHECKENTRY... Явно не этого спрашивающий ожидал)
     
    Последнее редактирование: 24 дек 2016
  11. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    ну достижение цели не всегда легкое)
     
  12. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Ссылки недоступны для гостей - кому платил, видно тут. Задача была сделать парсинг с сайта Ссылки недоступны для гостей (там цены и наличие только по паролю, сам я не смог.) Не смог обойти пароль. (Хотя доступы есть)
    К сожалению, у меня нет переписки, и доказать что либо я не могу. Было летом, этого года. Платилось на Я кошель, номер его я не помню, да и платил через обменник с приватбанка на Яндекс кошель, счас тоже не найти. Да и не важно это все. Давно было.
     
  13. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    За поддержку, готов платить, если не разберусь, будем говорить, чтобы платно сделать то что мне нужно. Но хочеться все-ж, добиться самому результата. Тем паче что осталось немного.
     
  14. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Вот это поворот!!!
    MaiklWizard , вы ничего не путаете случаем?)
    Судя по скрину ваш логин в скайпе отыскал в переписке у нас даже диалог не начался.

    [​IMG]

    Кроме caralarm сайта вы так и не спросили более.
    п.с. более того каждый заказанный проект сохраняется в надежном месте, и там не фигурирует ничего связанного с moyo. Стоит отметить что каждый заказ высылается на почту заказчика. Можно ответным письмом от вас получить подтверждение настройки moyo?
     
    Последнее редактирование: 25 дек 2016
  15. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Странно, конечно я могу ошибаться, было давно, очень. Переписки у меня нету, сменил ноут, хистори не сохранилось. Считал что работал с Вами, видимо ошибался. приношу сои извинения.
     
    kagorec и Root нравится это.
  16. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    В лс жду ссылку на ваш проект, с обеда гляну что там можно оптимизировать. o_O
     
    Root нравится это.
  17. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Думаю под четким руководством разберетесь)
     
    Root нравится это.
  18. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Как прописать регулярное выражение тут:
    Должно всегда убираться любое слово находящееся тут: Ссылки недоступны для гостей, чтобы номер до скобочки парсился отдельно от всех.

    Ссылки недоступны для гостей - так не помогло

    Вопрос отпал. Нашел: \u043a {skip}
     
    Последнее редактирование: 25 дек 2016
  19. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    поставьте кодировку UTF-8 (У вас AUTO стоит)
     
  20. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    мм. а зачем, вроде и так нормально?
     
Similar Threads
  1. namazi74
    Ответов:
    2
    Просмотров:
    2.256
  2. Dreadnought
    Ответов:
    3
    Просмотров:
    1.515
  3. roman_k
    Ответов:
    1
    Просмотров:
    1.207
  4. Cheshir
    Ответов:
    7
    Просмотров:
    1.464
  5. Trenikola
    Ответов:
    2
    Просмотров:
    757
Загрузка...

Поделиться этой страницей