Не получается спарсить область категории, пагинация ?PAGEN_1=

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем MaiklWizard, 19 апр 2018.

  1. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Вот же странность, Все правильно - все верно. Лишний раз - лесть на форум и задавать глупые вопросы - ну явно не резон. "тра...(занимаюсь)" - весь день этим. Ну не берет он больше чем есть на одной странице ссылок. Не хочет и все.

    Ссылки недоступны для гостей - ссылка
    mt.dp.ua catalog noutbuki-planshety noutbuki ?PAGEN_1=2

    Ссылки недоступны для гостей - Скриншот настроек программы.

    Поиск и Замена:
    Код:
    <div id="catalog"{AUTO}div|{AUTO}{GETMETHOD}
    Добавлять в Очередь только:
    Код:
    ?PAGEN_1=
    Ну ведь наверняка все верно - но, только 20 позиций со стираницы, и то что есть пагинация - ему по барабану ((( Ссылки недоступны для гостей

    В общем без помощи, никак. Прошу помощи.
    Стоимость данной задачи, незнаю. В разумных пределах - все что угодно.
     
    Последнее редактирование: 19 апр 2018
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Глубина ссылок для ссылок в очереди, поставьте значения 0 и 0.
    На данном источнике без проблем можно собирать ссылки через вкладку (в программе) ССЫЛКИ

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     

    Вложения:

    Последнее редактирование: 19 апр 2018
    MaiklWizard, xLime и Root нравится это.
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Проект с настроенным сканером.

    Рекомендую изучить материал Ссылки недоступны для гостей

    У вас нет базового понимания, как работает сканер сайтов.
     

    Вложения:

    • 12.cdp
      Размер файла:
      64,9 КБ
      Просмотров:
      2
    Последнее редактирование: 20 апр 2018
    MaiklWizard, xLime и kagorec нравится это.
  4. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Спасибо - с этим игрался, но дело в том - что у меня 57 категорий, собраных ручками - которые надо спарсить - а шаблон генерации ссылок может либо с одной категорией работать, либо я не разобрался - проштудирую еще раз справку

    Да, я реально не обратил внимания, что неправильно выставил глубину ссылок. Спасибо - буду изучать.
     
  5. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    MaiklWizard нравится это.
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
  7. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Тогда в чем проблема?
     
  9. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    В мозгах моих ))
    Фактически - пока не могу уразуметь почему не получается, задать генератору ссылок -
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей

    и другие меня интересующие разделы. Не могу понять по какому критерию, задавть ему генерацию.

    Т.е. ручками - все понятно, открыл сайт, и скопипастил адреса нужных категорий - их около сотни. А вот как это же сделать через генератор ссылок, тем паче что на том сайте присуствуют одинаковые категории но с разными адресами, например:
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Фактически это одна и таже категория. И если будет две - то скорость работы парсера, явно уменьшится.

    А так как я никого не хочу "грузить", своей проблемой - то до конца, буду пытаться разобраться сам ))
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если вы не понимаете, как работает инструмент генерации ссылок, изучите этот материал.

    Ссылки недоступны для гостей
     
    MaiklWizard нравится это.
  11. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Изучаю - еще по утренней ссылке - пока вопросов, нет. Пока учусь ))
     
    Root нравится это.
  12. ogogo

    ogogo New Member Пользователи

    Регистрация:
    10 ноя 2015
    Сообщения:
    16
    вы мазахист чесн слово - при актуальных картах сайта - выпаршивать такие объемы ссылок.
     
  13. ogogo

    ogogo New Member Пользователи

    Регистрация:
    10 ноя 2015
    Сообщения:
    16
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    А в самих группах задать границу поиска ссылок(соответственно где выводятся только товары), фильр поиска .html (после в предсмотре лишнее отсеять).

    Но опять таки - если нужны все товары, то карта у них актуальная.

    Всегда в первую очередь проверяю наличие и актулальность карты, в большинстве случаев экономит очень много времени.
     
    Root нравится это.
  14. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    146
    Адрес:
    Odessa
    Ссылки недоступны для гостей - а что мне это дает если не секрет?
    Я игрался с сайтмапом - но он ничем не помог - и я "забил" на него ))
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
    ogogo нравится это.
  16. ogogo

    ogogo New Member Пользователи

    Регистрация:
    10 ноя 2015
    Сообщения:
    16
    на крайний случай что бы не разбиратся - есть куча онлайн севрисов конвертации хмл в хлс. Или же самим экселем откройте карту и скопируйте оттуда ссылки все нужные. В первую очередь работайте с картами если они есть и актуальны (экономия времени).

    сервисы Ссылки недоступны для гостей и Ссылки недоступны для гостей ну и поиском можете анти любые другие

    есть и программки в этом же направлении - их плюс. что нет ограничений в размерах карт сайтов. Минус в платности соответственно.
     
    MaiklWizard нравится это.

Поделиться этой страницей