Не получается спарсить область категории, пагинация ?PAGEN_1=

Тема в разделе "Парсинг конкретных сайтов (ПЛАТНО)", создана пользователем MaiklWizard, 19 апр 2018.

  1. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    110
    Адрес:
    Odessa
    Вот же странность, Все правильно - все верно. Лишний раз - лесть на форум и задавать глупые вопросы - ну явно не резон. "тра...(занимаюсь)" - весь день этим. Ну не берет он больше чем есть на одной странице ссылок. Не хочет и все.

    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! - ссылка
    mt.dp.ua catalog noutbuki-planshety noutbuki ?PAGEN_1=2

    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! - Скриншот настроек программы.

    Поиск и Замена:
    Код:
    <div id="catalog"{AUTO}div|{AUTO}{GETMETHOD}
    Добавлять в Очередь только:
    Код:
    ?PAGEN_1=
    Ну ведь наверняка все верно - но, только 20 позиций со стираницы, и то что есть пагинация - ему по барабану ((( Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    В общем без помощи, никак. Прошу помощи.
    Стоимость данной задачи, незнаю. В разумных пределах - все что угодно.
     
    Последнее редактирование: 19 апр 2018
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.044
    Глубина ссылок для ссылок в очереди, поставьте значения 0 и 0.
    На данном источнике без проблем можно собирать ссылки через вкладку (в программе) ССЫЛКИ

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     

    Вложения:

    Последнее редактирование: 19 апр 2018
    MaiklWizard, xLime и Root нравится это.
  3. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    Проект с настроенным сканером.

    Рекомендую изучить материал Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    У вас нет базового понимания, как работает сканер сайтов.
     

    Вложения:

    • 12.cdp
      Размер файла:
      64,9 КБ
      Просмотров:
      1
    Последнее редактирование: 20 апр 2018
    MaiklWizard, xLime и kagorec нравится это.
  4. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    110
    Адрес:
    Odessa
    Спасибо - с этим игрался, но дело в том - что у меня 57 категорий, собраных ручками - которые надо спарсить - а шаблон генерации ссылок может либо с одной категорией работать, либо я не разобрался - проштудирую еще раз справку

    Да, я реально не обратил внимания, что неправильно выставил глубину ссылок. Спасибо - буду изучать.
     
  5. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    263
    MaiklWizard нравится это.
  6. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
  7. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    110
    Адрес:
    Odessa
  8. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    Тогда в чем проблема?
     
  9. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    110
    Адрес:
    Odessa
    В мозгах моих ))
    Фактически - пока не могу уразуметь почему не получается, задать генератору ссылок -
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    и другие меня интересующие разделы. Не могу понять по какому критерию, задавть ему генерацию.

    Т.е. ручками - все понятно, открыл сайт, и скопипастил адреса нужных категорий - их около сотни. А вот как это же сделать через генератор ссылок, тем паче что на том сайте присуствуют одинаковые категории но с разными адресами, например:
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    Фактически это одна и таже категория. И если будет две - то скорость работы парсера, явно уменьшится.

    А так как я никого не хочу "грузить", своей проблемой - то до конца, буду пытаться разобраться сам ))
     
  10. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    Если вы не понимаете, как работает инструмент генерации ссылок, изучите этот материал.

    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
    MaiklWizard нравится это.
  11. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    110
    Адрес:
    Odessa
    Изучаю - еще по утренней ссылке - пока вопросов, нет. Пока учусь ))
     
    Root нравится это.
  12. ogogo

    ogogo New Member Пользователи

    Регистрация:
    10 ноя 2015
    Сообщения:
    16
    вы мазахист чесн слово - при актуальных картах сайта - выпаршивать такие объемы ссылок.
     
  13. ogogo

    ogogo New Member Пользователи

    Регистрация:
    10 ноя 2015
    Сообщения:
    16
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    А в самих группах задать границу поиска ссылок(соответственно где выводятся только товары), фильр поиска .html (после в предсмотре лишнее отсеять).

    Но опять таки - если нужны все товары, то карта у них актуальная.

    Всегда в первую очередь проверяю наличие и актулальность карты, в большинстве случаев экономит очень много времени.
     
    Root нравится это.
  14. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    110
    Адрес:
    Odessa
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! - а что мне это дает если не секрет?
    Я игрался с сайтмапом - но он ничем не помог - и я "забил" на него ))
     
  15. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    ogogo нравится это.
  16. ogogo

    ogogo New Member Пользователи

    Регистрация:
    10 ноя 2015
    Сообщения:
    16
    на крайний случай что бы не разбиратся - есть куча онлайн севрисов конвертации хмл в хлс. Или же самим экселем откройте карту и скопируйте оттуда ссылки все нужные. В первую очередь работайте с картами если они есть и актуальны (экономия времени).

    сервисы Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! и Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! ну и поиском можете анти любые другие

    есть и программки в этом же направлении - их плюс. что нет ограничений в размерах карт сайтов. Минус в платности соответственно.
     
    MaiklWizard нравится это.

Поделиться этой страницей