Парсинг определенных категорий

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем sta1ker, 18 авг 2012.

  1. sta1ker

    sta1ker New Member Пользователи

    Регистрация:
    13 авг 2012
    Сообщения:
    18
    Приветствую всех!

    Вот знакомлюсь с парсером и посмотрел почти все маны, но тут такое дело, я так понял что сканер сайта обходит весь сайт и в нужных ссылках появляется много мусора. На сайте "доноре" куча категорий под разные виды товаров, а мне нужны всего 20 брендов с подкатегориями.

    Что можно придумать в данном случае?
     
  2. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Лучший мето, парсить попеременно. Тогда обеспечивается наилучшее качество. Это можно сделать разными способами, зависит от сайта. Самый тупой, получить все ссылки с сайта, затем проставить в фильтры те категории, которые нужны для загрузки, естественно, настроив их. Второй способ,- настроить фильтры в сканере сайтов так, чтобы брались ссылки только из нужных категорий. Но, опыт показывает, что спарсить 20 категорий по одной, это не так сложно, потеря времени гораздо меньше, чем если парсить всё и чистить.

    Посмотрите ещё урок парсинг Ссылки недоступны для гостей, посмотрите также Ссылки недоступны для гостей

    Эти две вещи помогут понять как легче парсить.
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Настройте фильтр ссылок, указывающий брать только "всего 20 брендов с подкатегориями" чтобы остальное отфильтровывалось. Это может быть часть адреса с идинтификаторами и т.д.
     
  4. sta1ker

    sta1ker New Member Пользователи

    Регистрация:
    13 авг 2012
    Сообщения:
    18
    Спасибо за помощь, пока пробывал как вы советовали придумал свой способ и отпарсил всё до капли)
     
  5. sta1ker

    sta1ker New Member Пользователи

    Регистрация:
    13 авг 2012
    Сообщения:
    18
    Возник ещё 1 вопрос.

    Напарсил файл csv размером 6 мегабайт, а макс размер импортируемого файла 2M.
    Поправил php.ini на сервере > upload_max_size=10M и прописал в .httaccess :
    а толку нет....

    ispconfig
     
  6. sta1ker

    sta1ker New Member Пользователи

    Регистрация:
    13 авг 2012
    Сообщения:
    18
    отбой, второй раз сделал restart веб серверу и "всё огонь!"
     
  7. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Загорелся сервер???
     
  8. sta1ker

    sta1ker New Member Пользователи

    Регистрация:
    13 авг 2012
    Сообщения:
    18
    нет, импорт удался. сленг...
     
  9. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Жаль. Зря обрадовался ...
     
  10. sta1ker

    sta1ker New Member Пользователи

    Регистрация:
    13 авг 2012
    Сообщения:
    18
    На сайте доноре цена находится в анонсе, а на самой карточке товара её нет, как слить всё в 1 файл?
     
  11. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Пример покажите
     
  12. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Если нужная информация на другой странице сайта то используйте Ссылки недоступны для гостей
     

Поделиться этой страницей