Как настроить сайт productcenter ru

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем gfdkeif, 26 июл 2019.

  1. gfdkeif

    gfdkeif New Member Пользователи

    Регистрация:
    26 июл 2019
    Сообщения:
    8
    Город:
    Киев
    Как настроить сайт Ссылки недоступны для гостей
    именно на парсинг Ссылки недоступны для гостей производителей, чтоб переходил по ссылке и собирал контакты.
     
  2. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    1) Собрать ссылки на все нужные карточки производителей
    2)Пройтись по каждой ссылке производителя, взять оттуда данные, записать в файл нужного формата или куда нужно по потребностям.

    У Вас слишком общий вопрос.

    Если в простом варианте, я бы сделал так - проект прикрепил.
     

    Вложения:

    Последнее редактирование: 26 июл 2019
    Root нравится это.
  3. gfdkeif

    gfdkeif New Member Пользователи

    Регистрация:
    26 июл 2019
    Сообщения:
    8
    Город:
    Киев
    Это просто загрузить и все ? ( я в том полный ноль, купил парсер этот думал он парсит сам)
     
  4. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Это пример проекта, как можно сделать парсинг этого сайта.
    Вы правы, парсер просто парсит, но ему нужно подсказать какие данные откуда брать, и куда их и как записать.
    Навык работы с программой все же надо получить, как собственно с любой вещью в галактике.

    Для самообучения, есть система помощи - Ссылки недоступны для гостей
    Тут ребята делают проекты за плату если надо вот тут список и условия: Ссылки недоступны для гостей
    И можно даже получить обучение на платной основе - KAGOREC
     
    gfdkeif и Root нравится это.
  5. gfdkeif

    gfdkeif New Member Пользователи

    Регистрация:
    26 июл 2019
    Сообщения:
    8
    Город:
    Киев
    Все отлично вы действительно мастер. только один вопрос... парсится третий день гдето 300 в час.. 5 потоков. ( загрузил прокси, толку ноль
     
  6. gfdkeif

    gfdkeif New Member Пользователи

    Регистрация:
    26 июл 2019
    Сообщения:
    8
    Город:
    Киев
     
  7. gfdkeif

    gfdkeif New Member Пользователи

    Регистрация:
    26 июл 2019
    Сообщения:
    8
    Город:
    Киев
    вы дейстиветельно мастер. Все парсит, только очень медленно , где то 300 в час, 5 поток, НТТР прокси.. толку ноль
     
  8. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Спасиюо, на добром слове.
    Да сайт начинает блочить, на 70 коннекте примерно.
    Ну тут 2 варианта:
    1) Либо парсить в один поток с задержкой - Долго/Бесплатно
    2) Купить 1000 прокси в аренду - Быстро/Платно.

    Других вариантов не вижу.
     
    Root нравится это.
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.430
    Адрес:
    Latvia
  10. gfdkeif

    gfdkeif New Member Пользователи

    Регистрация:
    26 июл 2019
    Сообщения:
    8
    Город:
    Киев
    купил прокси 200 штук... -толку никакого
     
  11. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    А парсинг точно через прокси идет ?
     
  12. gfdkeif

    gfdkeif New Member Пользователи

    Регистрация:
    26 июл 2019
    Сообщения:
    8
    Город:
    Киев
    шел.. уже не удалил их
     
  13. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    не понял ничего
     

Поделиться этой страницей