Не могу разобраться как парсить страницы

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем 4toy, 24 июл 2015.

  1. 4toy

    4toy Member Пользователи

    Регистрация:
    8 июл 2015
    Сообщения:
    52
    Думал что мне "горы по плечу" в парсинге и вот
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    однако сначала началось "out of memory" - уменьшил число потоков
    потом скачались какие то крохи а потом вообще все начало звенеть
    при попытке начать парсинг
    Прошу помощи гуру!:nerd:
     
    4toy, 24 июл 2015
    #1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Пожалуйста, предоставьте скриншоты ошибок или проблем. Также приложите ваш файл проекта, который вызывает ошибки.

    Спасибо!
     
    Root, 24 июл 2015
    #2
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Укажите сканеру в список очередь эту ссылку, чтоб только один из языков собирал. Далее методом проб и ошибок отсеивайте лишнее указывая в список запрета куда сканеру не надо заходить.
     
    kagorec, 25 июл 2015
    #3
  4. 4toy

    4toy Member Пользователи

    Регистрация:
    8 июл 2015
    Сообщения:
    52
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    хотя в реальности там гораздо больше - почему?
     
    Последнее редактирование: 25 июл 2015
    4toy, 25 июл 2015
    #4
  5. 4toy

    4toy Member Пользователи

    Регистрация:
    8 июл 2015
    Сообщения:
    52
    А вы указывали - работает? тк у меня выдает что "эта страница пустая или не существует"(
     
    4toy, 25 июл 2015
    #5
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Постоянно указываю всем сайтам когда работаю, чтоб не хватало лишнее.
    К примеру у вас на скрине видно что pdf документы захватило, зачем они непонятно, надо в запрет добавить.
     
    kagorec, 25 июл 2015
    #6
  7. 4toy

    4toy Member Пользователи

    Регистрация:
    8 июл 2015
    Сообщения:
    52
    А от у меня при вводе этого адреса - вообще не парсит ничего(
    Пишет что сраница пуста
     
    4toy, 25 июл 2015
    #7
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Изучите принцип работы сканера Ссылки недоступны для гостей и, думаю, вопросы отпадут.

    PS: Файлы PDF тоже фильтруйте, скорее всего они всю память отъедают.
     
    Root, 25 июл 2015
    #8
  9. 4toy

    4toy Member Пользователи

    Регистрация:
    8 июл 2015
    Сообщения:
    52
    PDF удалил, спасибо за наводку
    Вобщем путем танцев с бубнами удалось мне спарсить все
     
    4toy, 26 июл 2015
    #9
Similar Threads
  1. BigTroll

    Не могу разобраться с DOCSNAMES

    BigTroll, 8 фев 2013, в разделе: Решение проблем с использованием программы
    Ответов:
    1
    Просмотров:
    1.424
    BigTroll
    8 фев 2013
  2. Igor_st

    НЕ могу парсить через прокси

    Igor_st, 16 авг 2013, в разделе: Решение различных задач по парсингу
    Ответов:
    0
    Просмотров:
    1.386
    Igor_st
    16 авг 2013
  3. darow

    Здравствуйте не могу настроить парсить динамические данные на сайте

    darow, 19 янв 2014, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    8
    Просмотров:
    1.923
    Freesty1er
    21 янв 2014
  4. 4toy

    Как парсить ссылки на страницы с товарами?

    4toy, 23 июл 2015, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    1
    Просмотров:
    885
    Root
    23 июл 2015
  5. invest

    Не могу парсить сайт, пишет ошибку в коде

    invest, 10 дек 2015, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    1
    Просмотров:
    1.122
    Root
    11 дек 2015
Загрузка...

Поделиться этой страницей