Не могу разобраться как парсить страницы

Discussion in 'Парсинг конкретных сайтов по запросу (ПЛАТНО)' started by 4toy, Jul 24, 2015.

  1. 4toy

    4toy Member Пользователи

    Joined:
    Jul 8, 2015
    Messages:
    52
    Думал что мне "горы по плечу" в парсинге и вот
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
    однако сначала началось "out of memory" - уменьшил число потоков
    потом скачались какие то крохи а потом вообще все начало звенеть
    при попытке начать парсинг
    Прошу помощи гуру!:nerd:
     
    4toy, Jul 24, 2015
    #1
  2. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    Пожалуйста, предоставьте скриншоты ошибок или проблем. Также приложите ваш файл проекта, который вызывает ошибки.

    Спасибо!
     
    Root, Jul 24, 2015
    #2
  3. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
    Укажите сканеру в список очередь эту ссылку, чтоб только один из языков собирал. Далее методом проб и ошибок отсеивайте лишнее указывая в список запрета куда сканеру не надо заходить.
     
    kagorec, Jul 25, 2015
    #3
  4. 4toy

    4toy Member Пользователи

    Joined:
    Jul 8, 2015
    Messages:
    52
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
    хотя в реальности там гораздо больше - почему?
     
    Last edited: Jul 25, 2015
    4toy, Jul 25, 2015
    #4
  5. 4toy

    4toy Member Пользователи

    Joined:
    Jul 8, 2015
    Messages:
    52
    А вы указывали - работает? тк у меня выдает что "эта страница пустая или не существует"(
     
    4toy, Jul 25, 2015
    #5
  6. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Постоянно указываю всем сайтам когда работаю, чтоб не хватало лишнее.
    К примеру у вас на скрине видно что pdf документы захватило, зачем они непонятно, надо в запрет добавить.
     
    kagorec, Jul 25, 2015
    #6
  7. 4toy

    4toy Member Пользователи

    Joined:
    Jul 8, 2015
    Messages:
    52
    А от у меня при вводе этого адреса - вообще не парсит ничего(
    Пишет что сраница пуста
     
    4toy, Jul 25, 2015
    #7
  8. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Изучите принцип работы сканера Ссылки недоступны для гостей и, думаю, вопросы отпадут.

    PS: Файлы PDF тоже фильтруйте, скорее всего они всю память отъедают.
     
    Root, Jul 25, 2015
    #8
  9. 4toy

    4toy Member Пользователи

    Joined:
    Jul 8, 2015
    Messages:
    52
    PDF удалил, спасибо за наводку
    Вобщем путем танцев с бубнами удалось мне спарсить все
     
    4toy, Jul 26, 2015
    #9
Similar Threads
  1. BigTroll

    Не могу разобраться с DOCSNAMES

    BigTroll, Feb 8, 2013, in forum: Решение проблем с использованием программы
    Replies:
    1
    Views:
    1,468
    BigTroll
    Feb 8, 2013
  2. Igor_st

    НЕ могу парсить через прокси

    Igor_st, Aug 16, 2013, in forum: Решение различных задач по парсингу
    Replies:
    0
    Views:
    1,420
    Igor_st
    Aug 16, 2013
  3. darow

    Здравствуйте не могу настроить парсить динамические данные на сайте

    darow, Jan 19, 2014, in forum: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Replies:
    8
    Views:
    1,975
    Freesty1er
    Jan 21, 2014
  4. 4toy

    Как парсить ссылки на страницы с товарами?

    4toy, Jul 23, 2015, in forum: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Replies:
    1
    Views:
    918
    Root
    Jul 23, 2015
  5. invest

    Не могу парсить сайт, пишет ошибку в коде

    invest, Dec 10, 2015, in forum: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Replies:
    1
    Views:
    1,158
    Root
    Dec 11, 2015
Loading...

Share This Page