Не парсится через прокси, висит 1 поток.

Тема в разделе "Решение проблем с использованием программы", создана пользователем rdw, 10 июл 2017.

Метки:
Страница 2 из 2
  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Ссылки недоступны для гостей
     
    Root, 7 окт 2017
    #21
  2. rdw

    rdw New Member Пользователи

    Регистрация:
    31 май 2017
    Сообщения:
    48
    Спасибо за совет. Попробовал заново задать границы парсинга - оказалось, что когда использую инструмент задания границ парсинга страниц (при включенном WbApp), этот инструмент почему-то загружает код только в пределах тегов <head>. Как с этим разобраться?

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 5 постов.**
     
    rdw, 9 окт 2017
    #22
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Назовите конкретный адрес WEB-страницы (не главной страницы сайта) и опишите, какие данные с нее не можете собрать.
     
    Root, 10 окт 2017
    #23
  4. rdw

    rdw New Member Пользователи

    Регистрация:
    31 май 2017
    Сообщения:
    48
    Например Ссылки недоступны для гостей Не могу собрать текст песни, который грузится чуть позже.
     
    rdw, 11 окт 2017
    #24
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2017-10-11_21-49-54.png
     
    Root, 11 окт 2017
    #25
  6. rdw

    rdw New Member Пользователи

    Регистрация:
    31 май 2017
    Сообщения:
    48
    Видимо у Вас успел контент прогрузиться заранее.
    У меняСсылки недоступны для гостей получается на страницах без включенного WbApp и Ссылки недоступны для гостей с включенным WbApp, то есть вообще страницу не загружает полностью
     
    rdw, 12 окт 2017
    #26
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Не могу у себя вызвать описанную проблему.
     
    Root, 13 окт 2017
    #27
    xLime нравится это.
  8. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    rdw,
    Прикрепите файл проекта. У меня тоже все загружает.
     
    xLime, 13 окт 2017
    #28
    Root нравится это.
  9. rdw

    rdw New Member Пользователи

    Регистрация:
    31 май 2017
    Сообщения:
    48
    Прикрепил.
     

    Вложения:

    • sngt-prmr.cdp
      Размер файла:
      35,2 КБ
      Просмотров:
      1
    rdw, 13 окт 2017
    #29
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2017-10-14_22-10-50.png
     

    Вложения:

    • sngt-prmr.cdp
      Размер файла:
      36,3 КБ
      Просмотров:
      2
    Root, 14 окт 2017
    #30
  11. rdw

    rdw New Member Пользователи

    Регистрация:
    31 май 2017
    Сообщения:
    48
    Скачал ваш проект, у меня всё равно вот так:
    [​IMG]
    Может вы свою ссылке предварительно в браузере открыли и текст прогрузился (у меня текст только отобразился только на ссылке из вашего примера)?
     
    rdw, 17 окт 2017
    #31
  12. rdw

    rdw New Member Пользователи

    Регистрация:
    31 май 2017
    Сообщения:
    48
    Товарищи! Подскажите куда копать хотя бы?
     
    rdw, 23 окт 2017
    #32
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2017-10-23_15-03-23.png
     

    Вложения:

    • sngt-prmr.cdp
      Размер файла:
      336,7 КБ
      Просмотров:
      1
    Root, 23 окт 2017
    #33
  14. rdw

    rdw New Member Пользователи

    Регистрация:
    31 май 2017
    Сообщения:
    48
    Когда нажимаю эту кнопу контент прогружается, затем нажимаю "пережать cookies и закрыть это окно". Но когда добавляю новые ссылки подобного рода, приходится каждый раз нажимать на эту кнопку, чтобы всё прогрузилось, иначе получается всё равно вот так
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    У меня тысячи ссылок, как с ними быть, не буду же я каждый раз эту кнопку во время парсинга нажимать?
     
    Последнее редактирование модератором: 23 окт 2017
    rdw, 23 окт 2017
    #34
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2017-10-23_15-57-44.png
     
    Root, 23 окт 2017
    #35
  16. rdw

    rdw New Member Пользователи

    Регистрация:
    31 май 2017
    Сообщения:
    48
    Спасибо, так стало загружаться.
    Скажите, а при парсинге будет происходить ожидание 3000МС от каждой страницы или только тех где будет надпись Laden des Songtextes wird vorbereitet Просто на сайте, который я собираюсь парсить около 1 000 000 страниц, так у меня целый год будет парситься.
     
    rdw, 23 окт 2017
    #36
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
    Root, 23 окт 2017
    #37
    rdw нравится это.
Страница 2 из 2
Similar Threads
  1. Igor_st

    НЕ могу парсить через прокси

    Igor_st, 16 авг 2013, в разделе: Решение различных задач по парсингу
    Ответов:
    0
    Просмотров:
    1.208
    Igor_st
    16 авг 2013
  2. TeslaCo

    Парсинг и заполнение через прокси

    TeslaCo, 8 май 2014, в разделе: WBAppIE
    Ответов:
    5
    Просмотров:
    1.564
    Kreol
    9 май 2014
  3. Алексей_

    Парсинг картинок через прокси

    Алексей_, 19 окт 2015, в разделе: Скачивание картинок и файлов
    Ответов:
    1
    Просмотров:
    850
    Root
    19 окт 2015
  4. Atms

    Парсинг через прокси (с периодической перепроверкой списка прокси)

    Atms, 8 янв 2016, в разделе: Прокси для парсинга
    Ответов:
    10
    Просмотров:
    46.171
    Kreol
    7 фев 2018
  5. Anderson778

    Парсинг avito через прокси

    Anderson778, 23 мар 2017, в разделе: Прокси для парсинга
    Ответов:
    4
    Просмотров:
    2.824
    kagorec
    1 авг 2017
Загрузка...

Поделиться этой страницей