Ошибки при парсинге - не понятный результат

Всем привет,

Ситуация такая: запускаю парсинг, на 250+ страниц, из них 8 заканчиваются с ошибками, при том, что в браузере все хорошо грузится.

В результате парсинга, получаю:
- 7 страниц с ошибкой: "файл не сохранен: результирующий документ оказался пустым"

- при этом, нужная инфа парсится и сохраняется в CSV - я растерян;​

- 1 страница с ошибкой: "файл не сохранен: программе не удалось загрузить страницу"

- запись в CSV отсутствует - это логично, вель есть ошибка. но в браузере грузится ок;​

Вопрос:
- можно, что то сделать, что бы не было ошибок и все записывалось в CSV?
- если все-таки получаю ошибку - как сохранить в CSV ссылку и слово "ошибка", что бы я видел, что есть таковая?

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Спасибо.

 

Здравствуйте.

Пробуйте парсить в 1 поток (может этот сайт не всегда отвечает на частые запросы).

Чтобы игнорировать "файл не сохранен: программе не удалось загрузить страницу" и выводить что-либо на подобных страницах, например <CD_DOCURL!> (ссылка на текущий WEB-документ, который парсим), нажимаем ctrl+6 и вставляем туда <CD_DOCURL!>.

С уважением к вам, Сергей...

 

"нажимаем ctrl+6 и вставляем туда <CD_DOCURL!>"
- если я сохраняю результаты парсинга в CSV - как указать ячейку, в которой должен вывестись <CD_DOCURL!>, замещающий ошибку? или как-то автоматом сохранит?

 

Посчитать, в какой столбец вам нужно вставить и поставить разделители столбцов:

 

"файл не сохранен: результирующий документ оказался пустым"
тоже самое и у меня... парсю в один поток...

самое главное при предпросмотре все нормально загружается... а когда начинаю парсинг ошибки!

Попытался без php загрузилось нормально, но когда совмещаю php и загрузку файлов... выдает ошибку!

 

1) Зачем передавать, если при предпросмотре.. все отлично
2) у меня в проекте 18 ссылок и все с ошибками.... 100%
3) Потоков 1

У меня вопрос... можно ли так сделать:
<скрипт>код разный
<загрузка картинки>
</скрипт> ?

Мне кажется проблема иза этого...

Если сделать так:

<скрипт>код разный
</скрипт>
<загрузка картинки>

То все отлично загружается... и скрипт срабатывает и картинка загружается... только приходиться немного дописать код в скрипте.. дабы название картинки записывало в базу!