Что-то не так!

Тема в разделе "Решение проблем с использованием программы", создана пользователем dmarkitan, 18 мар 2013.

  1. dmarkitan

    dmarkitan New Member Пользователи

    Регистрация:
    10 мар 2013
    Сообщения:
    3
    Ситуация следующая, при сканировании ссылок, сканирование идёт очень медленно 0-0,2 страницы в сек. При этом интернет начинает очень сильно "тупить", хотя неделю назад всё было ок!
    Где копать? Чего не хватает?
     
    dmarkitan, 18 мар 2013
    #1
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Заголовок темы конечно как в желтой прессе))
    В бы донора указали или так со всеми сайтами происходит при сканировании?
     
    kagorec, 18 мар 2013
    #2
  3. dmarkitan

    dmarkitan New Member Пользователи

    Регистрация:
    10 мар 2013
    Сообщения:
    3
    ikea.ru
     
    dmarkitan, 18 мар 2013
    #3
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Для фильтр ссылок
    PHP:
    http://www.ikea.com/ru/ru/catalog/products/*/
    для ограничения "брать ссылки только с .."
    Вот за минуту на сканировало более 1000 ссылок товарных _http://i.imgur.com/H2Bu6Aa.png

    Возможно ваш ип забанен, или например юзер агент+ип у них числится в черном списке, тогда помогут прокси либо адвор
     
    kagorec, 18 мар 2013
    #4
  5. faqbill

    faqbill Member Пользователи

    Регистрация:
    3 янв 2011
    Сообщения:
    53
    Тоже такое заметил, и то не с одного сайта, а с разных. При начале сбора ссылок все идет быстренько, потом медленно но уверенно падает почти до нуля. Например вот сегодня, надо спарсить все ссылки на игрушки, к примеру (вот хочу вставить сейчас ссылку, жду уже минуту что бы страница с сайта открылась, хотя парсинг и выключил) h_ttp://www.alawar.ru/game/sacra-terra-kiss-of-death-collectors-edition, проще и быть не может. Даже вот сейчас при простое, программа ест памяти 230 Кб, и такое ощущения что выключенная но всеравно грузит что то. В старых версиях такого не наблюдалось.
     
    faqbill, 26 мар 2013
    #5
  6. Aleksandr1

    Aleksandr1 New Member Пользователи

    Регистрация:
    24 фев 2012
    Сообщения:
    14
    У меня похожая проблема, только в "обработка и импорт в КМС" - функция добавление файлов. Так при кол-ве файлов 1200 шт. первые 50% загружаются за 10 минут,а остальные - за 2-3 часа. А, если файлов 3 и более тыс., то их совсем загрузить нельзя, даже за ночь. В этом случае я их разбиваю на группы по 1 тыс. а потом обрабатываю программой. Пробывал на разных коьпьютерах, с разными windows, разница не большая.
    Есть методы решения этой проблемы?
     
    Aleksandr1, 1 апр 2013
    #6
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    да, присваивать категорию не по линии как вы делаете. а во время парсинга указывать категорию в теге [CATS]Имя категории[/CATS] - чтоб она создавалась на финальном этапе изготовления xml импорта
    п.с. это если речь об изготовлении импорта для вордпресса
     
    kagorec, 1 апр 2013
    #7
  8. Aleksandr1

    Aleksandr1 New Member Пользователи

    Регистрация:
    24 фев 2012
    Сообщения:
    14
    Если этот ответ для меня, то я так и делаю. Но вопрос я задал про другое.:confused:
     
    Aleksandr1, 2 апр 2013
    #8
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    может я не так выразился но суть выше описанного мною - это метод намного быстрее для работы с категориями. 5000 статей добавляется в секунды.
     
    kagorec, 2 апр 2013
    #9
  10. faqbill

    faqbill Member Пользователи

    Регистрация:
    3 янв 2011
    Сообщения:
    53
    Последние версии просто начинает на любом сайте медленно "съедать" память, компьютер начинает тормозить, скорость работы программы соответственно тоже падает, паралельно страницы в браузере еле открываются. Может быть это у меня только такая проблема ?...
    P.S. Вот сейчас смотрю, при парсинге ссылок с сайта загрузка ЦП 97%,
     
    Последнее редактирование: 2 апр 2013
    faqbill, 2 апр 2013
    #10
  11. Aleksandr1

    Aleksandr1 New Member Пользователи

    Регистрация:
    24 фев 2012
    Сообщения:
    14
    Извините, kagorec, видимо я чего-то не понимаю. Во время парсинга, я присваиваю категорию Ссылки недоступны для гостей в шаблоне вывода ([CATS]Имя категории[/CATS] - последняя строка шаблона вывода). Далее скачивание картинок и страниц сайта. На этом этапе у меня все нормально, скорость работы, в основном, зависит только от интернета. А вот далее - Ссылки недоступны для гостей (Добавление и обработка загруженного контента в инструмент для импорта) эта процедура у меня проходит мучительно долго (интернет здесь не участвует). Что я делаю не так?
     
    Последнее редактирование: 7 апр 2013
    Aleksandr1, 7 апр 2013
    #11
  12. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Подозреваю что вы хотите чтоб отображало с подкаталогами как на скрине в "система помощи" но там для примера было показано.
    Добавляйте не применяя "распределение" поскольку при больших обьемах контента оно хорошо нагружает систему, это не нужно делать при наличии указателя [CATS]Категория название[/CATS]

    [​IMG]
     
    kagorec, 7 апр 2013
    #12
  13. Aleksandr1

    Aleksandr1 New Member Пользователи

    Регистрация:
    24 фев 2012
    Сообщения:
    14
    Спасибо, попробую, наверное в этом и есть моя ошибка.
     
    Aleksandr1, 7 апр 2013
    #13

Поделиться этой страницей