Код ответа сервера без загрузки кода документа

Тема в разделе "Решение проблем с использованием программы", создана пользователем Xpite, 28 ноя 2017.

  1. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Мне нужно проверить порядка 1 млн страниц на 200 код, чтобы не копаться по мудреным разделам на сайте. Тупо идет подбор по id. от 0000001 до 9999999.
    Сделал простой шаблон [IF1][RESPONSECODE]=200[THEN]<CD_DOCURL!>[ELSE][/IF1]
    Для записи в файл тех урлов, которые отдают 200 код. Но заметил, что программа загружает полный код документа, т.е. это несколько не то что нужно, т.к. это будет и заметно дольше и совершенно не нужно.

    Нельзя ли сделать простейший чекер по 200 коду, чтобы решать многие подобные вопросы очень оперативно? Без загрузки кода страницы, только код ответа.
     
  2. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Может быть возможно платно добавить такой функционал?
     
  3. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Добрый день.
    Простейший чекер:
    HTML:
    <form action="index.php" method="POST">
            <textarea name='url'></textarea>
            <button type="submit">Send</button>
        </form>
    PHP:
    <?php
            
    if(!empty($_POST["url"])){
                
    $url $_POST['url'];
                
    $links explode("\r\n",$url);
                
    $count count($links);
      
                for (
    $i =0$count $i$i++)
                {
                    
    $url $links[$i];
                    
    $head get_headers($url);
                    
    $code $head[0];
                    echo 
    "$url $code";
                    echo 
    "<br>";
                }
                        }
        
    ?>
    Ссылки недоступны для гостей
    Локальный сервер для запуска php - Ссылки недоступны для гостей.
    Сортируете полученные ссылки и вставляете в CD.

    [​IMG]
     
    Последнее редактирование: 30 ноя 2017
    Xpite нравится это.
  4. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Спасибо большое, но мне обязателен нужно использовать прокси сервер и как минимум менять user-agent при каждом обращении. Иначе сразу бан, особенно учитывая кол-во страниц подбора. Именно поэтому хотелось бы решение на основе Content Downloader, там вроде как достаточно маленького допила.
     
  5. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Ссылки недоступны для гостей
    Как-то так
     
    Xpite нравится это.
  6. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Спасибо большое, попробую, отпишу
     
  7. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Вариант не подходит, все равно идет полная загрузка документа, в статусе стоит:
    Документ загружен: 96037 символа(ов). Status: 200
     
  8. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Я только сейчас понял - это был неверный совет. Php в этом случае будет делать запрос к сайту без прокси. Пока не знаю как вам помочь.

    Попробуйте использовать стороннюю программу для прокси, которая будет проводить через себя весь трафик ОС.
    http://forum.sbfactory.ru/threads/proxy-daet-1-port-na-50-potokov-kak-ispolzovat-50-potokov-cd.4634/
    В настройках ctrl+h установите минимальное время ожидания - 1 мс.
    Под рукой нет программы, помню, что для IE DOM можно установить. Для других протоколов проверьте самостоятельно.
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    2017-12-04_10-33-49.png
     
    Xpite и xLime нравится это.
  10. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Невероятно, спасибо большое!
    Почему-то пропустил Ваше сообщение ранее
     
  11. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Только не понял как пользоваться. Ставлю прокси CIS, все работает, но не работает response
    Ставлю прокис WIN - не работают прокси (и с логин-паролем и без)
    Ставлю без прокси WIN - все работает, но банят))
    Как пользоваться?)
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    На WIN Работают все типы прокси без логина с паролем (НА АКТУАЛЬНОЙ ВЕРСИИ ПРОГРАММЫ). Если какие-то не работают, выложите их тут под хайдом, проверю.
     
  13. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    У меня они привязаны к ip (fineproxy)
    Дайте пожалуйста свой ип адрес, я перевяжу на вас на время теста

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 8500 постов.**
     
  14. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    А все, не нужно, оказывается socks прокси не подходят для этого вариант, а http/https работают через другой порт.
    Спасибо!
     
    Root нравится это.
  15. KatmanDu

    KatmanDu New Member Пользователи

    Регистрация:
    18 дек 2018
    Сообщения:
    1
    Спасибо, способ помог!
     
    Root нравится это.

Поделиться этой страницей