cURL超时设置

一般我们访问HTTP方式很多,主要是:curl, socket, file_get_contents() 等方法。

如果碰到对方服务器一直没有响应的时候,我们就悲剧了,很容易把整个服务器搞死,所以在访问http的时候也需要考虑超时的问题。


一、CURL 访问HTTP

CURL 是我们常用的一种比较靠谱的访问HTTP协议接口的lib库,性能高,还有一些并发支持的功能等。

curl_setopt($ch, opt) 可以设置一些超时的设置,主要包括:
*(重要) CURLOPT_TIMEOUT 设置cURL允许执行的最长秒数。
*(重要) CURLOPT_TIMEOUT_MS 设置cURL允许执行的最长毫秒数。
(在cURL 7.16.2中被加入。从PHP 5.2.3起可使用)

CURLOPT_CONNECTTIMEOUT 在发起连接前等待的时间,如果设置为0,则无限等待。
CURLOPT_CONNECTTIMEOUT_MS 尝试连接等待的时间,以毫秒为单位。如果设置为0,则无限等待。
(在cURL 7.16.2中被加入。从PHP 5.2.3开始可用)

CURLOPT_DNS_CACHE_TIMEOUT 设置在内存中保存DNS信息的时间,默认为120秒。



curl普通秒级超时:

       $ch = curl_init();
       curl_setopt($ch, CURLOPT_URL,$url);
       curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
       curl_setopt($ch, CURLOPT_TIMEOUT,60);   //只需要设置一个秒的数量就可以
       curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
       curl_setopt($ch, CURLOPT_USERAGENT, $defined_vars['HTTP_USER_AGENT']);
 





curl普通秒级超时使用:

       curl_setopt($ch, CURLOPT_TIMEOUT,60);
 





curl如果需要进行毫秒超时,需要增加:

       curl_easy_setopt(curl, CURLOPT_NOSIGNAL,1L);
       //或者是:
       curl_setopt ( $ch,  CURLOPT_NOSIGNAL,true);//是可以支持毫秒级别超时设置的
 





curl一个毫秒级超时的例子:

if(!isset($_GET['foo'])){
        // Client
        $ch = curl_init('http://example.com/');
        curl_setopt($ch, CURLOPT_RETURNTRANSFER,true);
        curl_setopt($ch, CURLOPT_NOSIGNAL,1);    //注意,毫秒超时一定要设置这个
        curl_setopt($ch, CURLOPT_TIMEOUT_MS,200);  //超时毫秒,cURL 7.16.2中被加入。从PHP 5.2.3起可使用
        $data = curl_exec($ch);
        $curl_errno = curl_errno($ch);
        $curl_error = curl_error($ch);
        curl_close($ch);
 
        if($curl_errno >0){
                echo "cURL Error ($curl_errno): $curl_error\n";
        }else{
                echo "Data received: $data\n";
        }
}else{
        // Server
        sleep(10);
        echo "Done.";
}



其他一些技巧:
1. 按照经验总结是:cURL 版本 >= libcurl/7.21.0 版本,毫秒级超时是一定生效的,切记。
2. curl_multi的毫秒级超时也有问题。。单次访问是支持ms级超时的,curl_multi并行调多个会不准





二、流处理方式访问HTTP

除了curl,我们还经常自己使用fsockopen、或者是file操作函数来进行HTTP协议的处理,所以,我们对这块的超时处理也是必须的。



一般连接超时可以直接设置,但是流读取超时需要单独处理。

自己写代码处理:

    $tmCurrent = gettimeofday();
        $intUSGone =($tmCurrent['sec']- $tmStart['sec'])*1000000
                   +($tmCurrent['usec']- $tmStart['usec']);
        if($intUSGone > $this->_intReadTimeoutUS){
            returnfalse;
        }
 





或者使用内置流处理函数 stream_set_timeout() 和 stream_get_meta_data() 处理:

// Timeout in seconds
$timeout =5;
$fp = fsockopen("example.com",80, $errno, $errstr, $timeout);if($fp){
        fwrite($fp,"GET / HTTP/1.0\r\n");
        fwrite($fp,"Host: example.com\r\n");
        fwrite($fp,"Connection: Close\r\n\r\n");
        stream_set_blocking($fp,true);   //重要,设置为非阻塞模式
        stream_set_timeout($fp,$timeout);   //设置超时
        $info = stream_get_meta_data($fp);
        while((!feof($fp))&&(!$info['timed_out'])){
                $data .= fgets($fp,4096);
                $info = stream_get_meta_data($fp);
                ob_flush;
                flush();
        }
        if($info['timed_out']){
                echo "Connection Timed Out!";
        }else{
                echo $data;
        }}



file_get_contents 超时:

$timeout = array(
    'http'=> array(
        'timeout'=>5//设置一个超时时间,单位为秒
    )
);
$ctx = stream_context_create($timeout);
$text = file_get_contents("http://example.com/",0, $ctx);





fopen 超时:

$timeout = array(
   'http' => array(
       'timeout' => 5 //设置一个超时时间,单位为秒
   )
);

$ctx = stream_context_create($timeout);

if ($fp = fopen("http://example.com/", "r", false, $ctx)) {
 while( $c = fread($fp, 8192)) {
   echo $c;
 }
 fclose($fp);
}


curl常用设置-涉及超时相关

curl_easy_setopt( curl, CURLOPT_VERBOSE, 1L ); //在屏幕打印请求连接过程和返回http数据
curl_easy_setopt( curl, CURLOPT_TIMEOUT, 10 );//接收数据时超时设置,如果10秒内数据未接收完,直接退出
curl_easy_setopt(curl, CURLOPT_AUTOREFERER, 1); // 以下3个为重定向设置
curl_easy_setopt(curl, CURLOPT_FOLLOWLOCATION, 1); //返回的头部中有Location(一般直接请求的url没找到),则继续请求Location对应的数据
curl_easy_setopt(curl, CURLOPT_MAXREDIRS, 1);//查找次数,防止查找太深
curl_easy_setopt( curl, CURLOPT_CONNECTTIMEOUT, 3 );//连接超时,这个数值如果设置太短可能导致数据请求不到就断开了

转自:http://blog.csdn.net/lizhi200404520/article/details/7369658

==========================================

以及下面实际运用相关代码段:

foreach ($url_array as $url) {
        $ch = curl_init();
        curl_setopt($ch, CURLOPT_URL, $url);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($ch, CURLOPT_HEADER, 0);
        curl_setopt($ch, CURLOPT_TIMEOUT, 50);
        curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)");
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);        // 使用自动跳转
        curl_setopt($ch, CURLOPT_MAXREDIRS, 7);
        curl_setopt($ch, CURLOPT_REFERER, $url);
        curl_setopt($ch, CURLOPT_ENCODING, "gzip");
        if ($pCookie != "") {
            curl_setopt($ch, CURLOPT_COOKIEFILE, $pCookie); // 读取上面所储存的Cookie信息
        }
        curl_multi_add_handle($mh, $ch); // 把 curl resource 放进 multi curl handler 里
        $handle[$i++] = $ch;
    }


有话要说