这是一个系列 没办法在一两天写完 所以一篇一篇的发布
大致大纲：
2.curl数据采集系列之多页面并行采集函数get_htmls
3.curl数据采集系列之正则处理函数get _matches
4.curl数据采集系列之代码分离
5.curl数据采集系列之并行逻辑控制函数web_spider
单页面采集在数据采集过程中是最常用的一个功能 有时在服务器访问限制的情况下 只能使用这种采集方式 慢 但是可以简单的控制 所以写好一个常用的curl函数调用是很重要的
最简单的写法：
$ch = curl_init($url);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);
curl_setopt($ch,CURLOPT_TIMEOUT,5);
$html = curl_exec($ch);
if($html !== false){
echo $html;
}
@H_502_27@
由于使用频繁 可以利用curl_setopt_array写成函数的形式：
$options[CURLOPT_RETURNTRANSFER] = true;
$options[CURLOPT_TIMEOUT] = 5;
$ch = curl_init($url);
curl_setopt_array($ch,$options);
$html = curl_exec($ch);
curl_close($ch);
if($html === false){
return false;
}
return $html;
}
@H_502_27@
echo get_html($url);
@H_502_27@
有时候需要传递一些特定的参数才能得到正确的页面 如现在要得到网易的页面：
echo get_html($url);
@H_502_27@
会看到一片空白 什么也没有 那么再利用curl_getinfo写一个函数 看看发生了什么：
$html = curl_exec($ch);
$info = curl_getinfo($ch);
curl_close($ch);
return $info;
}
$url = 'http://www.163.com';
var_dump(get_info($url));
@H_502_27@
可以看到重定向了这时候就需要传递一些参数了： 会发现怎么是这样的一个页面和我们电脑访问的不同？？？ 看来参数还是不够不够服务器判断我们的客户端是什么设备上的就返回了个普通版
$options[CURLOPT_FOLLOWLOCATION] = true;
echo get_html($url,$options);
@H_502_27@
