什么叫采集？
就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。
可以通过三种方法来使用PHP访问到网页
1. 使用file_get_contents()
前提：在php.ini中设置允许打开一个网络的url地址。
使用这个函数时可以直接将路径写入函数中，将所选路径的内容加载出来，但是在访问网上的网址时必须连接网络
<?php echo file_get_contents('https://www.baidu.com/'); ?>2. 使用socket技术采集：
socket采集是最底层的，它只是建立了一个长连接，然后我们要自己构造http协议字符串去发送请求。
例如要想获取这个页面的内容，http://tv.youku.com/?spm=a2hww.20023042.topNav.5~1~3!2~A，用socket写如下：
[php] view plain copy
<?php //连接,$error错误编号,$errstr错误的字符串,30s是连接超时时间 $fp=fsockopen("www.youku.com",80,$errno,$errstr,30); if(!$fp) die("连接失败".$errstr); //构造http协议字符串，因为socket编程是最底层的，它还没有使用http协议 $http="GET /?spm=a2hww.20023042.topNav.5~1~3!2~A HTTP/1.1\r\n"; // \r\n表示前面的是一个命令 $http.="Host:www.youku.com\r\n"; //请求的主机 $http.="Connection:close\r\n\r\n"; // 连接关闭，最后一行要两个\r\n //发送这个字符串到服务器 fwrite($fp,$http,strlen($http)); //接收服务器返回的数据 $data=''; while (!feof($fp)) { $data.=fread($fp,4096); //fread读取返回的数据，一次读取4096字节 } //关闭连接 fclose($fp); var_dump($data); ?>打印出的结果如下，包含了返回的头信息及页面的源码：
3、使用fopen获取网页源代码
<?php $url = 'https://www.baidu.com/'; $opts = array( 'http'=>array( 'method'=>"GET", 'header'=>"Accept-language: en\r\n" . "Cookie: foo=bar\r\n" ) ); $context = stream_context_create($opts); $fp = fopen($url, 'r', false, $context); while(!feof($fp)) { $result.= fgets($fp, 1024); } fpassthru($fp); fclose($fp); ?>4. 使用curl
curl把HTTP协议都封装成了很多函数，直接传相应参数即可，降低了编写HTTP协议字符串的难度。
前提：在php.ini中要开启curl扩展。
<?php if (function_exists('curl_init')) { //检查函数是否存在 $url = "https://www.baidu.com/"; $ch = curl_init(); //初始化curl会话 curl_setopt($ch, CURLOPT_URL, $url); //设置url curl_setopt($ch, CURLOPT_CUSTOMREQUEST, "GET");//3.请求方式 curl_setopt($curl, CURLOPT_ENCODING, ''); //设置编码格式，为空表示支持所有格式的编码 //header中“Accept-Encoding: ”部分的内容，支持的编码格式为："identity"，"deflate"，"gzip"。 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //将curl_exec()获取的信息以字符串返回，而不是直接输出。 0：直接输出 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10); //0.发起执行前无限等待 $dxycontent = curl_exec($ch); // 抓取URL并把它传递给浏览器 if (curl_errno($ch)) { //如果出错 return curl_error($ch); } curl_close($ch);//关闭 echo $dxycontent; } else { echo '汗！貌似您的服务器尚未开启curl扩展，无法收到来自云落的通知，请联系您的主机商开启，本地调试请无视'; } ?>4种方式的选择
网络之间通信主要使用的是以上四种。其中file_get_contents()与curl用的较多：如果要批量采集大量的数据时使用第二种【CURL】，性能好、稳定。
偶尔发几个请求发的频繁不密集时使用file_get_contents()。
附加：采取网站图片
<?php $rs = file_get_contents("compress.zlib://".$url); $preg = '#<img .* src="https://blog.csdn.net/qq_41718455/article/details/(.*)" .* >#isU'; preg_match($preg,$rs,$img); //使用正则表达式查询出图片路径 $file = file_get_contents('https:'.$img[1]); file_put_contents('baidu.png', $file); ?>urlphpsocbaidu服务器codingpng数据库浏览器正则表达式idecreate
