如何使用curl获取网页内容

HttpRequest.class.php

<?php


/*
 * 使用curl扩展发出http的get或post请求
 */
class HttpRequest
{
    //url，请求的服务器地址
    private $url = "";
    
    //is_return，是否返回结果而不是直接显示
    private $is_return = 1;
    
    public function __set($p,$v)
    {
        if(property_exists($this, $p)){
            $this->$p = $v;
        }
    }
    // 发出http请求的方法
    //参数：提交的数据，默认是空的
    public function send($data = array())
    {
        //1. 如果传递数据了，说明向服务器提交数据(post)，如果没有传递数据，认为从服务器读取资源(get)
        $ch = curl_init();
        
        //2. 不管是get、post，跳过证书的验证
        curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
        
        //3. 设置请求的服务器地址
        curl_setopt($ch, CURLOPT_URL, $this->url);
        
        //4. 判断是get还是post
        if(!empty($data)){
            curl_setopt($ch, CURLOPT_POST, true);
            curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
        }
        //5. 是否返回数据
        if($this->is_return===1){
            //说明返回
            curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
            $result = curl_exec($ch);
            curl_close($ch);
            return $result;
        }else{
            //直接输出
            curl_exec($ch);
            curl_close($ch);
        }
    }
}

curlcollect.php

<?php
require_once "HttpRequest.class.php";


class Kl8_360
{
    
    //接收采集的网址，并制定筛选规则
    public function collect()
    {
        $config = include "config.php";
        $url=$config["url"];
        //开始采集
        $http = new HttpRequest();
        $http -> url = $url;
        $string = $http -> send();
        $pattern = "#<tr.+?>(.+?)</tr>#";
        preg_match($pattern, $string, $match);
        // echo "<pre>";
        // var_dump($match["0"]);
        $str=$match["0"];
        $qihao=substr($str,18,6);
        $pattern1 = "#<span.+?>(.+?)</span>#";
        preg_match_all($pattern1, $str, $old_kaijianghao);
        $old_kaijianghao=implode("",$old_kaijianghao["0"]);
        $kaijianghao=substr($old_kaijianghao,0,640);


        $new_kaijianghao=strip_tags( $kaijianghao );
       
        $feipan=substr($str,821,2);
        $jiangchi=substr($str,839,8);
        $kjtime=substr($str,858,19);
        $kjtimestamp=time();
        $data=array();
        $data["qihao"]=$qihao;
        $data["kaijianghao"]=$new_kaijianghao;
        $data["feipan"]=$feipan;
        $data["jiangchi"]=$jiangchi;
        $data["kjtime"]=$kjtime;
        $data["kjtimestamp"]=time();
        return $data;


    }
}
$a=new Kl8_360();
var_dump($a->collect());

------------------------------------------------------------------------

补充一个使用file_get_contents的采集方法

<?php
require_once "DAOPDO.class.php";
class Kl8_360{
    public function getData(){
        $config = include "config.php";
        $url=$config["url"];
        // var_dump($url);die;
        // $url="http://chart.cp.360.cn/kaijiang/kl8?sb_spm=f35ccf8a8a86029d3082798218e9d902";
        $string=file_get_contents($url);
        // var_dump($string);die;


        
        $pattern = "#<tr.+?>(.+?)</tr>#";
        preg_match($pattern, $string, $match);
        // echo "<pre>";
        // var_dump($match["0"]);
        $str=$match["0"];
        $qihao=substr($str,18,6);
        $pattern1 = "#<span.+?>(.+?)</span>#";
        preg_match_all($pattern1, $str, $old_kaijianghao);
        $old_kaijianghao=implode("",$old_kaijianghao["0"]);
        $kaijianghao=substr($old_kaijianghao,0,640);


        $new_kaijianghao=strip_tags( $kaijianghao );
       
        $feipan=substr($str,821,2);
        $jiangchi=substr($str,839,8);
        $kjtime=substr($str,858,19);
        $kjtimestamp=time();
        $data=array();
        $data["qihao"]=$qihao;
        $data["kaijianghao"]=$new_kaijianghao;
        $data["feipan"]=$feipan;
        $data["jiangchi"]=$jiangchi;
        $data["kjtime"]=$kjtime;
        $data["kjtimestamp"]=time();
        return $data;
    }
    //数据入库   
    public function insertMysql($data){
        $config = include "config.php";
        $option =$config["option"];


        $dao=DAOPDO::getSingleton($option);
        $qihao=$data["qihao"];
        $kaijianghao=$data["kaijianghao"];
        $feipan=$data["feipan"];
        $jiangchi=$data["jiangchi"];
        $kjtime=$data["kjtime"];
        $kjtimestamp=$data["kjtimestamp"];
        $sql="select * from 360kl8 where qihao=$qihao";
        $res=$dao->fetchRow($sql);
        if(!$res){
            $sql="insert into 360kl8 (qihao,kaijianghao,feipan,jiangchi,kjtime,kjtimestamp) values ("$qihao","$kaijianghao","$feipan","$jiangchi","$kjtime",$kjtimestamp)";
            // var_dump($sql);die;
            @$res=$dao->exec($sql);
            // if($res){
            //     echo "ok";
            // }else{
            //     echo "no ";
            // }
        }
    }
    //从数据库提取数据
     public function selectMysql($data){  
        $config = include "config.php";
        $option = $config["option"];
        $dao=DAOPDO::getSingleton($option);
        $sql="select * from 360kl8 order by qihao desc limit 20";
        $res=$dao->fetchAll($sql);
        if($res){
            var_dump(json_encode($res));
        }
        // else{
        //     echo "no ";
        // }
    }
   
    
}



$a=new Kl8_360();
echo "<pre>";
var_dump($a->getData());
$a->insertMysql($a->getData());
$a->selectMysql($a->getData());