分类 代码分析 下的文章

利用phantomjs模拟QQ自动登录

之前为了抓取兴趣部落里的数据,研究了下QQ自动登录。

当时搜索了一番,发现大部分方法都已经失效了,于是准备自己开搞。

第一个想到的就是参考网上已有方案的做法,梳理登陆js的实现,通过其他语言重写。
考虑到js可能会更新,放弃了此方案。

第二个想到的是能不能直接调用QQ自己的js方法,模拟进行提交呢。
搜索一番后发现神器 ———— "phantomjs".

PhantomJS is a headless WebKit scriptable with a JavaScript API. It has fast and native support for various web standards: DOM handling, CSS selector, JSON, Canvas, and SVG.

于是开搞,代码实现如下。

var page = require('webpage').create();
var fs = require("fs");
page.settings.userAgent = 'Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.3 (KHTML, like Gecko) Version/8.0 Mobile/12A4345d Safari/600.1.4';
page.open('http://ui.ptlogin2.qq.com/cgi-bin/login?pt_no_onekey=1&style=9&appid=1006102&s_url=http%3A%2F%2Fxiaoqu.qq.com%2Fmobile%2Fbarindex.html%3F_lv%3D29313%26_bid%3D128%26_wv%3D1027%26from%3Dshare_link%23bid%3D37469%26type%3D%26source%3Dindex%26scene%3Drecent%26from%3Ddongtai%26webview%3D1&low_login=0&hln_css=http%3A%2F%2Fpub.idqqimg.com%2Fqqun%2Fxiaoqu%2Fmobile%2Fimg%2Fnopack%2Flogin-logo.png', function(status){
    if (status == 'success') {
        page.render('index.png');
        setTimeout(function() {
            page.evaluate(function() {
                document.getElementById('u').value = 'QQ号码';
                document.getElementById('p').value = 'QQ密码';
                pt.check(false);
            });
            setTimeout(function() {
                file = fs.open("cookie.log", 'w');
                file.write(JSON.stringify(page.cookies));
                file.close();
                phantom.exit();
            }, 2000);
        }, 1000);
    }
});

cookie会写入到当前目录下的cookie.log文件,有了cookie接下来的事情就简单多了。

PHP进行tcp连接

业务里用到tcp跟后端服务进行通信。

  1. 原生PHP的写法。

        $host = '服务端IP';
        $port = 端口号;
        $timeout = 5;
    
        $socket = socket_create(AF_INET, SOCK_STREAM, SOL_TCP);
        if (socket_connect($socket, $host, $port) === false) { // 创建连接
            socket_close($socket);
            $message = 'create socket error';
            throw new Exception($message, socket_last_error());
        }   
    
        if (socket_write($socket, $buffer) === false) { // 发包
            socket_close($socket);
            $message = sprintf("write socket error:%s", socket_strerror(socket_last_error()));
            throw new Exception($message, socket_last_error());
        }   
    
        socket_set_option($socket, SOL_SOCKET, SO_RCVTIMEO, $timeout);
    
        $rspBuffer = socket_read($socket, 65536); // 接收回包
    
        socket_close($socket);
  2. 使用swoole的写法。

        $client = new swoole_client(SWOOLE_SOCK_TCP, SWOOLE_SOCK_SYNC);
        $ret = $client->connect('服务端IP', 端口号, 0.5, 0);  // 创建连接
        if (!$ret) {
            throw new Exception('connect error', $client->errCode);
        }   
    
        $client->send($buffer); // 发包
    
        $rspBuffer = $client->recv(); // 接收回包

一目了然,使用swoole的写法更加清楚明了。

PHP7下使用MongoDB API

  1. 安装支持PHP7的扩展。

    老版的MongoDB扩展是不支持PHP7的,需要下载重新编译支持PHP7的扩展。

    手动编译PHP7的MongoDB扩展
    PHP手册关于老版扩展的文档
    PHP手册关于新版扩展的文档

  2. 安装MongoDB的PHP类库。

    mongo-php-library的github主页

    使用composer安装。

        composer require "mongodb/mongodb=^1.0.0@beta"
  3. 操作完前两步就可以在PHP7里使用MongoDB了.

        <?php
        require_once __DIR__ . "/vendor/autoload.php";
    
        $manager = new MongoDB\Driver\Manager("mongodb://localhost:27017");
        $collection = new MongoDB\Collection($manager, "db.test");
    
    
        // 读取一条数据
        $data = $collection->findOne(array('id' => 1));
    
        // 读取多条数据
        $options = arrray(
            'projection' => array('id' => 1, 'age' => 1, 'name' => 1), // 指定返回哪些字段
            'sort' => array('id' => -1), // 指定排序字段
            'limit' => 10, // 指定返回的条数
            'skip' => 0, // 指定起始位置
        );
        $dataList = $collection->find(array('age' => 50), $options);
    
        // 插入一条数据
        $data = array('id' => 2, 'age' => 20, 'name' => '张三');
        $collection->insertOne($data);
    
        // 修改一条数据
        $collection->updateOne(array('id' => 1), array('$set' => array('age' => 20)));
    
        // 删除一条数据
        $collection->deleteOne(array('id' => 1));
    
        // 删除多条数据
        $collection->deleteMany(array('id' => array('$in' => array(1, 2))));

手动编译PHP7的MongoDB扩展

  1. 下载支持php7的MongoDB扩展

        wget http://pecl.php.net/get/mongodb-1.1.1.tgz
        tar -zxvf mongodb-1.1.1.tgz
        cd mongodb-1.1.1.tgz
        /usr/local/php7/bin/phpize
        ./configure --with-php-config=/usr/local/php7/bin/php-config
        make && make install

    如果出现Can't install [sasl.h not found!]的错误,执行命令apt-get install libsasl2-dev

  2. 添加mongodb.so到php.ini里
  3. 查看当前扩展

        /usr/local/php7/bin/php -m
        [PHP Modules]
        bcmath
        Core
        ctype
        curl
        date
        dom
        filter
        ftp
        gd
        gettext
        hash
        iconv
        json
        libxml
        mbstring
        mcrypt
        mongodb
        mysqlnd
        openssl
        pcntl
        pcre
        PDO
        pdo_sqlite
        Phar
        posix
        Reflection
        session
        shmop
        SimpleXML
        soap
        sockets
        SPL
        sqlite3
        standard
        sysvsem
        tokenizer
        xml
        xmlreader
        xmlrpc
        xmlwriter
        Zend OPcache
        zip
        zlib
    
        [Zend Modules]
        Zend OPcache

    可以看到已经有mongodb扩展了。

手动编译安装PHP7

之前搞过一次php7的beta版,正式版发布了,想着把php也升上去。
之前安装是用的apt-get方式,这次想折腾一下手动编译。
服务器环境 Ubuntu 14.04 x64
  1. 下载PHP文件

        wget https://github.com/php/php-src/archive/php-7.0.1.zip
        unzip -q php7-src-master.zip
  2. 配置编译参数

        ./buildconf
    
        ./configure \
        --prefix=/usr/local/php7 \                              [PHP7安装的根目录]
        --exec-prefix=/usr/local/php7 \
        --bindir=/usr/local/php7/bin \
        --sbindir=/usr/local/php7/sbin \
        --includedir=/usr/local/php7/include \
        --libdir=/usr/local/php7/lib/php \
        --mandir=/usr/local/php7/php/man \
        --with-config-file-path=/usr/local/php7/etc \           [PHP7的配置目录]
        --with-mysql-sock=/var/run/mysql/mysql.sock \           [PHP7的Unix socket通信文件]
        --with-mcrypt=/usr/include \
        --with-mhash \
        --with-openssl \           
        --with-mysqli=shared,mysqlnd \                          [PHP7依赖mysql库]
        --with-pdo-mysql=shared,mysqlnd \                       [PHP7依赖mysql库]
        --with-gd \
        --with-iconv \
        --with-zlib \
        --enable-zip \
        --enable-inline-optimization \
        --disable-debug \
        --disable-rpath \
        --enable-shared \
        --enable-xml \
        --enable-bcmath \
        --enable-shmop \
        --enable-sysvsem \
        --enable-mbregex \
        --enable-mbstring \
        --enable-ftp \
        --enable-gd-native-ttf \
        --enable-pcntl \
        --enable-sockets \
        --with-xmlrpc \
        --enable-soap \
        --without-pear \
        --with-gettext \
        --enable-session \                                      [允许php会话session]
        --with-curl \                                           [允许curl扩展]
        --with-jpeg-dir \
        --with-freetype-dir \
        --enable-opcache \                                      [使用opcache缓存]
        --enable-fpm \
        --with-fpm-user=www \                                 [php-fpm的用户]
        --with-fpm-group=www \                                [php-fpm的用户组]
        --without-gdbm \
        --disable-fileinfo

    如果buildconf的时候输出下面的错误,加上--force参数解决。

        You should not run buildconf in a release package.
        use buildconf --force to override this check.
  3. 开始编译和安装

        make && make install

    执行完可以去喝杯水,耐心等待就好了。

参考资料

How to compile php7 on ubuntu 14.04
2015博客升级记(五):CentOS 7.1编译安装PHP7