分类 代码分析 下的文章

利用phantomjs模拟QQ自动登录

之前为了抓取兴趣部落里的数据，研究了下QQ自动登录。

当时搜索了一番，发现大部分方法都已经失效了，于是准备自己开搞。

第一个想到的就是参考网上已有方案的做法，梳理登陆js的实现，通过其他语言重写。
考虑到js可能会更新，放弃了此方案。

第二个想到的是能不能直接调用QQ自己的js方法，模拟进行提交呢。
搜索一番后发现神器 ———— "phantomjs".

PhantomJS is a headless WebKit scriptable with a JavaScript API. It has fast and native support for various web standards: DOM handling, CSS selector, JSON, Canvas, and SVG.

于是开搞，代码实现如下。

var page = require('webpage').create();
var fs = require("fs");
page.settings.userAgent = 'Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.3 (KHTML, like Gecko) Version/8.0 Mobile/12A4345d Safari/600.1.4';
page.open('http://ui.ptlogin2.qq.com/cgi-bin/login?pt_no_onekey=1&style=9&appid=1006102&s_url=http%3A%2F%2Fxiaoqu.qq.com%2Fmobile%2Fbarindex.html%3F_lv%3D29313%26_bid%3D128%26_wv%3D1027%26from%3Dshare_link%23bid%3D37469%26type%3D%26source%3Dindex%26scene%3Drecent%26from%3Ddongtai%26webview%3D1&low_login=0&hln_css=http%3A%2F%2Fpub.idqqimg.com%2Fqqun%2Fxiaoqu%2Fmobile%2Fimg%2Fnopack%2Flogin-logo.png', function(status){
    if (status == 'success') {
        page.render('index.png');
        setTimeout(function() {
            page.evaluate(function() {
                document.getElementById('u').value = 'QQ号码';
                document.getElementById('p').value = 'QQ密码';
                pt.check(false);
            });
            setTimeout(function() {
                file = fs.open("cookie.log", 'w');
                file.write(JSON.stringify(page.cookies));
                file.close();
                phantom.exit();
            }, 2000);
        }, 1000);
    }
});

cookie会写入到当前目录下的cookie.log文件，有了cookie接下来的事情就简单多了。

PHP进行tcp连接

业务里用到tcp跟后端服务进行通信。

  1. 原生PHP的写法。

        $host = '服务端IP';
    $port = 端口号;
    $timeout = 5;

    $socket = socket_create(AF_INET, SOCK_STREAM, SOL_TCP);
    if (socket_connect($socket, $host, $port) === false) { // 创建连接
        socket_close($socket);
        $message = 'create socket error';
        throw new Exception($message, socket_last_error());
    }   

    if (socket_write($socket, $buffer) === false) { // 发包
        socket_close($socket);
        $message = sprintf("write socket error:%s", socket_strerror(socket_last_error()));
        throw new Exception($message, socket_last_error());
    }   

    socket_set_option($socket, SOL_SOCKET, SO_RCVTIMEO, $timeout);

    $rspBuffer = socket_read($socket, 65536); // 接收回包

    socket_close($socket);

  2. 使用swoole的写法。

        $client = new swoole_client(SWOOLE_SOCK_TCP, SWOOLE_SOCK_SYNC);
    $ret = $client->connect('服务端IP', 端口号, 0.5, 0);  // 创建连接
    if (!$ret) {
        throw new Exception('connect error', $client->errCode);
    }   

    $client->send($buffer); // 发包

    $rspBuffer = $client->recv(); // 接收回包

一目了然，使用swoole的写法更加清楚明了。

PHP7下使用MongoDB API

  1. 安装支持PHP7的扩展。

    老版的MongoDB扩展是不支持PHP7的，需要下载重新编译支持PHP7的扩展。

    手动编译PHP7的MongoDB扩展
    PHP手册关于老版扩展的文档
    PHP手册关于新版扩展的文档

  2. 安装MongoDB的PHP类库。

    mongo-php-library的github主页

    使用composer安装。

        composer require "mongodb/mongodb=^1.0.0@beta"

  3. 操作完前两步就可以在PHP7里使用MongoDB了.

        <?php
    require_once __DIR__ . "/vendor/autoload.php";

    $manager = new MongoDB\Driver\Manager("mongodb://localhost:27017");
    $collection = new MongoDB\Collection($manager, "db.test");


    // 读取一条数据
    $data = $collection->findOne(array('id' => 1));

    // 读取多条数据
    $options = arrray(
        'projection' => array('id' => 1, 'age' => 1, 'name' => 1), // 指定返回哪些字段
        'sort' => array('id' => -1), // 指定排序字段
        'limit' => 10, // 指定返回的条数
        'skip' => 0, // 指定起始位置
    );
    $dataList = $collection->find(array('age' => 50), $options);

    // 插入一条数据
    $data = array('id' => 2, 'age' => 20, 'name' => '张三');
    $collection->insertOne($data);

    // 修改一条数据
    $collection->updateOne(array('id' => 1), array('$set' => array('age' => 20)));

    // 删除一条数据
    $collection->deleteOne(array('id' => 1));

    // 删除多条数据
    $collection->deleteMany(array('id' => array('$in' => array(1, 2))));

手动编译PHP7的MongoDB扩展

  1. 下载支持php7的MongoDB扩展

        wget http://pecl.php.net/get/mongodb-1.1.1.tgz
    tar -zxvf mongodb-1.1.1.tgz
    cd mongodb-1.1.1.tgz
    /usr/local/php7/bin/phpize
    ./configure --with-php-config=/usr/local/php7/bin/php-config
    make && make install

    如果出现Can't install [sasl.h not found!]的错误，执行命令apt-get install libsasl2-dev。

  2. 添加mongodb.so到php.ini里

  3. 查看当前扩展

        /usr/local/php7/bin/php -m
    [PHP Modules]
    bcmath
    Core
    ctype
    curl
    date
    dom
    filter
    ftp
    gd
    gettext
    hash
    iconv
    json
    libxml
    mbstring
    mcrypt
    mongodb
    mysqlnd
    openssl
    pcntl
    pcre
    PDO
    pdo_sqlite
    Phar
    posix
    Reflection
    session
    shmop
    SimpleXML
    soap
    sockets
    SPL
    sqlite3
    standard
    sysvsem
    tokenizer
    xml
    xmlreader
    xmlrpc
    xmlwriter
    Zend OPcache
    zip
    zlib

    [Zend Modules]
    Zend OPcache

    可以看到已经有mongodb扩展了。

手动编译安装PHP7

之前搞过一次php7的beta版，正式版发布了，想着把php也升上去。
之前安装是用的apt-get方式，这次想折腾一下手动编译。
服务器环境 Ubuntu 14.04 x64

  1. 下载PHP文件

        wget https://github.com/php/php-src/archive/php-7.0.1.zip
    unzip -q php7-src-master.zip

  2. 配置编译参数

        ./buildconf

    ./configure \
    --prefix=/usr/local/php7 \                              [PHP7安装的根目录]
    --exec-prefix=/usr/local/php7 \
    --bindir=/usr/local/php7/bin \
    --sbindir=/usr/local/php7/sbin \
    --includedir=/usr/local/php7/include \
    --libdir=/usr/local/php7/lib/php \
    --mandir=/usr/local/php7/php/man \
    --with-config-file-path=/usr/local/php7/etc \           [PHP7的配置目录]
    --with-mysql-sock=/var/run/mysql/mysql.sock \           [PHP7的Unix socket通信文件]
    --with-mcrypt=/usr/include \
    --with-mhash \
    --with-openssl \           
    --with-mysqli=shared,mysqlnd \                          [PHP7依赖mysql库]
    --with-pdo-mysql=shared,mysqlnd \                       [PHP7依赖mysql库]
    --with-gd \
    --with-iconv \
    --with-zlib \
    --enable-zip \
    --enable-inline-optimization \
    --disable-debug \
    --disable-rpath \
    --enable-shared \
    --enable-xml \
    --enable-bcmath \
    --enable-shmop \
    --enable-sysvsem \
    --enable-mbregex \
    --enable-mbstring \
    --enable-ftp \
    --enable-gd-native-ttf \
    --enable-pcntl \
    --enable-sockets \
    --with-xmlrpc \
    --enable-soap \
    --without-pear \
    --with-gettext \
    --enable-session \                                      [允许php会话session]
    --with-curl \                                           [允许curl扩展]
    --with-jpeg-dir \
    --with-freetype-dir \
    --enable-opcache \                                      [使用opcache缓存]
    --enable-fpm \
    --with-fpm-user=www \                                 [php-fpm的用户]
    --with-fpm-group=www \                                [php-fpm的用户组]
    --without-gdbm \
    --disable-fileinfo

    如果buildconf的时候输出下面的错误，加上--force参数解决。

        You should not run buildconf in a release package.
    use buildconf --force to override this check.

  3. 开始编译和安装

        make && make install

    执行完可以去喝杯水，耐心等待就好了。

参考资料

How to compile php7 on ubuntu 14.04
2015博客升级记(五)：CentOS 7.1编译安装PHP7

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. ...
  10. 35