由于之前看了xattr的写入效率,这里简单的实现一下生产者消费者模型的高速写入。
生产者(让他创建40万条数据)
<?php
// 生产者 不断的生产大量数据 但是总会有停止的时候(本业务功能结束)
for ($i=100000; $i < 500000; $i++) {
$file = "./nodes/{$i}.txt";
touch($file);
xattr_set($file, 'dataCount', $i);
}
消费者(让他消费这生成的数据,存储到一个综合的文件里面。)
<?php
// 消费者 不断的读取生产的数据进行处理或者数据落地 没有停止的时候(为了避免与生产者有并发读写 自己会按时休息一会儿)
is_dir("./nodes") || mkdir("./nodes");
while (1) {
$result = [];
$list = glob("./nodes/*.txt");
if ($list) {
$list = array_slice($list, 0, 10000);
foreach ($list as $file) {
$result[] = xattr_get($file, 'dataCount');
unlink($file);
}
file_put_contents('data.log',"\r\n" . implode("\r\n", $result), FILE_APPEND);
}
usleep(1000);//休息1ms
}
我们让消费者每1ms休息一下,避免CPU占用过高。
发现最终写入数据40万条,其投递效率是很高的!
这只是一个非常简单的骨架模型,我们可以用它做更多的扩展,本案例执行步骤如下:
先运行 php 消费者.php
再运行 php 生产者.php