背景

事情是这样来的，最近2天 tool.lu 的 uv 并没有大幅的增长，但是 pv 的涨幅却很大，造成服务器的 load 一度超过了 20，想必是被攻击，做过php-fpm的优化，收效甚微。故想到了限流

限流的使用场景

1. API的调用次数限制
2. 防止频繁刷新
3. etc...

想法和实现

其实我是参考了下面这篇文章的实现，至于为什么要这么做，我的考虑跟他文章中提到的是一致的，可以查看原文

Rate limiting with Redis

原文中提供了大段的文字说明，于是我根据他的说明，做了一幅图，仅供参考：

这里需要说明的是，原文中使用的是redis中的hash，但是hash对其中的每个元素没有单独的失效时间，所以使用原文的方法是有bug的；

具体情况请看 issue

这里改用string类型来存储就可以啦！注意将 bucketSpan 和 expire 设置为同一个值

优化

使用string类型来存储，可以发现key的空间占用比较多，更耗内存了；我们可以压缩一下key来实现节省内存的目的。

实际应用

1. tool.lu web限流 (php实现版本)
2. coderunner sandbox限流 (go实现版本)

网站的统计

由于 tool.lu 的流量还不是很大，所以我把每次的访问记录都存到了MySQL(如果流量大，这么做是作死的节奏)

主要流程图

使用canal做异步处理，主要是因为

1. ip => city的映射，可能要调用第三方接口比较耗时
2. 网站代码处不需要写2份数据
3. 装x

其中cannal分发的数据处理是用的java,本打算sse也用java的netty来实现了，惭愧，尝试未果后就放弃了，最后用golang实现的。

这样做不会太耗性能，而且每秒钟往客户端传输一次数据，但是由于 vps 的内存有限，java 又比较吃内存，所以上线之后就直接下线了。

使用youtube-dl下载youtube视频的时候出现下面的错误

ERROR: content too short

进过一番google之后，说是youtube服务器端那边的问题，可能会修复。最简单的解决办法就是更改一个清晰度差点的（默认下载选择的质量最好的那个），于是：

# 列出所有可用的
youtube-dl [url] -F
# format code extension resolution  note
# 139         m4a       audio only  DASH audio   51k , audio@ 48k (22050Hz), 19.03MiB (worst)
# 140         m4a       audio only  DASH audio  130k , audio@128k (44100Hz), 50.81MiB
# 141         m4a       audio only  DASH audio  258k , audio@256k (44100Hz), 102.01MiB
# 160         mp4       256x144     DASH video  122k , video only, 31.80MiB
# 133         mp4       426x240     DASH video  269k , video only, 50.52MiB
# 134         mp4       640x360     DASH video  281k , video only, 57.12MiB
# 135         mp4       854x480     DASH video  716k , video only, 134.81MiB
# 136         mp4       1280x720    DASH video  930k , video only, 104.83MiB
# 17          3gp       176x144
# 36          3gp       320x240
# 5           flv       400x240
# 43          webm      640x360
# 18          mp4       640x360
# 22          mp4       1280x720    (best)

# 选择一个质量稍差的

youtube-dl [url] -f18

背景

大多数的php代码加密(不需要额外扩展就能运行的)原理上都是使用eval进行代码的执行，理论上，只要我们在php内核执行eval函数的时候，将其dump出来，就可以得到源代码。需要注意的是：

1. 用户上传的代码是不可信的，因此需要一个沙盒
2. 此法虽然方便，看似是一个万能解密的办法，但是 dump 数据的时候会有很多中间值，还是需要人工的做一个特征库，去识别过滤出需要的代码段

实现

在 php 扩展中, module init 的时候替换掉 zend_compile_string，主要代码如下

static zend_op_array *edump_compile_string(zval *source_string, char *filename TSRMLS_DC)
{
    int c, len;
    char *copy;
 
    if (Z_TYPE_P(source_string) != IS_STRING) {
        return orig_compile_string(source_string, filename TSRMLS_CC);
    }
 
    len  = Z_STRLEN_P(source_string);
    copy = estrndup(Z_STRVAL_P(source_string), len);
    if (len > strlen(copy)) {
        for (c=0; c<len; c++) if (copy[c] == 0) copy[c] == '?';
    }
 
    php_printf("----- [tool.lu start] -----\n");
    php_printf("%s\n", copy);
    php_printf("----- [tool.lu end] -----\n");
 
    yes = 1;

    return orig_compile_string(source_string, filename TSRMLS_CC);
}

PHP_MINIT_FUNCTION(edump)
{
    if (edump_hooked == 0) {
        edump_hooked = 1;
        orig_compile_string = zend_compile_string;
        zend_compile_string = edump_compile_string;
    }
    return SUCCESS;
}

使用docker作为沙盒