内容字号:默认大号超大号

段落设置:段首缩进取消段首缩进

字体设置:切换到微软雅黑切换到宋体

Using CNN to identify SQL and XSS 2

2018-11-06 20:43 出处:清屏网 人气: 评论(0

前言

之前写过这个

使用CNN做SQL和XSS的识别

在前一个post里,模型的推理速度大约是100us。

在这一篇post里,我将对这个模型做一些改进,让这个模型的预测速度更快一点。

实际的步骤

首先,我是利用一个类似与word2vec的思路,将数据转化为模型输入的数据的。

总体的算法是一个循环查找匹配的动作。

这个过程基于数据量的大小,有很多可以作为优化选项的算法。

这里,随手利用一个~ 不做主体来说

然后,如果仔细观察下CPU利用率的话,

可以发现,在循环跑session的过程中,CPU并没有拉满。 可见在session运行中,有一些动作会使CPU空转,或者本身预测的过程,CPU就不容易拉起来。

这一点,可以启动多个session,并行处理数据

首先,定义总循环量,和单线程循环量

#define TRUE_LOOP_TIME 100000
#define LOOP_TIMES (TRUE_LOOP_TIME / 8)

因为我是使用笔记本的i7 4700mq在跑,所以这里定义8条线程

然后这里是线程共有的信息

需要的判定字符串,以及作为最后统计使用的最大时间

const char* input_line;
long long total_time;

然后定义线程应该做的事情

  • 读取model,载入
  • 循环开始
  • 填充tensor
  • 跑session
  • 循环结束
  • 记录时间

    void TF_Thraed(void)
    {
        int i;
        struct timeval start, end;
    
        model_t* model = TF_LoadModel("frozen.pb");
        assert(model != NULL);
            
        gettimeofday( &start, NULL );
        for(i = 0; i < LOOP_TIMES; i ++) {
            if (!TF_FillTensor(model, input_line)) {
                puts("TF_FillTensor failed");
                return;
            }
            TF_RunModel(model);
        }
        gettimeofday( &end, NULL );
    
        total_time += ((end.tv_sec - start.tv_sec) * 1000000) + end.tv_usec - start.tv_usec;
    
        TF_FreeModel(model);
        pthread_detach(pthread_self());
    }

对应,主线程这里需要做一些修改

创建8条线程,并等待运行结束

计算出平均时间,打印出来

这里是假设全线程会占用全部的性能。 线程扩充的时间需要平均被每条线程吃掉。 实际上,线程完成的速度会稍有区别,得到的平均时间会稍大。

int main(int argc, char const *argv[])
    {
        pthread_t tf_thread[8];
        double out_time;
        
        if (argc < 2 || !argv[1] ||!InitVocab()) {
            puts("No input");
            return 1;
        }
        input_line = argv[1];
        total_time = 0;

        pthread_create(&tf_thread[0], NULL, (void *)TF_Thraed, NULL);
        pthread_create(&tf_thread[1], NULL, (void *)TF_Thraed, NULL);
        pthread_create(&tf_thread[2], NULL, (void *)TF_Thraed, NULL);
        pthread_create(&tf_thread[3], NULL, (void *)TF_Thraed, NULL);
        pthread_create(&tf_thread[4], NULL, (void *)TF_Thraed, NULL);
        pthread_create(&tf_thread[5], NULL, (void *)TF_Thraed, NULL);
        pthread_create(&tf_thread[6], NULL, (void *)TF_Thraed, NULL);
        pthread_create(&tf_thread[7], NULL, (void *)TF_Thraed, NULL);

        pthread_join(tf_thread[7], NULL);

        sleep(2);
        out_time = (total_time / 8) / TRUE_LOOP_TIME;
        printf("max time = %f us\n", out_time);

        return 0;
    }

这里还可以把线程对应CPU绑定,或者使用更好的线程同步的方法。

post不想写这些

最后这里的平均计算时间为17微妙,比上一篇post,提高了6倍左右


分享给小伙伴们:
本文标签: XSS

相关文章

发表评论愿您的每句评论,都能给大家的生活添色彩,带来共鸣,带来思索,带来快乐。

CopyRight © 2015-2016 QingPingShan.com , All Rights Reserved.

清屏网 版权所有 豫ICP备15026204号