基于大数据与机器学习的证券行业智能运维体系建设
基于大数据与机器学习的证券行业智能运维体系建设课题主办单位：上海证券交易所
课题承接单位： 光大证券股份有限公司
清华大学 NetMan 实验室
合胜科技
日志易
课题组成员： 晏强、周雄伟、杨超、吴浩、孙伟、裴丹、
鲍捷、王振宇
目录
摘要...................................................................................................................................................4
第 1 章绪论 .......................................................................................................................................5
1.1 课题背景 ......................................................................................................................................5
1.2 课题研究目标...............................................................................................................................5
1.3 研究方法 ......................................................................................................................................6
第 2 章智能运维体系可行性分析 .....................................................................................................8
2.1 可行性分析...................................................................................................................................8
2.1.1 AIOps 智能运维技术分析..................................................................................................8
2.1.2 金融行业案例分析...........................................................................................................10
2.2 可实现性分析.............................................................................................................................12
2.2.1 AIOps 业务实现分析........................................................................................................12
2.2.2 AIOps 系统部署分析........................................................................................................13
2.3 专家团队支持 .............................................................................................................................13
2.3.1 清华 NetMan 实验室 .........................................................................................................13
2.3.2 日志易团队 ........................................................................................................................14
第 3 章运维数据的采集 ..................................................................................................................15
3.1 运维数据种类.............................................................................................................................15
3.1.1 静态数据 ............................................................................................................................15
3.1.2 动态数据 ............................................................................................................................15
3.1.3 模型数据 ............................................................................................................................16
3.1.4 脱敏数据 ............................................................................................................................16
3.2 运维数据的采集.........................................................................................................................16
3.2.1 数据采集架构 ....................................................................................................................17
3.2.2 数据采集模式 ....................................................................................................................18
3.3 数据处理....................................................................................................................................19
3.3.1 数据缓存...........................................................................................................................19
3.3.3 数据处理...........................................................................................................................20
3.3.4 数据存储 ............................................................................................................................22
第 4 章智能算法与 AI 场景 .............................................................................................................24
4.1 智能算法种类.............................................................................................................................24
4.1.1 无监督异常检测 ................................................................................................................24
4.1.2 异常根因定位 ....................................................................................................................29
4.1.3 自然语言处理 ....................................................................................................................30
4.2 AI 场景介绍 .................................................................................................................................33
4.2.1 单指标异常检测 ................................................................................................................33
4.2.2 趋势预测分析 ....................................................................................................................35
4.2.3 多维指标异常定位 ............................................................................................................35
4.2.4 日志异常分析与定位 ........................................................................................................36
第 5 章智能运维体系架构...............................................................................................................38
5.1 体系架构 ....................................................................................................................................38
5.2 数据架构 ....................................................................................................................................39
5.3 基于微服务架构的服务总线.....................................................................................................40
5.3.1 服务网关建设 ....................................................................................................................42
5.3.2 认证和权限管理 ................................................................................................................42
5.3.3 服务的治理和监控 ............................................................................................................43
5.4 物理架构 ....................................................................................................................................44
5.5 数据安全设计.............................................................................................................................45
5.5.1 数据安全 ............................................................................................................................45
5.5.2 主机安全 ............................................................................................................................45
5.5.3 应用安全 ............................................................................................................................45
5.5.4 数据传输安全 ....................................................................................................................46
5.5.5 数据存储安全 ....................................................................................................................46
5.5.6 数据访问控制 ....................................................................................................................47
5.6 平台自监控.................................................................................................................................49
第 6 章智能运维场景展示...............................................................................................................51
6.1 运维数据的展示.........................................................................................................................51
6.2 智能场景的展示.........................................................................................................................53
6.2.1 场景介绍 ............................................................................................................................53
6.2.2 发现问题 - 单指标异常检测 ...........................................................................................54
6.2.3 发现问题 – 日志异常检测 ..............................................................................................56
6.2.4 定位问题 – 多指标异常定位 ..........................................................................................58
6.2.5 分析问题 - 业务/机器指标的关联分析..........................................................................60
第 7 章收益及展望.......................................................................................................................... 62
7.1 预期收益 ....................................................................................................................................62
7.2 经验分享 ....................................................................................................................................62
7.3 未来展望 ....................................................................................................................................64
参考文献 ......................................................................................................................................... 65
附录................................................................................................................................................. 66
链接: https://pan.baidu.com/s/1RUUGYSkjGVyl7evh0J35pw 提取码:**** Hidden Message ***** 复制这段内容后打开百度网盘手机App，操作更方便哦
感谢分享 wulei18188 发表于 2019-5-10 12:30
感谢分享
你这回复真快，是不是每天盯着我的分享在下载？ 金融it论坛 发表于 2019-5-10 15:39
你这回复真快，是不是每天盯着我的分享在下载？
哈哈，每天必逛:lol wulei18188 发表于 2019-5-10 15:59
哈哈，每天必逛
哪也分享一下你搜集的知识，我一个人的资源还是有限:) 金融it论坛 发表于 2019-5-10 17:09
哪也分享一下你搜集的知识，我一个人的资源还是有限
哈哈可以的 dddddddddddd 9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi9shi 顶顶，学习一下:):):) 顶顶，学习一下
页:
[1]
2