《基于SpringBoot+MongoDB的微服务日志系统的实现》-工学论文，计算机论文-论文范文参考-科学狗论文网

标题

基于SpringBoot+MongoDB的微服务日志系统的实现

范文

闰四洋　胡昌平　卞德志　左刚

摘要：微服务的出现大大降低了Web系统的耦合度，但随着微服务的规模不断增大，其运行日志的数量不断增多、内容也更加杂乱，给用户查看日志数据带来困难，因此对微服务的运行日志进行处理具有重要意义。文章介绍的微服务日志系统，采用SpringBoot开发，利用非关系性数据库MongoDB作为日志系统的存储库，提供日志管理的相关接口，从而极大地提高了对日志数据管理和应用的效率。

关键词：微服务;日志数据;查询;SpringBoot;处理;MongoDB

中图分类号：TP311 文献标识码：A 文章编号：1006-8228（2020）08-69-04

0 引言

当前微眼务的治理框架大多采用SpringCloud，如果把基于微服务架构的系统比作是一栋大楼，钢筋混凝土结构可以说是SpringCloud，那么最基础的砖头瓦块就是SpringBoot。所谓的独立的微服务是用SpringBoot开发的，作为一套全新的框架，继承了Spring所有的功能并青出于蓝;SpringBoot的约定大于配置的核心思想，默认帮用户做了许多基础设置，很多SpringBoot应用只需要很少的Spring配置就可以正常运行。同时，SpringBoot也提供了很多应用集成包，支持绝大多数开源软件，让用户可以以很低的成本去集成其他主流开源软件[2]。

MongoDB是一个基于文档模型的，支持索引、复制、事务的数据库，是目前比较流行的非关系型数据库[1]。微服务在运行过程中，由于用户访问、计划任务等操作会产生大量日志，而MongoDB数据库系统就非常适合管理这些日志。首先，它易扩展，灵活的文档数据模型可以快捷直观地处理数据;第二，它和关系型数据库有共同点，具有丰富的数据查询语言，其主要的聚合函数操作如表l所示;第三，它以文件形式把数据加载在内存中，假如服务器的内存资源足够丰富，其插入和查询效率要高于关系型数据库[1]。

由于SpringBoot本身就封装了MongoDB的套件，因此使用SpringBoot整合MongoDB做日志系统的开发，是相得益彰的。

1 实现原理

本系统共分为两个模块。一个是日志记录模块，是一个单独的依赖组件，需要被微服务所引用，使用Spring的AOP及SpringBoot等技术开发，用于在微服务运行过程中，对Http请求的内容以及产生的异常等信息进行捕获处理，并按照微服务名称以及日期进行分类记录到MongoDB数据库。另一个模块是日志管理模块，是用SpringBoot开发的独立的微服务，利用了MongoDB的相关特性，可提供日志数据的灵活查询、统计分析、批量删除、批量导出等功能接口供其他微服务调用[4]。

2 具体实现

2.1 功能模块

2.1.1 日志记录

日志记录模块在微服务内运行，主要负责在微服务运行过程中，将其产生的运行日志异步地记录到MongoDB数据库，其功能设计如图l所示。

2.1.2 日志管理

日志管理模块主要负责日志数据的管理，可对数据进行查询、统计分析、批量删除和导出，其功能设计如图2所示。

2.2 软件接口

2.2.1 写日志接口

异步接口，其功能是将微服务产生的运行日志按照微服务名称、产生日期进行分类，并记录到MongoDB数据库。

/**

* @param info日志信息

* @param level日志级别1 inf0 2 warn 3 error

*/|

public void saveLog（String info， int level）;

2.2.2 查询日志接口

提供日志数据的查询功能，根据微服务名称、日志产生日期筛选到指定的日志数据，并可根据具体的时间以及类型做进一步筛选，同时也可以根据日志内容做模糊查询[3，5，6]。

/** @param appName微服务名称* @param date检索日期* @param time检索時间* @param timeType检索时间类型* @param searchStr检索字符串*/ public ListgetAppLogs（String appName，

LocaIDate date， LocaITime time， int timeType，

String searchStr）;

2.2.3 统计分析接口

可根据微服务名称、分析类型、检索字符串等条件，同时利用MongoDB的聚合函数等，对日志数据进行统计分析，例如按小时、天、月统计某个微服务的日志数量。

/**

* @param appName微服务名称

* @param type分析类型

* @param searchStr检索字符串

public Object analyseAppLogs（String appName，

int type， String searchStr）;

2.2.4批量删除日志接口

根据微服务名称及指定的日期范围对日志进行批量删除。

/**

* @param appName微服务名称

* @param startDate删除范围的起始日期

* @param endDate删除范围的截止日期

public void deleteAppLogs（String appName，

LocaIDate startDate， LocaIDate endDate）;

2.2.5 批量导出日志接口

根据微服务名称及指定的时间范围对日志进行批量导出。

/**

* @param appName微服务名称

* @param startDate导出范围的起始时间

* @param endDate导出范围的截止时间

public void exportAppLogs（String appName， LocaIDate

startDate， LocaIDate endDate， int type）;

2.3 日志表设计

为了方便日志系统将来拓展，特增加几个备用属性，表定义见表2。

3 项目代码

3.1 日志记录接口

在业务系统的实际开发中，需要对日志进行不同级别的记录，这里提供四个级别的接口，来分别记录不同级别的日志。

public interfaceLogger（

/★调试级别，不记录/*，

void debug（String info）;

/* info级别*/，

void info（String info）;

/* warn级别 */，

void warn（String info）;

/* error级别*/

void error（String info）;

）

3.2 请求跟踪

对于微服务接收的Http请求，可以利用AOP切面技术来处理。首先可以利用Pointcut注解来对所有的web接口进行匹配，这样就可以在每一个请求的流转过程中进行内容的处理并记录日志[4]。

/*切点，匹配包路径最后为controller的所有包下面类的所有方法+，

@Pointcut（”execution（++..controIIer*.*（..））”）

public void printPointCutController（）O

/*切点，匹配所有带有RequestMapping注解的方法*/，

@Pointcut（”@annotation（org.springframework.web.bind

.annotation.RequestMapping）“）

public void printPointCutRequestMapping（）O

/* AOP切点交集，针对所有的web接口 */，

@Pointcut（”printPointCutController0&&

printPointCutRequestMapping0”）

public void printPointCut（）0

/*调用web接口之前调用此方法，可以对请求的路径、地址、

内容等进行记录*/，

@Before（”printPointCut（）”）

public void doBefore（JoinPoint joinPoint）{…）

/*调用web接口之后调用此方法，可以对请求的返回结果等进行记录*，

@AfterReturning（returning=”ret”， pointcut=”printPointCut0”）

public void doAfterReturning（Object ret）{…}

/*调用web接口的过程中调用此方法，可以对请求的响应时

间等进行记录+，

@Around（”printPointCut（）”）

public Object doAround（ProceedingjoinPoint pjp）{…}

3.3 异常捕获

在工具类上使用RestControllerAdvice注解可捕获运行过程中产生的异常，而在方法上使用ExceptionHandler注解会匹配异常。一旦捕获异常，此工具类会按照方法定义的前后顺序去匹配异常执行。

@RestControllerAdvice

public class ExceptionHandler{

r匹配空指针异常*，

@ Exception Handler（N uIIPointerException.class）

public Object handleRException（RException e）{…}

/*匹配所有异常*/

@ExceptionHandler（Exception.class）

public Object handleRException（RException e）{…}}

4 結束语

本文针对微服务日志规模庞大、难管理的问题，利用Spring的AOP切面技术、SpringBoot的配置管理及MongoDB数据库实现了对分散的微服务运行日志的统一收集处理。利用Spring的切面及SpringBoot的配置[6]，可以获取到微服务的运行日志及异常信息。使用MongoDB数据库做存储，主要是MongoDB的易拓展、高性能等特性以及具备一定的统计分析查询功能，可以快速地对日志进行记录并可以灵活地查询、统计分析等。

目前，根据上面的设计开发的日志系统已成功应用到多个微服务平台，运行状况良好，用户可直观便捷地对日志进行查询统计，大大提高了后台日志的利用率。

参考文献（References）：

[1]宋瑜辉.基于MongoDB存储和分析辅助决裳系统中的海量日志[J].科技创新与应用，2019：2095-2945

[2]张骁，应时，张韬.应用软件运行日志的收集与服务处理框架[J].计算机工程与应用，2018.10：1002-8331

[3]杨旭东，陈婷，梁潇聆.基于web的本科毕业师生双选系统开发设计[J].软件，2018.39（5）：182-188

[4]李天赐，余海情.基于SSH框架试题系统的设计与实现[J].软件，2018.39（6）：74-77

[5]周芷仪，陈婷，袁莹静，陈龙.基于JavaScript的电子时钟效果实现[J].软件，2019.40（3）：60-64

[6]陈申平.敏捷软件开发中的配置管理探讨[J].软件，2018.39（5）：134-138

*基金项目：中国船舶集团有限公司科技创新项目（201823K）

作者简介：闫四洋（1993-），男，江苏连云港人，本科，工程师，主要研究方向：企业应用开发。

随便看

科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。