主流微服务全链路监控系统之战
原文:https://www.jianshu.com/p/92a12de11f18


如何快速发现问题?
如何判断故障影响范围?
如何梳理服务依赖以及依赖的合理性?
如何分析链路性能问题以及实时容量规划?
吞吐量,根据拓扑可计算相应组件、平台、物理设备的实时吞吐量。
响应时间,包括整体调用的响应时间和各个服务的响应时间等。
错误记录,根据服务返回统计单位时间异常次数。
请求链路追踪,故障快速定位:可以通过调用链结合业务日志快速定位错误信息。
可视化:各个阶段耗时,进行性能分析。
依赖优化:各个调用环节的可用性、梳理服务依赖关系以及优化。
数据分析,优化链路:可以得到用户的行为路径,汇总分析应用在很多业务场景。


每个机器上有一个Deamon做日志收集,业务进程把自己的Trace发到Daemon,Daemon把收集Trace往上一级发送;
多级的Collector,类似pub/sub架构,可以负载均衡;
对聚合的数据进行实时分析和离线存储;
离线分析,需要将同一条调用链的日志汇总在一起。
强依赖:调用失败会直接中断主流程
高度依赖:一次链路中调用某个依赖的几率高
频繁依赖:一次链路调用同一个依赖的次数多
离线分析:按TraceID汇总,通过Span的ID和ParentID还原调用关系,分析链路形态。
实时分析:对单条日志直接分析,不做汇总,重组。得到当前QPS,延迟。


type Span struct {
TraceID int64 // 用于标示一次完整的请求ID
Name string
ID int64 // 当前这次调用span_id
ParentID int64 // 上层服务的调用span_id 最上层服务parent_id为null
Annotation []Annotation // 用于标记的时间戳
Debug bool
}

cs:Client Start,表示客户端发起请求
sr:Server Receive,表示服务端收到请求
ss:Server Send,表示服务端完成处理,并将结果发送给客户端
cr:Client Received,表示客户端获取到服务端返回信息
type Annotation struct {
Timestamp int64
Value string
Host Endpoint
Duration int32
}
当用户发起一个请求时,首先到达前端A服务,然后分别对B服务和C服务进行RPC调用;
B服务处理完给A做出响应,但是C服务还需要和后端的D服务和E服务交互之后再返还给A服务,最后由A服务来响应用户的请求。

请求到来生成一个全局TraceID,通过TraceID可以串联起整个调用链,一个TraceID代表一次请求。
除了TraceID外,还需要SpanID用于记录调用父子关系。每个服务会记录下parent id和span id,通过他们可以组织一次完整调用链的父子关系。
一个没有parent id的span成为root span,可以看成调用链入口。
所有这些ID可用全局唯一的64位整数表示。
整个调用过程中每个请求都要透传TraceID和SpanID。
每个服务将该次请求附带的TraceID和附带的SpanID作为parent id记录下,并且将自己生成的SpanID也记录下。
要查看某次完整的调用则只要根据TraceID查出所有调用记录,然后通过parent id和span id组织起整个调用父子关系。

调用链数据生成,对整个调用过程的所有应用进行埋点并输出日志。
调用链数据采集,对各个应用中的日志数据进行采集。
调用链数据存储及查询,对采集到的数据进行存储,由于日志数据量一般都很大,不仅要能对其存储,还需要能提供快速查询。
指标运算、存储及查询,对采集到的日志数据进行各种指标运算,将运算结果保存起来。
告警功能,提供各种阀值警告功能。

通过Agent生成调用链日志。
通过Logstash采集日志到Kafka。
Kafka负责提供数据给下游消费。
storm计算汇聚指标结果并落到ES。
storm抽取trace数据并落到ES,这是为了提供比较复杂的查询。比如通过时间维度查询调用链,可以很快查询出所有符合的traceID,根据这些traceID再去Hbase查数据就快了。
Logstash将Kafka原始数据拉取到HBase中。HBase的rowkey为traceID,根据traceID查询是很快的。
服务内Agent,这种方式是通过Java的Agent机制,对服务内部的方法调用层次信息进行数据收集,如方法调用耗时、入参、出参等信息。
跨服务Agent,这种情况需要对主流RPC框架以插件形式提供无缝支持。并通过提供标准数据规范以适应自定义RPC框架:
Dubbo支持;
Rest支持;
自定义RPC支持。
准确掌握生产一线应用部署情况;
从调用链全流程性能角度,识别对关键调用链,并进行优化;
提供可追溯的性能数据,量化IT运维部门业务价值;
快速定位代码性能问题,协助开发人员持续性的优化代码;
协助开发人员进行白盒测试,缩短系统上线稳定期。

Zipkin:由Twitter公司开源,开放源代码分布式的跟踪系统,用于收集服务的定时数据,以解决微服务架构中的延迟问题,包括:数据的收集、存储、查找和展现。
Pinpoint:一款对Java编写的大规模分布式系统的APM工具,由韩国人开源的分布式跟踪组件。
Skywalking:国产的优秀APM组件,是一个对JAVA分布式应用程序集群的业务运行情况进行追踪、告警和分析的系统。
探针的性能,主要是Agent对服务的吞吐量、CPU和内存的影响。微服务的规模和动态性使得数据收集的成本大幅度提高。
Collector的可扩展性,能够水平扩展以便支持大规模服务器集群。
全面的调用链路数据分析,提供代码级别的可见性以便轻松定位失败点和瓶颈。
对于开发透明,容易开关,添加新功能而无需修改代码,容易启用或者禁用。
完整的调用链应用拓扑,自动检测应用拓扑,帮助你搞清楚应用的架构。








Pinpoint是一个完整的性能监控解决方案:有从探针、收集器、存储到Web界面等全套体系;而Zipkin只侧重收集器和存储服务,虽然也有用户界面,但其功能与Pinpoint不可同日而语。反而Zipkin提供有Query接口,更强大的用户界面和系统集成能力,可以基于该接口二次开发实现。
Zipkin官方提供有基于Finagle框架(Scala语言)的接口,而其他框架的接口由社区贡献,目前可以支持Java、Scala、Node、Go、Python、Ruby和C#等主流开发语言和框架;但是Pinpoint目前只有官方提供的Java Agent探针,其他的都在请求社区支援中(请参见#1759[2]和#1760[3])。
Pinpoint提供有Java Agent探针,通过字节码注入的方式实现调用拦截和数据收集,可以做到真正的代码无侵入,只需要在启动服务器的时候添加一些参数,就可以完成探针的部署;而Zipkin的Java接口实现Brave,只提供了基本的操作API,如果需要与框架或者项目集成的话,就需要手动添加配置文件或增加代码。
Pinpoint的后端存储基于HBase,而Zipkin基于Cassandra。


长按订阅更多精彩▼
如有收获,点个在看,诚挚感谢


