首页天道酬勤java 日志收集系统(日志收集器的优点)

java 日志收集系统(日志收集器的优点)

admin 02-21 23:42 242次浏览

角色代理的消息收集点。 在消息生成源中运行,分为以下三个角色:

Adaptor从物理文件、sock、unixsock、标准输入等中提取原始消息,处理过滤器,并根据消息类型设置不同的格式。 代理可以从进程模型中为三个进程或一个进程分配多个角色

收集器采集点。 收集某种类型的消息,集中加工某种类型的信息。 例如,使高频小写字母与HDFS低频大写字母匹配,输出store。 它分为两个角色:收集器、邮件过滤器、邮件格式存储、物理文件、HDFS、数据库、邮件系统、Sock和Prod。 它们与我们代理的输入重叠,因此在此添加另一个代理,进入下一回合的消息处理逻辑。 以这种级联方式继续进行以下处理。 Broker中介,这里主要指消息队列。 代理和收集器之间有直接连接的,也有消息通过broker流动

Manager的中央控制系统、消息流调度和节点伸缩控制

消息流

发送启动器是一个收集器,它向代理发出信息收集命令(如func、rpc、http、snmpwalker和shell命令),并将生成的结果写入存储。 几年前最流行的cacti就是这种方式。 这种方式的好处是架构简单直观,变化点都是colletor (容易实现,错误少),在collector上配置采集点和采集对象。 缺点也一样,异构网络失灵、无法向外扩展、网络有问题导致漏采、设计不好导致网络堵塞和目标设备瘫痪会引起连锁反应。 M2N型多个代理根据消息的类型和级别直接连接到一个或多个收集方进行消息推送,收集方汇总消息,进行持久化、签入、邮件等。 部分系统通过manager进行消息流和节点的管理。 该架构的代表性包括rsyslog、flume、chukwa、scribe等。 该体系结构支持向外扩展,支持更复杂的处理过程,消息流量大。

MBN型类似于MTON。 代理和收集器之间不是直接连接,而是通过一个消息队列连接在一起。 这样做的好处是大大简化了网络拓扑结构,管理信息更简单,节点编程也更简单。 与基于级联的体系结构相比,原本依赖于消息队列的可伸缩性体系结构就更简单,并且存在不适用于消息流量过大的场景的缺点。 使用此体系结构包括Logstash、kafka等。

特性容错节点的容错机制是指一个失败并由调度补充另一个的通信信道的容错机制,是基于不同级别和目标通信信道的不同策略来创建不同的容错机制,然后先存储

消息的分类层次结构类似于syslog,分为10个系统类别和7个用户定义的类别。 通过对消息进行分类,可以实现信息差异化的容错。 此外,消息传递也可以根据消息类型准确路由。 例如,在重要级别时,除签入外,还会通过电子邮件通知您。 根据消息的分类级别,您可以设计灵活的使用、降级服务和系统断开连接等。

随着节点的增加,中央控制中心的网络拓扑越来越复杂,包括业务类型也越来越复杂。 中央控制可以进行消息流调度和节点伸缩管理,必要时可以统一管理节点。 减少人工参与或参与操作越简单,出错的概率就越低。

电商应用场景 无人化智能盒子 UBoxRoadRunner有哪些特性
日志信息包括哪些内容(日志管理是什么) tomcat 日志路径(tomcat日志功能在哪里设置)
相关内容