本期听云大讲堂给大家分享的内容是观云平台数据采集方案,将主要围绕方案核心理念、业界现状及第三方指标采集的统一性原则三点进行展开。

 

 

 

观云数据治理的方案:核心理念

 

 

可观测性数据主要是由:指标(Metrics)、追踪(Trace)和日志(Logs)其他信号量组成的,数据治理的痛点在于,这些数据通常来自不同的源头,不同的协议和数据格式,最终被存入隔离的各个系统中。

 

这导致了严重的“数据孤岛”问题,使得运维和开发人员在故障排查和性能分析时,需要在多个看板间反复切换、进行人工的关联分析,这样的排查方式效率低下,且难以快速定位根因。

 

数据治理的核心目标,正是要打破这些数据孤岛,通过统一的平台、统一的规范对数据进行采集、加工和关联,让数据不再是离散的点,从而释放其真正的价值。

 

 

 

 

业界现状与观云方案的差异化

 

 

目前业界的通用做法是:先接入,后治理。也就是将各类数据接入后,通过丰富的仪表盘(Dashboard)进行可视化查看。观云采用的方案是 “采集即治理”。

从采集数据产生的源头开始,通过统一探针(UniAgents)在采集数据时直接将基础设施数据、APM的数据关联在一起,从而完成关键数据的关联。

这意味着,数据在上报之初就已经建立了内在的、准确的关联关系,而非在事后再进行匹配和处理,极大地提升了后续关联分析的效率和准确性。

 

为了实现数据集成,观云平台采集方案遵循两大核心原则:

· 协议统一(Unified Protocol)
以 OpenTelemetry (OTel) 作为数据采集和传输的绝对标准协议。OTel是CNCF旗下公认的可观测性事实标准。

· 语义统一(Unified Semantics)
描述相同业务属性的字段,在不同数据源中保持一致的名称和数据类型。这为了实现高质量关联分析的基础。

例如对于“主机IP”这一属性不同数据源有不同的名称,host.ip、host.address、instance_ip。

观云采集器会在数据采集阶段即进行标准化处理,将所有来源的该属性统一映射为 host.ip。在后续进行故障排查和分析的时候,系统都能毫无歧义地进行精准关联、检索、分析。

 

 

 

 

强大的数据生态接入能力

 

 

听云系统支持广泛的默认数据源:Zabbix、Prometheus、阿里云、华为云等其他云厂商,并且可以通调用 API 和配置 SQL 查询数据库的方式获取数据。
更多内容敬请关注【听云大讲堂】技术篇,下一期我们将为大家带来基于可观测性的应用安全态势管理平台的内容分享~

推荐阅读

  • 网络压测测试网站可以帮助企业更好的了解自身服务器系统的稳定性,从而在面对大量客户和信号负载时,确保实际效果。随着网络和信息化的发展,这类型的系统重要性越来越凸显。通过运用压力测试系统,可以进行大量网站顺时访问的模拟。这种模拟能够根据客户的需求进行数量、频次、以及类型的设定,从而对系统的稳定性进行科学合理的评估。

    2023-04-17

  • java有着非常多的优势,例如:可跨平台、稳定性高、安全等都是它具有的优势,这些优势也深受广大java程序爱好者的喜欢,但java应用程序也有它不好的地方,例如:大量数据处理等,都影响应用程序的性能和稳定性,因此,apm监控java应用对于我们来说是非常重要的。

    2023-09-15

  • 随着信息技术的飞速发展,企业对于信息系统的需求越来越高,信息系统已经成为企业运营的重要支撑。为了确保信息系统的高效稳定运行,企业需要建立一套完善的系统配置管理制度​。本文将从系统配置管理的定义、目的、内容、实施步骤等方面进行阐述,以期为企业构建高效稳定的信息系统环境提供参考。

    2024-01-18

  • 网站用户体验分析成为评估和改进网站用户体验的关键过程。它通过深入了解用户的行为、感受和需求,揭示用户体验中存在的问题,并提出改进建议。为了创造出令人满意和愉悦的用户体验,网站需要关注多个方面。

    2023-06-28

  • CDN监测是指监测内容分发网络的活动,可以帮助网站管理员和运营商确保CDN服务的稳定性和高效性。它对于网站的性能、安全和可用性都有着至关重要的作用。 CDN的监测可以帮助优化网站性能。CDN作为一种加速内容分发的技术,可以将网站上的内容分发到全球各地的服务器上,从而提高网站的访问速度和性能。

    2023-04-24