本期听云大讲堂给大家分享的内容是观云平台数据采集方案，将主要围绕方案核心理念、业界现状及第三方指标采集的统一性原则三点进行展开。

 

 

 

观云数据治理的方案：核心理念

 

 

可观测性数据主要是由：指标（Metrics）、追踪（Trace）和日志（Logs）其他信号量组成的，数据治理的痛点在于，这些数据通常来自不同的源头，不同的协议和数据格式，最终被存入隔离的各个系统中。

 

这导致了严重的“数据孤岛”问题，使得运维和开发人员在故障排查和性能分析时，需要在多个看板间反复切换、进行人工的关联分析，这样的排查方式效率低下，且难以快速定位根因。

 

数据治理的核心目标，正是要打破这些数据孤岛，通过统一的平台、统一的规范对数据进行采集、加工和关联，让数据不再是离散的点，从而释放其真正的价值。

 

 

 

 

业界现状与观云方案的差异化

 

 

目前业界的通用做法是：先接入，后治理。也就是将各类数据接入后，通过丰富的仪表盘（Dashboard）进行可视化查看。观云采用的方案是 “采集即治理”。

从采集数据产生的源头开始，通过统一探针（UniAgents）在采集数据时直接将基础设施数据、APM的数据关联在一起，从而完成关键数据的关联。

这意味着，数据在上报之初就已经建立了内在的、准确的关联关系，而非在事后再进行匹配和处理，极大地提升了后续关联分析的效率和准确性。

 

为了实现数据集成，观云平台采集方案遵循两大核心原则：

· 协议统一（Unified Protocol）
以 OpenTelemetry (OTel) 作为数据采集和传输的绝对标准协议。OTel是CNCF旗下公认的可观测性事实标准。

· 语义统一（Unified Semantics）
描述相同业务属性的字段，在不同数据源中保持一致的名称和数据类型。这为了实现高质量关联分析的基础。

例如对于“主机IP”这一属性不同数据源有不同的名称，host.ip、host.address、instance_ip。

观云采集器会在数据采集阶段即进行标准化处理，将所有来源的该属性统一映射为 host.ip。在后续进行故障排查和分析的时候，系统都能毫无歧义地进行精准关联、检索、分析。

 

 

 

 

强大的数据生态接入能力

 

 

听云系统支持广泛的默认数据源：Zabbix、Prometheus、阿里云、华为云等其他云厂商，并且可以通过调用 API 和配置 SQL 查询数据库的方式获取数据。
更多内容敬请关注【听云大讲堂】技术篇，下一期我们将为大家带来基于可观测性的应用安全态势管理平台的内容分享～

推荐阅读

  • 移动应用性能管理哪家好

    在移动应用逐渐成为企业与用户互动的主要方式的今天，保障应用的高性能和稳定性显得愈发重要。为解决这一挑战，基调听云平台崭露头角，成为备受瞩目的移动应用性能管理解决方案。

    2023-08-18

  • 故障根因分析算法

    在软件开发和运维的过程中，故障是不可避免的。当软件发生故障时，及时而准确地找出故障的根因是解决问题的关键。为了解决这个问题，故障根因分析算法​应运而生。下面将介绍故障根因分析算法在问题定位、数据收集和分析，以及算法效果评估三个方面的重要性和挑战。

    2024-01-24

  • 可观测性平台的意义

    可观测性平台​的意义在于其能够全面了解应用和系统运行状况的能力，包括性能、健康状况、错误和异常等,帮助开发人员、运维团队和决策者实时监控和分析应用和系统的各个方面，以便更好地管理、维护和改进。

    2023-09-25

  • 可视化运维工具

    现代企业的成功与业务流程的高效运行和用户体验息息相关。为了实现对业务流程的监控和管理，以及将其与应用性能等指标进行关联分析，可视化运维工具成为一种强大的解决方案。该工具通过量化研发和运维考核指标，帮助企业全方位管理业务流程效能，提升业务效率和用户体验。

    2023-07-18

  • 使用可视化运维会带来哪些好处？这些好处你得知道

    可视化运维是指通过图形化的展示方式，对系统的监控、运维、分析等工作进行可视化处理，方便管理员或者运维人员进行系统性能分析、故障诊断和处理等操作。可视化运维系统通常通过可视化的仪表盘、图表、日志等形式呈现数据，从而使系统运维人员可以直观、快速地了解系统的状态，发现问题并进行处理。

    2023-03-20