SRE: Повышаем наблюдаемость - связать метрики и трейсы
У нас есть метрики, логи и распределенная трассировка - 3 основных столпа наблюдаемости. Если связь логов с трейсами это просто, так как мы добавляем в логи trace_id, но с метриками такого в большинстве случаев нет.
Однако в Prometheus сделали предложение и улучшение по поддержке exemplars - метаданные к метрике. Ребята предложили возможность добавления в метрику trace_id, сделали плагин для Grafana, который умеет показывать это и давать ссылку на переход к трейсу.
Это умеет только Prometheus, в VictoriaMetrics эта работа стоит в беклоге.
Ниже ссылка на доклад «Deep Linking Metrics and Traces with OpenTelemetry, OpenMetrics and M3 - Rob Skillington» (2020г.)
Пример в коде https://github.com/chronosphereio/demo-deeplinking-metrics-traces
Пример в Grafana https://github.com/chronosphereio/demo-trace-differencing
