ELK в Kubernetes: Elasticsearch, APM Server и Kibana

Published: 2026-03-17

ELK-стек у нас закрывает две задачи: поиск по логам и мониторинг производительности приложений (APM). Логи присылает Vector, APM-трейсы - агент Elastic APM в наших .NET-приложениях. Kibana показывает и то и другое в одном месте.


Деплой через FluxCD

Три HelmRelease, все из Helm-репозитория Elastic:

yaml# elasticsearch
apiVersion: helm.toolkit.fluxcd.io/v2
kind: HelmRelease
metadata:
  name: elasticsearch
  namespace: elk
spec:
  chart:
    spec:
      chart: elasticsearch
      version: "8.x"
      sourceRef:
        kind: HelmRepository
        name: elastic
  values:
    replicas: 1
    minimumMasterNodes: 1
    esJavaOpts: "-Xmx2g -Xms2g"
    resources:
      requests:
        cpu: 500m
        memory: 3Gi
      limits:
        cpu: 2000m
        memory: 4Gi
    volumeClaimTemplate:
      resources:
        requests:
          storage: 200Gi
      storageClassName: local-path
    persistence:
      enabled: true

esJavaOpts задаёт размер JVM heap. Правило простое: heap занимает половину лимита памяти контейнера. При лимите 4Gi значение -Xmx2g оставляет 2 ГБ под page cache ОС, а этот кэш нужен Lucene.

yaml# kibana
apiVersion: helm.toolkit.fluxcd.io/v2
kind: HelmRelease
metadata:
  name: kibana
  namespace: elk
spec:
  chart:
    spec:
      chart: kibana
      version: "8.x"
      sourceRef:
        kind: HelmRepository
        name: elastic
  values:
    elasticsearchHosts: "http://elasticsearch-master.elk.svc.cluster.local:9200"
    resources:
      requests:
        cpu: 200m
        memory: 512Mi
      limits:
        cpu: 1000m
        memory: 1Gi
yaml# apm-server
apiVersion: helm.toolkit.fluxcd.io/v2
kind: HelmRelease
metadata:
  name: apm-server
  namespace: elk
spec:
  chart:
    spec:
      chart: apm-server
      version: "8.x"
      sourceRef:
        kind: HelmRepository
        name: elastic
  values:
    apmConfig:
      apm-server.yml: |
        apm-server:
          host: "0.0.0.0:8200"
        output.elasticsearch:
          hosts: ["http://elasticsearch-master.elk.svc.cluster.local:9200"]

APM-агент в .NET

xml<PackageReference Include="Elastic.Apm.NetCoreAll" Version="1.*" />

И одна строка в Program.cs:

csharpbuilder.Services.AddAllElasticApm();

Настройки задаются переменными окружения:

yamlenv:
  - name: ELASTIC_APM_SERVER_URL
    value: "http://apm-server.elk.svc.cluster.local:8200"
  - name: ELASTIC_APM_SERVICE_NAME
    value: "my-service"
  - name: ELASTIC_APM_ENVIRONMENT
    value: "prod"
  - name: ELASTIC_APM_LOG_LEVEL
    value: "Warning"
  - name: ELASTIC_APM_TRANSACTION_SAMPLE_RATE
    value: "0.1"   # сэмплирование 10% — снижает объём APM-данных

Агент сам инструментирует запросы ASP.NET Core, запросы Entity Framework и вызовы HttpClient. В большинстве случаев создавать спаны вручную не нужно.


Свои APM-спаны

Когда хочу видеть в трейсе конкретную бизнес-операцию, создаю спан сам:

csharpvar transaction = Agent.Tracer.CurrentTransaction;
using var span = transaction.StartSpan("ProcessPayment", "payment");
span.SetLabel("order_id", orderId.ToString());
try {
    await _paymentService.ChargeAsync(orderId);
    span.Outcome = Outcome.Success;
} catch (Exception ex) {
    span.CaptureException(ex);
    throw;
}

Управление жизненным циклом индексов (ILM)

Без ILM Elasticsearch растёт, пока не закончится диск. Потом расти перестаёт, а вместе с ним и логи. Вот политика, которую я использую:

jsonPUT _ilm/policy/k8s-logs-policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_size": "20gb",
            "max_age": "1d"
          }
        }
      },
      "warm": {
        "min_age": "7d",
        "actions": {
          "forcemerge": { "max_num_segments": 1 },
          "shrink": { "number_of_shards": 1 }
        }
      },
      "delete": {
        "min_age": "30d",
        "actions": { "delete": {} }
      }
    }
  }
}

Политику можно применить через Dev Tools в Kibana или из CI-джобы. Данные старше 30 дней удаляются автоматически. В warm-фазе сегменты объединяются (forcemerge), чтобы занимать меньше места на диске.


Полезные запросы в Kibana

# Все ошибки за последний час
kubernetes.namespace: "app" AND log.level: ERROR

# Медленные HTTP-запросы (APM)
transaction.duration.us > 5000000

# Конкретный под
kubernetes.pod.name: "my-service-abc123"

# Exception
error.exception.message: *NullReference*

KQL (Kibana Query Language) читается проще синтаксиса Lucene, а в Discover для него работает автодополнение.


Service Map в Kibana

Когда APM-данные шлют несколько сервисов, Kibana строит Service Map. На ней видно:

  • какие сервисы кого вызывают
  • среднюю задержку на каждой связи
  • долю ошибок по каждому сервису

Эту карту распределённой трассировки APM строит из спанов сам. Описывать топологию вручную не нужно.


Диагностика

APM-данных нет в Kibana: проверьте логи APM Server и убедитесь, что ELASTIC_APM_SERVER_URL доступен из пода приложения.

Много памяти или OOM: если за память конкурируют другие нагрузки, уменьшите heap в esJavaOpts. Heap не должен превышать 50% лимита контейнера.

Индексы не создаются: Vector пишет в индексы vector-YYYY-MM-DD. Если логов нет, проверьте ошибки sink в Vector (см. статью про Vector).