ELK в Kubernetes: Elasticsearch, APM Server и Kibana
Published: 2026-03-17
ELK-стек у нас закрывает две задачи: поиск по логам и мониторинг производительности приложений (APM). Логи присылает Vector, APM-трейсы - агент Elastic APM в наших .NET-приложениях. Kibana показывает и то и другое в одном месте.
Деплой через FluxCD
Три HelmRelease, все из Helm-репозитория Elastic:
yaml# elasticsearch
apiVersion: helm.toolkit.fluxcd.io/v2
kind: HelmRelease
metadata:
name: elasticsearch
namespace: elk
spec:
chart:
spec:
chart: elasticsearch
version: "8.x"
sourceRef:
kind: HelmRepository
name: elastic
values:
replicas: 1
minimumMasterNodes: 1
esJavaOpts: "-Xmx2g -Xms2g"
resources:
requests:
cpu: 500m
memory: 3Gi
limits:
cpu: 2000m
memory: 4Gi
volumeClaimTemplate:
resources:
requests:
storage: 200Gi
storageClassName: local-path
persistence:
enabled: true
esJavaOpts задаёт размер JVM heap. Правило простое: heap занимает половину лимита памяти контейнера. При лимите 4Gi значение -Xmx2g оставляет 2 ГБ под page cache ОС, а этот кэш нужен Lucene.
yaml# kibana
apiVersion: helm.toolkit.fluxcd.io/v2
kind: HelmRelease
metadata:
name: kibana
namespace: elk
spec:
chart:
spec:
chart: kibana
version: "8.x"
sourceRef:
kind: HelmRepository
name: elastic
values:
elasticsearchHosts: "http://elasticsearch-master.elk.svc.cluster.local:9200"
resources:
requests:
cpu: 200m
memory: 512Mi
limits:
cpu: 1000m
memory: 1Gi
yaml# apm-server
apiVersion: helm.toolkit.fluxcd.io/v2
kind: HelmRelease
metadata:
name: apm-server
namespace: elk
spec:
chart:
spec:
chart: apm-server
version: "8.x"
sourceRef:
kind: HelmRepository
name: elastic
values:
apmConfig:
apm-server.yml: |
apm-server:
host: "0.0.0.0:8200"
output.elasticsearch:
hosts: ["http://elasticsearch-master.elk.svc.cluster.local:9200"]
APM-агент в .NET
xml<PackageReference Include="Elastic.Apm.NetCoreAll" Version="1.*" />
И одна строка в Program.cs:
csharpbuilder.Services.AddAllElasticApm();
Настройки задаются переменными окружения:
yamlenv:
- name: ELASTIC_APM_SERVER_URL
value: "http://apm-server.elk.svc.cluster.local:8200"
- name: ELASTIC_APM_SERVICE_NAME
value: "my-service"
- name: ELASTIC_APM_ENVIRONMENT
value: "prod"
- name: ELASTIC_APM_LOG_LEVEL
value: "Warning"
- name: ELASTIC_APM_TRANSACTION_SAMPLE_RATE
value: "0.1" # сэмплирование 10% — снижает объём APM-данных
Агент сам инструментирует запросы ASP.NET Core, запросы Entity Framework и вызовы HttpClient. В большинстве случаев создавать спаны вручную не нужно.
Свои APM-спаны
Когда хочу видеть в трейсе конкретную бизнес-операцию, создаю спан сам:
csharpvar transaction = Agent.Tracer.CurrentTransaction;
using var span = transaction.StartSpan("ProcessPayment", "payment");
span.SetLabel("order_id", orderId.ToString());
try {
await _paymentService.ChargeAsync(orderId);
span.Outcome = Outcome.Success;
} catch (Exception ex) {
span.CaptureException(ex);
throw;
}
Управление жизненным циклом индексов (ILM)
Без ILM Elasticsearch растёт, пока не закончится диск. Потом расти перестаёт, а вместе с ним и логи. Вот политика, которую я использую:
jsonPUT _ilm/policy/k8s-logs-policy
{
"policy": {
"phases": {
"hot": {
"actions": {
"rollover": {
"max_size": "20gb",
"max_age": "1d"
}
}
},
"warm": {
"min_age": "7d",
"actions": {
"forcemerge": { "max_num_segments": 1 },
"shrink": { "number_of_shards": 1 }
}
},
"delete": {
"min_age": "30d",
"actions": { "delete": {} }
}
}
}
}
Политику можно применить через Dev Tools в Kibana или из CI-джобы. Данные старше 30 дней удаляются автоматически. В warm-фазе сегменты объединяются (forcemerge), чтобы занимать меньше места на диске.
Полезные запросы в Kibana
# Все ошибки за последний час
kubernetes.namespace: "app" AND log.level: ERROR
# Медленные HTTP-запросы (APM)
transaction.duration.us > 5000000
# Конкретный под
kubernetes.pod.name: "my-service-abc123"
# Exception
error.exception.message: *NullReference*
KQL (Kibana Query Language) читается проще синтаксиса Lucene, а в Discover для него работает автодополнение.
Service Map в Kibana
Когда APM-данные шлют несколько сервисов, Kibana строит Service Map. На ней видно:
- какие сервисы кого вызывают
- среднюю задержку на каждой связи
- долю ошибок по каждому сервису
Эту карту распределённой трассировки APM строит из спанов сам. Описывать топологию вручную не нужно.
Диагностика
APM-данных нет в Kibana: проверьте логи APM Server и убедитесь, что ELASTIC_APM_SERVER_URL доступен из пода приложения.
Много памяти или OOM: если за память конкурируют другие нагрузки, уменьшите heap в esJavaOpts. Heap не должен превышать 50% лимита контейнера.
Индексы не создаются: Vector пишет в индексы vector-YYYY-MM-DD. Если логов нет, проверьте ошибки sink в Vector (см. статью про Vector).