VictoriaLogs + Vector: замена EFK облегчённым лог-стеком

Published: 2026-03-09

Elasticsearch хранит логи приложений. VictoriaLogs хранит логи уровня кластера — ошибки и предупреждения из всех неймспейсов, со сроком хранения 30 дней и отказоустойчивостью на двух узлах. Vector — единый коллектор, который отправляет данные в оба хранилища.

Архитектура

copyPod stdout/stderr
       │
       ▼
  Vector DaemonSet
       │
  ┌────┴─────────────┐
  │                  │
  ▼                  ▼
Elasticsearch    VictoriaLogs
(app/aurora      (error + warn
 namespaces)      из всех ns)

Vector работает как DaemonSet, читает из Kubernetes log API, парсит JSON-логи и маршрутизирует по неймспейсу и уровню логирования.

Кластер VictoriaLogs

yamlcopyvlstorage:
  replicaCount: 2
  retentionPeriod: 30d
  persistentVolume:
    size: 10Gi
  resources:
    requests:
      cpu: 200m
      memory: 512Mi

vlinsert:
  replicaCount: 1

vlselect:
  replicaCount: 1

Три компонента: insert, select, storage. Две storage-реплики для отказоустойчивости. vlinsert и vlselect — stateless, масштабируются независимо.

Конфигурация Vector

Источники:

yamlcopysources:
  k8s:
    type: kubernetes_logs
    exclude_paths_glob_patterns:
      - "/var/log/pods/observability_vector-*/**"
  internal_metrics:
    type: internal_metrics

Трансформы — нормализация лейблов:

yamlcopytransforms:
  dedot_labels:
    type: remap
    inputs: [k8s]
    source: |
      # Kubernetes labels используют точки, которые ломают JSON.
      # Заменяем точки на подчёркивания во всех kubernetes.pod_labels.
      .kubernetes.pod_labels = map_keys(.kubernetes.pod_labels) -> |k| {
        replace(k, ".", "_")
      }

Трансформы — парсинг JSON:

yamlcopy  parser:
    type: remap
    inputs: [dedot_labels]
    source: |
      .log = parse_json(.message) ?? .message
      ._msg = string(.log.message) ?? string(.log.msg) ?? string(.message) ?? ""
      del(.message)

Трансформы — маршрутизация в Elasticsearch:

yamlcopy  aurora_filter:
    type: filter
    inputs: [parser]
    condition: |
      includes(["app", "aurora"], .kubernetes.pod_namespace)

Трансформы — маршрутизация в VictoriaLogs (только ошибки и предупреждения):

yamlcopy  error_filter:
    type: filter
    inputs: [parser]
    condition: |
      lvl = downcase(string(.log.level ?? .log.lvl ?? .log.severity ?? ""))
      includes(["error", "warn", "warning", "fatal", "panic", "err"], lvl)

Приёмники:

yamlcopysinks:
  elasticsearch:
    type: elasticsearch
    inputs: [aurora_filter]
    endpoints:
      - "http://dev-master.elasticsearch.svc.cluster.local:9200"
    index: "vector-%Y-%m-%d"
    auth:
      strategy: basic
      user: elastic
      password: "${ES_PASSWORD}"

  victorialogs:
    type: elasticsearch
    inputs: [error_filter]
    endpoints:
      - "http://victoria-logs-vlinsert.observability.svc.cluster.local:9428/insert/elasticsearch"
    mode: bulk

VictoriaLogs предоставляет совместимый с Elasticsearch bulk insert API — elasticsearch-синк Vector работает без изменений.

Почему Vector, а не Fluentd или Filebeat

VRL (Vector Remap Language) читабельнее Fluentd record_transformer. Один тип синка elasticsearch покрывает и Elasticsearch, и VictoriaLogs.

Запросы в VictoriaLogs

bashcopykubectl port-forward -n observability svc/victoria-logs-vlselect 9471:9471
# http://localhost:9471/select/vmui/

Примеры LogsQL:

copy# Все ошибки из неймспейса app за последний час
kubernetes.pod_namespace: app AND level: error

# Конкретный под
kubernetes.pod_name: my-app-xxx AND level: error

# Текстовый поиск
"database connection refused"

# Комбинированный
kubernetes.pod_namespace: app AND "connection refused" AND _time: 1h

Исключение логов самого Vector

yamlcopysources:
  k8s:
    type: kubernetes_logs
    extra_label_selector: "vector.dev/exclude != true"

Без этого Vector логирует собственную работу — получается петля обратной связи, и хранилище заполняется его же debug-выводом.

Требования к ресурсам

VictoriaLogs значительно легче Elasticsearch для того же объёма данных:

Экономия диска — за счёт сжатия VictoriaLogs (~10x против ~3x у Elasticsearch).