Logstash

Logstash,数据分析

Logstash

  • 开源的流式ETL引擎
  • 只需几分钟即可构建数据流处理管道
  • 具有自适应缓冲的水平伸缩性和弹性
  • 数据来源中立性,支持众多数据源
  • 丰富的周边插件,200多个的第三方集成和处理器
  • Elastic Stack自带的监控和管理

Logstash Data Sources

  • Logs & Files
  • Web Apps
  • Metrics
  • Data Stores
  • Security Ops
  • Data Streams

基本配置

input {
    beats { port => 5043}
}
// implicit queue
filter {
    mutate { lowercase => ["message"] }
}
output {
    elasticsearch {}
}

一个事件

{
    "@timstamp" => 2017-09-09T01-01-01,
    "message" => "bar"
    "some_other_field" => {
        "has_complex_values" => 123
    }
}
  • Logstash 主要的数据单元就是事件
  • 他们是文档类型,和JSON文档类型很相似,支持任意层次结构和类型

Stashing Your First Eventedit

cd logstash-6.3.0
bin/logstash -e 'input{stdin {} } output{ stdout {} }'
hello world
{
    "host" => "AlbindeMacBook-Pro.local",
    "@timestamp" => 2018-11-04T10:30:42.218Z,
    "message" => "hello world",
    "@version" => "1"
}

启动

  • 启动elastic ./bin/elasticsearch
  • 启动kibana ./bin/kibana
  • 启动logstash ./bin/logstash -f 配置文件路径
  • 启动filebeat ./filebeat -c filebeat.new.yml

数据分析 kibana

Management ==> kibana ==> Index Patterns ==> Create index pattern ==> 输入已存在的index