目录
elk架构原理
安装部署elasticsearch
什么是elasticsearch
创建elasticserch docker容器
安装部署kibana
什么是Kinana
创建Kibana docker容器
拉取镜像
创建配置文件：D:\Programs\docker\kibana\kibana.yml
创建并运行kibana容器
验证登录kibana
安装部署logstash
什么是logstash
创建logstash docker容器
创建dockerfile
创建并运行logstash容器
通过kibana检索日志
编辑 创建data view
检索日志
问题记录
elk架构原理
从上图可以看出，ELK Stack 的基本思路是，Logstash 将监听应用程序日志，将其转换为 JSON 格式并发送到 Elasticsearch。然后将其转换成 Elasticsearch 索引的格式，并存储到 Elasticsearch 中。最后使用 Kibana 对 Elasticsearch 中的数据进行可视化，以便用户进行数据分析和监控。
安装部署elasticsearch
什么是elasticsearch
Elasticsearch 是一个开源的分布式搜索和分析引擎，建立在 Apache Lucene 基础之上。它提供了一个高性能、可伸缩且具有强大搜索和分析能力的搜索引擎。
Elasticsearch 设计用于处理大规模数据集，并能够快速地搜索、分析和存储结构化和非结构化数据。它支持实时数据索引和搜索，以及高级搜索功能，包括全文搜索、地理位置搜索、过滤、聚合等。
创建elasticserch docker容器
拉取镜像
docker pull elasticsearch:8.10.4
修改elasticsearch.yml文件
这里我们使用 D:\programs\docker\elasticsearch\elasticsearch.yml 作为映射文件
cluster.name: "docker-cluster"
network.host: 0.0.0.0
http.port: 9200 # 端口号
# bootstrap.memory_lock: false
#----------------------- BEGIN SECURITY AUTO CONFIGURATION -----------------------
#
# The following settings, TLS certificates, and keys have been automatically
# generated to configure Elasticsearch security features on 04-11-2023 14:41:19
#
# --------------------------------------------------------------------------------
# Enable security features
# 开启登陆验证
# xpack.serurity.enbaled : true 必须加上否则启动报错
xpack.security.enabled: true
xpack.security.enrollment.enabled: true
# 允许跨域请求
http.cors.enabled: true
http.cors.allow-origin: "*"
# RaDKza2uS2kQiI3weSun
# Enable encryption for HTTP API client connections, such as Kibana, Logstash, and Agents
# xpack.security.http.ssl:
# enabled: true
# keystore.path: certs/http.p12
#Enable encryption and mutual authentication between cluster nodes
# xpack.security.transport.ssl:
# enabled: true
# verification_mode: certificate
# keystore.path: certs/transport.p12
# truststore.path: certs/transport.p12
# ----------------------- END SECURITY AUTO CONFIGURATION -------------------------
创建并启动容器
# 单节点运行 docker run -d -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e JVM_OPTS="-Xms512m -Xmx1g" -v D:\programs\docker\elasticsearch\elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml --name els elasticsearch:8.10.4
这条命令是用于在 Docker 中运行 Elasticsearch 容器的命令。让我们逐个解析命令的各个部分：
1. `docker run`: 这是 Docker 命令，用于在容器中运行一个镜像。
2. `-d`: 这是一个选项，表示以“后台模式”运行容器，即分离模式。
3. `-p 9200:9200 -p 9300:9300`: 这是一个选项，用于指定容器和主机之间的端口映射。这里规定将容器内的 Elasticsearch 服务的 9200 端口映射到主机的 9200 端口，并将 9300 端口映射到主机的 9300 端口。
4. `-e "discovery.type=single-node"`: 这是一个选项，用于设置容器的环境变量。这里设置了 Elasticsearch 的 `discovery.type` 参数为 `single-node`，表示以单节点模式运行 Elasticsearch。
5. `-e JVM_OPTS="-Xms512m -Xmx1g"`: 这是一个选项，用于设置容器的环境变量。这里设置了容器的 JVM 内存选项，`-Xms512m` 指定分配的最小堆内存为 512MB，`-Xmx1g` 指定分配的最大堆内存为 1GB。
6. `-v D:\programs\docker\elasticsearch\elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml`: 这是一个选项，用于进行主机和容器之间的目录挂载。这里将主机上的 `elasticsearch.yml` 配置文件挂载到容器内的 Elasticsearch 配置目录。
7. `--name els`: 这是一个选项，用于指定容器的名称为 "els"。
8. `elasticsearch:8.10.4`: 这是指定要运行的 Docker 镜像，此处为 Elasticsearch 版本为 8.10.4 的镜像。
通过这个命令，你可以在 Docker 中运行一个 Elasticsearch 容器，并配置一些参数、环境变量和挂载目录。
重置elasticsearch 密码
自动重置：密码自动生成
# 在容器中执行 /usr/share/elasticsearch/bin/elasticsearch-setup-passwords auto
手动重置，需要自己设置每个用户的密码
# 容器内执行 /usr/share/elasticsearch/bin/elasticsearch-setup-passwords interactive
这里采用的是自动重置方式：
访问elasticsearch面板
这里需要使用上图中设置的elasticsearch密码。出现下面界面说明elasticsearch部署成功：
安装部署kibana
什么是Kinana
Kibana 是一个免费的和开放源代码的数据可视化和分析平台，用于 Elasticsearch。它允许你在 Elasticsearch 上执行高级数据分析和可视化，并与 Elasticsearch 集成来检索、分析和可视化存储在 Elasticsearch 中的数据。
Kibana 可以用于创建动态的、交互式的图表、仪表盘和报告，帮助开发人员、运维人员和商业分析师更好地理解其数据，并支持多种数据源的数据可视化和分析，包括日志、指标、可视化数据等。
创建Kibana docker容器
拉取镜像
docker pull kibana:8.10.4
创建配置文件：D:\Programs\docker\kibana\kibana.yml
# ## ** THIS IS AN AUTO-GENERATED FILE ** ## # ## Default Kibana configuration for docker target server.host: "0.0.0.0" server.shutdownTimeout: "5s" elasticsearch.hosts: [ "http://192.168.1.13:9200" ] elasticsearch.username: kibana elasticsearch.password: IR7j8Z26RIVuWEFgbqip
由于elastic 账号权限过高，kibana不允许使用elastic用户连接elasticsearch，这里使用kinana账号。密码是上面命令自动生成的。
创建并运行kibana容器
使用如下命令创建并运行容器：
docker run -d -p 5601:5601 -v D:\programs\docker\kibana\kibana.yml:/usr/share/kibana/config/kibana.yml --name kibana kibana:8.10.4
验证登录kibana
这里使用的用户是elastic，密码与登录 http://localhost:9200 的密码相同。至此kibana部署完成。
安装部署logstash
什么是logstash
Logstash 是一个开源的服务器端数据处理工具，用于收集、处理、转换和传输各种类型的数据。它是弹性堆栈（Elastic Stack）的一部分，与 Elasticsearch、Kibana 和 Beats 一起构成了强大的日志和数据分析解决方案。
Logstash 可以从多个来源（例如文件、网络、消息队列等）收集数据，并将其转换为统一的格式，然后将数据发送到不同的目标（例如 Elasticsearch、文件、数据库等）。它支持丰富的过滤功能，可以对数据进行处理、加工和增强，以满足特定的需求。在数据传输过程中，Logstash 还可以进行数据转换、编码、解码和压缩等操作。
Logstash 提供了一个灵活且可扩展的插件架构，使用户可以根据自己的需求轻松地定制数据处理流程。它可以用于日志收集、事件处理、安全分析、业务智能和其他数据处理场景，让用户能够更好地理解和利用其数据，以支持各种用例和业务需求。
创建logstash docker容器
下载logstash安装包，这里使用ubuntu 容器安装logstash，下载deb版本：Download Logstash Free | Get Started Now | Elastic
创建目录：D:\Programs\docker\test 并把下载完成后的 logstash-8.10.4-amd64.deb 文件复制到D:\Programs\docker\test目录。同时在该目录中添加logstash.conf配置文件：
input {
file {
path => "/app/logs/**/*.log"
start_position => "beginning"
sincedb_path => "/dev/null"
exclude => "*.gz"
}
}
output {
elasticsearch {
hosts => ["192.168.1.13:9200"]
index => "logs_index"
user => elastic
password => RaDKza2uS2kQiI3weSun
}
}
配置文件说明：
input： 指定输入源，logstash会从输入源读取数据。
file：输入源为文件。
path：文件路径，* 是通配符，用于匹配文件路径中的任意字符序列。
start_position： 设定为 "beginning"，表示从文件的开头开始读取数据。
sincedb_path： 指定了 sincedb 文件的路径，但这里设置为 /dev/null，意味着不使用 sincedb 文件来跟踪已读取的文件位置。
exclude：排除以 .gz 结尾的文件。
output：指定输出源，logstash会把数据处理成elasticsearch识别的数据发送给elasticsearch。
hosts：elasticsearch 应用地址
index：指定索引，会在elasticsearch中创建
user：使用elastic 用户
password：elastic用户密码。
创建dockerfile
from ubuntu # 创建app目录 RUN mkdir /app/logs -p && mkdir /app/logstash -p # 复制日志文件到容器 COPY ./logs.tar.gz /app/logs/logs.tar.gz # 复制logstash的安装包到容器 COPY ./logstash-8.10.4-amd64.deb /app/logstash/logstash-8.10.4-amd64.deb # 复制logstash.conf 到/app/logstash目录 COPY ./logstash.conf /app/logstash/logstash.conf # 解压日志文件 RUN tar -xzvf /app/logs/logs.tar.gz -C /app/logs # 安装logstash RUN dpkg -i /app/logstash/logstash-8.10.4-amd64.deb # 容器启动命令 CMD ["/usr/share/logstash/bin/logstash", "-f", "/app/logstash/logstash.conf"] # 暴露端口9600 EXPOSE 9600
在logstash的输入源使用的是从本地拷贝到容器的logs.tar.gz的日志文件，logstash的启动配置文件使用的是/app/logstash/logstash.conf。
创建logstash镜像
在D:\Programs\docker\test 目录执行如下命令，构建本地镜像：
# 创建logstash镜像 docker build -t logstash -f .\test.conf .
创建并运行logstash容器
使用如下命令创建logstash容器：
docker run -d -p 9600:9600 -v D:\programs\docker\test\logstash.conf:/app/logstash/logstash.conf --name logstash logstash
使用docker logs logstash 命令查看logstash 运行日志，如果没有报错，则启动成功。
通过kibana检索日志
登录kibana控制台，以此从菜单Management -> Data -> Index Management，可以查看logstash配置文件中配置的索引名：logs_index
创建data view
通过 主菜单 -> Discover -> Create data View 创建data view：
第一步：
第二步：
这一步中创建一个名为logs-data-view匹配logs_index*索引的data view。至此elk日志监控环境创建完成。
检索日志
在logstash discover面板中输入：Error，检索包含Error的日志输出：
问题记录
1、elasticsearch启动报错：Unable to retrieve version information from Elasticsearch nodes. security_exception
[2023-11-05T04:23:18.531+00:00][ERROR][elasticsearch-service] Unable to retrieve version information from Elasticsearch nodes. security_exception
Root causes:
security_exception: missing authentication credentials for REST request [/_nodes?filter_path=nodes.*.ver[2023-11-05T04:23:19.259+00:00][INFO ][plugins.screenshotting.chromium] Browser executable: /usr/share/kibana/node_modules/@kbn/screenshotting-plugin/chromium/headless_shell-linux_x64/headless_shell
问题原因：没有设置elasticsearch 用户名密码。在elasticsearch.yml添加：
xpack.security.enabled: true
xpack.security.enrollment.enabled: true
2、kiban启动报错：
FATAL Error: [config validation of [elasticsearch].username]: value of "elastic" is forbidden.
Use a servError: [config validation of [elasticsearch].username]: value of "elastic" is forbidden. This is a superuser account that cannot write to system indices that Kibana needs to function. Use a service account token instead. Learn more: https://www.elastic.co/guide/en/elasticsearch/reference/8.0/service-accounts.html
at ensureValidConfiguration (/usr/share/kibana/node_modules/@kbn/core-config-server-internal/src/ensure_valid_configuration.js:23:11)
at Server.preboot (/usr/share/kibana/node_modules/@kbn/core-root-server-internal/src/server.js:154:5)
at Root.preboot (/usr/share/kibana/node_modules/@kbn/core-root-server-internal/src/root/index.js:47:14)
at bootstrap (/usr/share/kibana/node_modules/@kbn/core-root-server-internal/src/bootstrap.js:97:9)
at Command. (/usr/share/kibana/src/cli/serve/serve.js:179:5)
FATAL Error: [config validation of [elasticsearch].username]: value of "elastic" is forbidden. This is a superuser account that cannot write to system indices that Kibana needs to function. Use a service account token instead. Learn more: https://www.elastic.co/guide/en/elasticsearch/reference/8.0/service-accounts.html
问题原因：因为"elastic"账号是一个强大的账号，具有非常高的权限，不应该被用于日常操作。kibana.yml配置文件中的elasticsearch user换用kibana或kibana_system
3、kibana登录报错
[2023-11-05T04:50:45.496+00:00][ERROR][plugins.security.user-profile] Failed to activate user profile (retries left: 9): {"error":{"root_cause":[{"type":"version_conflict_engine_exception","reason":"[profile_u_gFwCjbbPdWG_Wgca78NWDZgy5m0yqpqwS2cqmwMPsEQ_0]: version conflict, required seqNo [0], primary term [1]. current document has seqNo [1] and primary term [1]","index_uuid":"CApQk0caTI2SjFj_jAkKLw","shard":"0","index":".security-profile-8"}],"type":"version_conflict_engine_exception","reason":"[profile_u_gFwCjbbPdWG_Wgca78NWDZgy5m0yqpqwS2cqmwMPsEQ_0]: version conflict, required seqNo [0], primary term [1]. current document has seqNo [1] and primary term [1]","index_uuid":"CApQk0caTI2SjFj_jAkKLw","shard":"0","index":".security-profile-8"},"status":409}.
问题原因：需要使用elastic账号登陆kibana控制台而不是kibana账号。
猜你喜欢
网友评论
- 搜索
- 最新文章
- 热门文章