Linux学习记录

背景 ：前面已经部署了ELK集群， 见ELK集群部署 。这里结合kafka使用做个案例实验，用于展示如何将这些技术结合起来处理和分析日志数据。 kafka1：10.170.0.8 kafka2：10.170.0.9 kafka3：10.170.0.10 目标 ：构建一个简单的ELK + Kafka系统，用于实时收集、处理、分析和可视化日志数据。 架构组件 Kafka: 作为日志消息的中间存储，提供高吞吐量的日志消息队列。 Logstash: 作为日志处理管道，从Kafka消费日志，进行处理和解析，然后输出到Elasticsearch。 Elasticsearch: 用于存储、搜索和分析日志数据。 Kibana: 用于日志数据的可视化和搜索分析。 一，安装配置kafka集群 1.1，安装JDK8 dnf install -y java-1.8.0-openjdk 1.2，下载kafka wget https://archive.apache.org/dist/kafka/3.6.0/kafka-3.6.0-src.tgz tar -zxvf kafka-3.6.0-src.tgz -C /usr/local/ mv /usr/local/kafka-3.6.0-src/ /usr/local/kafka/ && cd /usr/local/kafka/ 1.3，配置zookeeper #配置文件 /usr/local/kafka/config/zookeeper.properties [root@kafka1 kafka]# grep -Ev "^$|[#;]" /usr/local/kafka/config/zookeeper.properties dataDir=/opt/data/zookeeper/data dataLogDir=/opt/data/zookeeper/logs clientPort=2181 tickTime=2000 initLimit=20 syncLimit=10 maxClientCnxns=0 admin.enableServer=false server.1=10.170...

实验背景：4台云虚拟机（一个内网）已经部署了elasticsearch集群（见 ELK日志平台——Elasticsearch 8.x安装部署 ），centos 9 系统，已经做好本地DNS解析。 node1：elasticsearch node2：elasticsearch node3：elasticsearch，kibana node4：elasticsearch，nginx，logstash 一，安装配置nginx dnf install -y nginx systemctl enable nginx systemctl start nginx 二，安装配置logstash sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch #添加yum仓库 vim /etc/yum.repos.d/logstash.repo [logstash-8.x] name=Elastic repository for 8.x packages baseurl=https://artifacts.elastic.co/packages/8.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md #安装,启动 yum install logstash -y systemctl enable logstash.service systemctl start logstash.service #创建软链接，因为默认不在/bin/下面 ln -s /usr/share/logstash/bin/logstash /bin/logstash #安装完后运行下面命令测试， /usr/share/logstash/bin/logstash -e '' #等待一段时间口当看到下面提示， The stdin plugin is now waiting for input: [INFO ] 2024-04-24 07:30:35.094 [Agent thread] agent - Pipelines run...

背景介绍：ELK日志平台是一种用于收集、存储、搜索、分析和可视化日志数据的开源工具组合。ELK代表Elasticsearch、Logstash和Kibana，这三个工具分别用于不同的功能：      Elasticsearch：用于存储和搜索日志数据的分布式搜索引擎，能够快速地存储、搜索和分析大量的数据。      Logstash：用于日志数据的收集、过滤和转发，可以从不同的来源收集数据，并将其标准化后发送到Elasticsearch等目标中。      Kibana：用于数据可视化和管理的工具，可以创建实时的仪表板和报告，帮助用户更好地理解和分析他们的日志数据。 通过这些工具的结合，ELK日志平台能够帮助用户更好地理解其系统和应用程序产生的日志数据，从而进行故障排查、性能优化和安全监控等工作。 一，Elasticsearch 8.x单机部署 官网YUM安装步骤： https://www.elastic.co/guide/en/elasticsearch/reference/8.13/rpm.html#rpm-repo 官网APT安装步骤： https://www.elastic.co/guide/en/elasticsearch/reference/8.13/deb.html#deb-repo 使用YUM或者APT安装后，不需要创建单独用户，直接使用systemctl管理。 systemctl enable elasticsearch.service systemctl start elasticsearch.service vim /etc/elasticsearch/elasticsearch.yml network.host: 0.0.0.0 #设置IP地址，任意网络可以访问 1.1，默认开启认证，使用HTTPS连接，下面关掉安全认证和ssl ： xpack.security.enabled: false xpack.security.http.ssl: enabled: false xpack.security.transport.ssl: enabled: false 1...

背景：昨天晚上zabbix监控报警有一台vps内存爆了，然后就失联了，最后只能登录控制台重启😭。今天看了一下swap居然的没有开启的，小鸡的1G内存，不开swap还是压力山大啊！ 一，查看是否启用swap，以及一些参数 #确认 swap 是否启用：没有输出则未启用 swapon -s #检查 swappiness 参数：默认60，该值范围从0到100，值越低，系统越不倾向于使用 swap cat /proc/sys/vm/swappiness #如有必要，通过以下命令进行调整： sysctl vm.swappiness=VALUE 二，开启swap： #创建 Swap 文件：这里使用dd创建了1G dd if=/dev/zero of=/swapfile bs=100M count=10 #设置 Swap 文件的权限：出于安全考虑，设置为只有 root 用户才能读写 chmod 600 /swapfile #将文件设置为 Swap 空间 mkswap /swapfile #启用 Swap 文件 swapon /swapfile #验证，查看 swapon -s free -m #配置开机自启动 vim /etc/fstab #在该文件添加以下内容 /swapfile none swap sw 0 0 三，修改swap： #在更改 swap 文件大小前，需要先禁用正在使用的 swap 文件 swapoff /swapfile #调整大小 fallocate -l 2G /swapfile #或者 dd if=/dev/zero of=/swapfile bs=200M count=10 #接下来就是和上面一样，权限，创建，启用，验证，查看 chmod 600 /swapfile mkswap /swapfile swapon /swapfile swapon -s free -m 四，删除swap： swapoff /swapfile #从 /etc/fstab 中移除 Swap 条目 # /swapfile none swap sw 0 0 rm /swapfile #删除 Swap 文件