docker安装es
https://www.elastic.co/guide/en/elasticsearch/reference/7.5/docker.html docker pull docker.elastic.co/elasticsearch/elasticsearch:7.5.2 运行 d
01
~/left2east/tags/技术相关/
技术相关
包含「技术相关」标签的全部文章。
02
elk-日志采集监控报警系统搭建
方案一：日志关键字报警 一、系统选型 Elastic 公司有一套免费开源的日志采集系统（ELK），所以我选择拿来即用。 日志流： 日志文件→FileBeat→Logstash→ElasticSearch→Kibana 1、Filebeat Filebeat是一款轻量级日志采集器，
03
es-bulk操作
- create 如果文档不存在就创建，但如果文档存在就返回错误 - index 如果文档不存在就创建，如果文档存在就更新 - update 更新一个文档，如果文档不存在就返回错误 - delete 删除一个文档，如果要删除的文档id不存在，就返回错误
04
es-cpu高排查
查看cpu情况 http://10.15.1.242:9200/ cat/nodes?v=true&s=cpu:desc 查看线程 http://10.15.1.242:9200/ nodes/hot threads http://10.15.1.242:9200/ nodes/
05
es分片数量
大多数ElasticSearch用户在创建索引时通用会问的一个重要问题是:我需要创建多少个分片? 在本文中, 我将介绍在分片分配时的一些权衡以及不同设置带来的性能影响. 如果想搞清晰你的分片策略以及如何优化,请继续往下阅读. 为什么要考虑分片数 分片分配是个很重要的概念, 很多用
06
es删除delete_by_query超时问题
最近在开发过程遇到个十分棘手的事情，在项目中，需要将某天的ES中的数据删除，但是当天产生的数据量非常大，大约是50W+的一个状态。用postman测了一下，删除响应时间大约在一分半左右。这个时间显然会在程序中超时报错。 这个问题在网上没有找到合适的方法，所以只能啃ES的官方API
07
es删除索引空间未释放
1.通过Delete命令删除索引数据 2.删除后磁盘空间实际上并没有得到释放,需要再次执行命令操作 3.此时通过命令再次查看,可以发现空间已经释放 作者：攻城狮Jozz 链接：https://www.jianshu.com/p/5074477e392a 来源：简书 著作权归作者所
08
es查询数组字段中包含
技术笔记
09
logstash-json
源数据格式为 配置filter，需要有target 源数据格式为，则不需要target
10
logstash使用操作部分---二郎神---博客园
1.logstash的概念及特点。 概念：logstash是一个数据采集、加工处理以及传输(输出)的工具。 特点： - 所有类型的数据集中处理 - 不同模式和格式数据的正常化 - 自定义日志格式的迅速扩展 - 为自定义数据源轻松添加插件 2.logstash安装配
11
查询集群的状态
针对 Elasticsearch 集群时，我们可以通过如下的 cluster/health 命令来查询集群的状态： GET cluster/health 在正常的情况下，它会显示健康的状态，也就是绿色。关于监控的颜色的描述，我们可以参考我之前的文章 “Elasticsearch中
12
监控索引状态
logstash brokers integral log/ stats "search": { "open contexts": 0, "query total": 1133, 查看指定索引的请求量 http://10.15.12.38:9200/ tasks?pretty 查
13
git-如何保存用户名和密码
使用credential helper保存用户名和密码 Git提供了credential helper的功能，可以在本地保存用户名和密码，以便在每次Git命令执行时，不需要重新输入认证信息。 Git支持多种credential helper，包括cache、store、或者其他第
14
gitbash配置
修改 /etc/profile.d/git-prompt.sh MSYS2 PS1
15
gitlab-服务端hook
https://github.com/github/platform-samples/tree/master/pre-receive-hooks https://zhuanlan.zhihu.com/p/111797633 https://bbs.csdn.net/topics/
16
gitlabci
https://gitlab.com/guided-explorations/gitlab-ci-yml-tips-tricks-and-hacks/commit-to-repos-during-ci/commit-to-repos-during-ci/-/blob/master
17
git文件权限
在开发中，经常会使用git来做版本管理，我们主要是用来管理文件的内容，今天首次发现git还可以记录文件的权限修改，特地记录下。 比如，如下这个文件，没有修改前权限是644： 现在，我们修改成755： 查看git记录，里面已经记录了： 通过diff看看修改内容： 644和755最大
18
常用命令
Git clone git@git.betafang.com:ux/mobile client git branch -va git merge origin/master git push origin uc git remote set-url origin git@git.
19
http1-http2-https
与HTTP 1.1相比，主要区别包括 1. HTTP/2采用二进制格式而非文本格式 2. HTTP/2是完全多路复用的，而非有序并阻塞的——只需一个连接即可实现并行 3. 使用报头压缩，HTTP/2降低了开销 4. HTTP/2让服务器可以将响应主动“推送”到客户端缓存中 、HT
20
https
双向的身份认证 客户端和服务端在传输数据之前,会通过基于X.509证书对双方进行身份认证 。具体过程如下 : 客户端发起 SSL 握手消息给服务端要求连接。 服务端将证书发送给客户端。 客户端检查服务端证书，确认是否由自己信任的证书签发机构签发。 如果不是，将是否继续通讯的决定权
21
httpsssltls三者之间的联系和区别
SSL(Secure Socket Layer 安全套接层)是基于HTTPS下的一个协议加密层，最初是由网景公司（Netscape）研发，后被IETF（The Internet Engineering Task Force - 互联网工程任务组）标准化后写入（RFCRequest
22
java版本号
2.1. Java Version Numbers For reference, let's take a quick look at the Java version numbers. This will come in handy in case we need to dow
23
mac-java版本
/usr/libexec/java home -V 设置默认 Java 版本（例如 Java 17）
24
nc传文件
nc -l 1234 citybanner.txt cat citybanners 0809.txt | nc 10.26.27.130 1234 发送 nc -l 9992 test2.mv 1. nc命令 nc命令和网络通信有关，nc之间可以通信，也可以和其它网络工具通信，可
25
opcache设置
Gong Yong 的Blog zend opcache的最佳设置 2016-01-21 在网上无意中看到的一篇文章，这哥们非常简洁地谈论了zend opcache的最佳设置，他说他为此花了大量的时间探索zend opcache的每个设置选项的细节，甚至是阅读它的源代码，并且在
26
catch_workers_output配置
如果您有想要在后台运行的脚本，在继续处理之前完成请求会很有帮助，尤其是当您的工作需要一段时间时。例如，运行大型报告。 在这些情况下，fastcgi finish request() 将向用户发送响应，就好像脚本已完成一样。运行此函数后，任何对 error log() 的调用都将重
27
composer-因ssl出错而无法更新的解决办法
Composer 因SSL出错而无法更新的解决办法 在使用composer更新时，会碰到如下错误信息： error:14090086:SSL routines:SSL3 GET SERVER CERTIFICATE:certificate verify failedFailed
28
gii生成代码
生成表model ./yii gii/model --tableName=dw house broker sale --modelClass=HouseBrokerSale 生成controller和view ./yii gii/crud --controllerClass="a
29
php8安装
直接用brew安装 brew install php@8.2 安装redis扩展 /usr/local/opt/php@8.2/bin/pecl install redis brew安装 切换php版本
30
rabbitmq接入php
1.安装php-amqplib php-amqplib是一个纯PHP库，使用它，基于PHP的脚本客户端就可以轻松的连接和操作RabbitMQ。我们使用composer来安装。 composer require php-amqplib/php-amqplib 1. 示例说明 生产者
31
调试进程
sudo dtruss -a -n php-fpm
32
配置输出php错误日志到nginx
php.ini display errors注释掉 error log 注释掉 log errors = On
33
php上传文件-size为0
上传文件size为0，原因是超过了php.ini中配置的upload max filesize值 目前服务器配置的是5M size为0时$file 'error' = 1 nginx配置client max body size
34
三次握手四次挥手
第一次 第一次握手：建立连接时，客户端发送syn包（seq=j）到服务器，并进入SYN SENT状态，等待服务器确认；SYN：同步序列编号（Synchronize Sequence Numbers）。 第二次 第二次握手：服务器收到syn包，必须确认客户端的SYN（ack=j+
35
ab命令
网站性能压力测试是服务器网站性能调优过程中必不可缺少的一环。只有让服务器处在高压情况下，才能真正体现出软件、硬件等各种设置不当所暴露出的问题。 性能测试工具目前最常见的有以下几种：ab、http load、webbench、siege。今天我们专门来介绍ab。 ab是apache
36
ansible
1. 安装 yum -y install ansible ansible --version 2. 添加控制机器 ssh-copy-id -i .ssh/id rsa.pub root@192.168.100.20 3. 添加到hosts文件中 vim /etc/ansible/
37
apollo配置中心
1.下载 git clone git@gitcode.net:mirrors/ctripcorp/apollo.git 2. 数据库配置 a.scripts/sql/apolloconfigdb.sql b.scripts/sql/apolloportaldb.sql 3.修改b
38
bashrc
技术笔记
39
brew安装php74
brew tap shivammathur/php brew install php@7.4
40
centos静态ip
获取当前的IP地址以及网关 编辑ifcfg-eth0:vim/etc/sysconfig/network-scripts/ifcfg/eth0 新增： IPADDR=192.168.96.128 NETMASK=255.255.255.0
41
charles
1 Charles安装 下载连接：https://www.charlesproxy.com/download/ 2 HTTP抓包 （1）查看电脑IP地址 （2）设置手机HTTP代理 手机连上电脑，点击“设置- 无线局域网- 连接的WiFi”，设置HTTP代理： 服务器为电脑IP地
42
cpu-架构
| CPU 架构 | 描述 | | --------------------------- | ------------------------------- | | x86 64 / amd64 / x64 | 64 位 x86 架构，常见于 Intel、AMD CPU | |
43
docker-redis
获取 redis 镜像 docker pull redis - 不加版本号默认获取最新版本，也可以使用 docker search redis 查看镜像来源 1. 查看本地镜像 docker images 1. 从官网获取 redis.conf 配置文件 - 修改默认配置文件 2
44
docker启动es
技术笔记
45
docker启动rabbitmq
docker启动Rabbitmq 不指定用户名密码，默认为guest/guest docker run --name=rabbitmq-server -p 15672:15672 -p 5672:5672 -d rabbitmq 指定用户名密码 docker run --name
46
docker镜像加速
直接修改 /etc/docker/daemon.json (docker 版本 = 1.10 时) 内容为: {"registry-mirrors": "https://registry.cn-hangzhou.aliyuncs.com" } 修改后重启服务: systemctl
47
eclipse-samba
sudo vim /etc/samba/smb.conf create mask = 0664 directory mask = 0775
48
es-cpu高排查
查看cpu情况 http://10.15.1.242:9200/ cat/nodes?v=true&s=cpu:desc 查看线程 http://10.15.1.242:9200/ nodes/hot threads http://10.15.1.242:9200/ nodes/
49
ffmpeg
CentOS中yum安装ffmpeg 1.升级系统 sudo yum install epel-release -y sudo yum update -y sudo shutdown -r now 2.安装Nux Dextop Yum 源 由于CentOS没有官方FFmpeg r
50
firewalld
firewalld is masked报错 删除 /etc/systemd/system/firewalld.service. systemctl unmask firwalld systemctl start firewalld
51
gitlabci
https://gitlab.com/guided-explorations/gitlab-ci-yml-tips-tricks-and-hacks/commit-to-repos-during-ci/commit-to-repos-during-ci/-/blob/master
52
grafana
安装grafana wget https://dl.grafana.com/oss/release/grafana-6.0.2-1.x86 64.rpm sudo yum localinstall grafana-6.0.2-1.x86 64.rpm or rpm -Uvh gr
53
grep排除空行
grep -vE ^$
54
https证书配置
首先我们要做一下准备工作，假设你域名是 example.com ，解析到你的服务器让其生效后，我们建立一个目录： 我们的目的是绑定 http://example.com/.well-known/acme-challenge 到这个目录。 nginx配置 生成证书 安装证书
55
iptables
iptables -I INPUT 1 -i eth0 -p tcp --dport 80 -m state --state NEW,ESTABLISHED -j ACCEPT iptables -nvL - -L 表示查看当前表的所有规则，默认查看的是 filter 表，如果
56
jenkins安装部署
安装 参考 https://pkg.jenkins.io/redhat-stable/ 启动 systemctl start jenkins 开机自启 注意需要java11或java17 下载jdk-17 linux-x64 bin.tar.gz 解压到/usr/local/jd
57
linux查看本机公网ip
curl ifconfig.io curl ifconfig.me curl ipinfo.io/ip/
58
logstash字符串转整型
技术笔记
59
mac-idea-java_home
/Users/ddd/Library/Java/JavaVirtualMachines/corretto-1.8.0 372/Contents/Home
60
markdown自动添加头部信息
给content目录下的所有文件添加头部信息 import os import time def add header (file name): datetime = time . strftime( & 34;%Y-%m- %d T%H:%M:%S%z& 34; , time
61
mysql开机启动
systemctl enable mysql
62
mysql重置密码
1. 停止mysql，/usr/local/webserver/mysql5.7/bin/mysqladmin -uouyang -p -S /mysql/mysql.sock shutdown 2. 启动 /usr/local/webserver/mysql5.7/bin/my
63
neovim
neovim 中配置可以通过 init.vim 或者 init.lua 进行配置，当前大部分的配置都采用了 lua ，本文也将会通过 lua 进行配置 nvim。如果你还不会使用 lua 也不需要担心，lua 可以快速上手。你可以直接通过 :h lua-guide 进行查看
64
nginx
nginx -s reload ：修改配置后重新加载生效 nginx -s reopen ：重新打开日志文件 nginx -t -c /path/to/nginx.conf 测试nginx配置文件是否正确 关闭nginx： nginx -s stop :快速停止nginx
65
n模块安装node
1. 淘宝的镜像不可用 2. 安装使用sudo，所以需要加-E来保证使用了当前环境变量
66
pip安装supervisor
/usr/local/bin/echo supervisord conf /etc/supervisord.conf 修改 /usr/local/bin/supervisorctl restart default-common-job-queue
67
postgresql
docker运行 登录 psql -p 5432 -U mygin -W
68
promethes
目录 /usr/local/webserver/prometheus 直接解压 需要exporter收集数据 elasticsearch exporter，收集es运行状态 node exporter，收集机器cpu内存等信息 启动使用nohup ./elasticsearch
69
rabbitmq
启动延迟队列插件 1. 下载对应版本插件 2. 复制到目录 3. 启用插件 4. 添加exchange，需要设置Arguments PHP实现消息队列MQ 1、MQ的应用场景 优点： a）主要解决异步消息 b）应用解耦 c）流量消峰等问题 d）
70
rdbtools
需要python pip install rdbtools pip install python-lzf 转成csv文件 rdb -c memory dump 6379.rdb memory.csv 匹配指定key前缀 rdb -c memory --key "app:ers
71
redis---事务acid分析
前言 ACID，是指数据库管理系统（DBMS）在写入或更新资料的过程中，为保证事务（transaction）是正确可靠的，所必须具备的四个特性：原子性（atomicity，或称不可分割性）、一致性（consistency）、隔离性（isolation，又称独立性）、持久性（dur
72
redis-shake
迁移单机到单机 ./redis-shake sync.toml 迁移集群到集群 python3 cluster helper.py ../redis-shake ../sync.toml
73
redis突然停电导致aof文件损坏
问题: 系统部署到客户服务器上面,客户把服务器重启,导致redis的aof文件损坏,启动不了 解决: 查看日志文件,发现报错 备份aof文件,在用redis-check-aof工具修复:
74
sed替换
sed -i 's/http:///git@/g' /.git/config
75
siyuan笔记docker
sudo docker run --name siyuan -v /siyuan:/siyuan/workspace -p 6806:6806 b3log/siyuan --workspace=/siyuan/workspace/ --accessAuthCode=75b7bff
76
sublime配置
phpfmt projectmanager sftp sublimelinter
77
supervisor简介
一、supervisor简介 Supervisor是用Python开发的一套通用的进程管理程序，能将一个普通的命令行进程变为后台daemon，并监控进程状态，异常退出时能自动重启。它是通过fork/exec的方式把这些被管理的进程当作supervisor的子进程来启动，这样只要在
78
tmux修改前缀
1.查看prefix现有绑定键： tmux show-options -g | grep prefix 2.要在tmux内置命令中修改及时生效，可在终端中输入以下命令：（只对当前这一次登录有效，关机后失效）其中第一个-g设置全局生效快捷键。其实一般第一个设置好后新的快捷键就可以生
79
ubuntu源
查看版本 lsb release -a 备份 sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak 需要修改bionic为codename 更新源 sudo apt-get update
80
vim
行末：$ 行首：^ 空格：\s 行末空格：\s\+$ 行首空格：^\s\+ 删除行尾多个空格 : %s/\s\+$//g 删除行首多个空格 : %s/^ \+//g 删除空行：:g/^$/d set fenc=utf-8 set fencs=utf-8,usc-bom,
81
virtualbox
host-only主机可以连接虚拟机，但是虚拟机不能联网 nat虚拟机可以联网，但是不能和主机互通 使用两个网卡实现既能虚拟机联网又能和主机互通
82
xhprof
1. 安装扩展 1. 下载 1. 解压后进入extension目录安装 1. xhprof html为前端显示使用 1. index.php和callgraph.php引入了xhprof lib，需要注意一下路径 1. 配置php.ini 4. 配置nginx 查看图片报错：fa
83
zsh-git-branch显示为less模式
git config --global pager.branch false
84
zsh
oh-my-zsh配置主题
85
一致性hash
上来先说一个误区， Redis 集群没有使用一致性hash, 而是引入了哈希槽slots的概念。 可以参考我的另一篇文章《redis系列之——高可用（主从、哨兵、集群）》。
86
安装samba
1.安装yum install smb 2.添加用户user add smbuser -s /sbin/nologin 3.添加目录/etc/samba/smb.conf share path = /home/smbuser/share
87
安装tickeys
brew install tickeys --cask
88
批量修改文件权限
修改目录权限 find ./ -type d -exec chomd 755 {} \; 修改文件权限 find ./ -type f -exec chmod 644 {} \;
89
查看redis客户端ip
查看Redis客户端ip
90
重建索引
技术笔记
91
批量缓存
mget mset pipeline transanction lua脚本 register shutdown
92
attributeerror-collections-mutablemapping
AttributeError: module 'collections' has no attribute 'MputableMapping' python版本大于3.10或是2版本都会有这个问题 安装3.9解决 1. 下载python pyth 2. 安装依赖 3. 编译 4.
93
crontab读取路径
cron 会每分钟去读取一次 /etc/crontab、etc/cron.d/ 目录、以及 /var/spool/cron 目录中的改变 ，如果发现了改变，它们就会被载入内存。因此，只要你编辑完 /etc/crontab 这个文件，并且将它储存之后，那么 cron 的配置就自动的
94
df-与du不一致
事件起因： 同事发现云主机磁盘系统盘满了，准备清理系统盘，便利用du 命令统计了根目录下各文件夹的大小，发现统计的各文件夹的大小总和 加起来比 df 命令查看到的系统盘所使用空间 要小很多。这里记录下解决方法 了解下df与du的工作原理： du du命令会对待统计文件逐个调用fs
95
error-uninitialized-constant-homebrewservice
解决办法
96
jenkins-ansible报错
fatal: 10.2.1.199 : UNREACHABLE! = {"changed": false, "msg": "Failed to connect to the host via ssh: Host key verification failed.", "unreac
97
mac-clean-dns-cache
| MacOS 版本 | 使用的命令 | | ---------------------------- | --------------------------------------------------------------- | | macOS 12 (Monterey
98
mac没声音
sudo launchctl stop com.apple.audio.coreaudiod
99
mac辅助功能列表清空
sudo tccutil reset Accessibility.
100
maven安装本地jar
maven安装本地jar 执行mvn install:install-file -Dfile=/Users/ddd/Downloads/jdbc-oracle.jar -DgroupId=com.oracle -DartifactId=ojdbc -Dversion=
101
mysql分页重复
order by 字段需要加一个不重复的字段
102
no-module-named-http.client
爬虫遇到一个弱智又好笑的问题 代码是： import urllib.request url='https://www.lingdianshuwu.com/' resp=urllib.request.urlopen(url) html=resp.read() 看起来超级简单吧，然而
103
obsidian保存失败问题
Failed to save file “filepath”. EBADF: bad file descriptor, write. Make a backup 1. Navigate to Windows Security Virus & threat protection
104
orbstach配置
orb config docker 使用orbstack的sock文件 docker context use orbstack
105
php-realpath-缓存php的realpath-cache
PHP的缓存有很多种，包括输出缓冲(ob系列函数)，opcode缓存(APC，eAccelerator,XCache等扩展实现)，这些大家已经很熟悉了，接下来介绍一下一个不太被人注意的PHP缓存机制：realpath cache。 介绍 require,require once,
106
php8-openssl
简洁版： 问题1 ： No package 'openssl' found 执行2个命令 export OPENSSL CFLAGS=/usr/local/Cellar/openssl@1.1/1.1.1n/include export OPENSSL LIBS=/usr/loc
107
php8安装ssl
No package 'openssl' found / Package 'libssl', required by 'openssl', not found 错误 - No package 'openssl' found - Package 'libssl', required
108
ssh-登陆服务器locale告警setlocale的处理方法
（-bash: warning: setlocale:） root@centos6-vm01 vim /etc/environment 添加下面两行内容 LANG= "en US.UTF-8" LC ALL= root@centos6-vm01 sourc
109
supervisor中的minfds及minprocs参数用途
使用supervison启动es时，总是启动失败，报 需要在/etc/supervisord.conf配置中修改
110
too-many-open-files-的终极解决办法
1、首先，得定位问题，查，到底是哪些进程或线程打开了大量的连接（scoket）没有关闭 3、查看当前进程相关的连接 4、jps查看当前java进程的状态 5、查看当前进程属于哪个应用 6、杀掉对应的pid
111
virtual-box修改硬盘大小
CentOS7，LVM根分区扩容步骤： 1.查看现有分区大小 df -TH LVM分区，磁盘总大小为20G,根分区总容量为17G 2.关机增加大小为30G(测试环境使用的Vmware Workstation) 扩展分区到30G 3.查看扩容后磁盘大小 df -TH lsblk 磁
112
virtualbox-安装centos7.0-无法全屏问题
1、打开虚拟机设置，选择显示，将分辨率调整到最大，然后点击“确定”； 2、在虚拟机中安装VirtualBox Guest Additions，安装完成后重启虚拟机； 3、在虚拟机中打开终端，输入命令：sudo yum install epel-release； 4、安装完成后，输
113
yii-队列消费报错
原因是ttr取到空字符串 正常消息体结构为 前面的300为ttr，用分号分隔
114
yii2-composer报错处理
报错信息 解决 运行 composer update yiisoft/yii2-composer 或 composer update yiisoft/yii2-composer --no-plugins 获取最新版本的插件，即可。 报错信息 解决
115
为什么使用cp
为什么使用\cp 默认 cp 命令是有别名的，也就是说在执行 cp 命令的时候，实际上执行的是别名的命令
116
时间同步
sudo sntp -sS cn.pool.ntp.org /usr/sbin/ntpdate cn.pool.ntp.org
117
解决-centos-7-官方-yum-仓库无法使用的最佳实践
解决 CentOS 7 官方 yum 仓库无法使用的最佳实践 一、背景介绍 2024 年 7 月 1 日，在编译基于 CentOS 7.6.1810 镜像的 Dockerfile 过程中，执行 yum install 指令时，遇到了错误： Could not resolve ho
118
解决php处理图片时内存占用过高问题
https://www.cnblogs.com/68xi/p/10993602.html 用过GD库的同学可能都知道，使用imagecreatetruecolor()函数创建一个真彩色的画布是第一步。但是，如果画布的宽高超过平常的宽高，会带来极大的内存消耗。比如，一个9600×4
119
负载均衡
负载均衡算法 1. 随机 1. ip hash 1. 轮询 1. 最小连接 轮询、随机、最小活跃数、源地址哈希、一致性哈希。 加权随机 加权轮询 七层 四层 所谓四层即运输层，就是基于 IP + 端口的负载均衡； 七层即应用层，就是基于 URL 等应用层信息的负载均衡； 同理，还
120
运行java服务
java -jar ke-community-clean-web-1.0.0-SNAPSHOT.jar -Dspring.profiles.active=dev nohup java -Dserver.port=8086 -Dspring.config.additional-lo