1. 日志
1. 统计独立 IP
数量
awk '{print $1}' access.log | sort -n | uniq | wc -l
2. 查看某一时间段的 IP
访问量
grep "05/Apr/2019:0[1-9]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l
3. 查看访问最频繁的前 100
个 IP
awk '{print $1}' access.log | sort -n | uniq -c | sort -rn | head -n 100
4. 查看访问 100
次以上的 IP
awk '{print $1}' access.log | sort -n | uniq -c | awk '{if($1 > 100) print $0}' | sort -rn
5. 查询某个 IP
的详细访问情况,按访问频率排序
grep '127.0.0.1' access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -n 100
6. 统计 URL
访问量排行
awk '{url[$7]++} END {for (k in url) {print url[k],k}}' nginx.access.log | sort -rn
使用 awk
从 Nginx
日志中逐行统计 URL
访问计数,然后使用 sort
对结果进行排名
7. 访问最频繁的 URL
awk '{print $7}' access.log | sort | uniq -c | sort -rn | head -n 100
或者
awk '{url[$7]++} END {for (k in url) {print url[k],k}}' access.log | sort -rn | head -n 100
8. 除 .php
以外,访问最频繁的 URL
grep -v ".php" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -n 100
9. URL
访问次数超过 100
次的页面
awk '{print $7}' access.log | sort -n | uniq -c | sort -rn | head -n 100
10. 查看最近 1000
条记录,访问量最高的 URL
tail -1000 access.log | awk '{print $7}' | sort | uniq -c | sort -rn | less
11. 统计每秒的请求数,TOP100
的时间点 (精确到秒)
awk '{print $4}' access.log | cut -c 14-21 | sort | uniq -c | sort -rn | head -n 100
12. 统计每小时的请求数,TOP100
的时间点 (精确到小时)
awk '{print $4}' access.log | cut -c 14-15 | sort | uniq -c | sort -rn | head -n 100
13. 列出传输时间超过 3
秒的页面,并统计其出现的次数,显示前 20
条
在 Nginx
日志最后一个字段加入 $request_time
cat access.log | awk '($NF > 3){print $7}' | sort -n | uniq -c | sort -rn | head -20
14. 列出 PHP
页面请求时间超过 3
秒的页面,并统计其出现的次数,显示前 100
条
在 Nginx
日志最后一个字段加入 $request_time
cat access.log | awk '($NF > 1 && $7~/\.php/){print $7}' | sort -n | uniq -c | sort -rn | head -100
2. 文件
15. 列出当前目录下的所有文件(包括隐藏文件)的绝对路径
find $PWD -maxdepth 1 | xargs ls -ld
16. 递归列出当前目录下的所有文件(包括隐藏文件)的绝对路径
find $PWD | xargs ls -ld
17. 在每行记录的开头加上当前路径
ls | sed "s:^:`pwd`/:"
18. 删除指定时间之前的文件
find /path/to/dir -mtime +30 -type f | xargs rm -f
/path/to/dir
设置查找的目录--mtime +30
设置时间为30
天前-type f
指定查找的类型为文件
19. 删除文件前/后N行
删除了前 2
行 先用 tail
把从第 3
行开始的所有内容输出到新文件,然后再重命名文件
tail -n +3 old_file > new_file
mv new_file old_file
仅保留最后 3
行
tail -n -3 old_file > new_file
mv new_file old_file
如果写定时任务,那可放置到一行
0 0 * * * tail -n -3 old_file > new_file && mv -f new_file old_file
3. 网络
20. 统计网卡的流量数据
# sar -n DEV 1 5
平均时间: IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
平均时间: lo 2.21 2.21 0.18 0.18 0.00 0.00 0.00
平均时间: eth0 4.62 3.82 0.37 1.90 0.00 0.00 0.00
命令中 1
5
表示每一秒钟取 1
次值,一共取 5
次
命令执行后会返回列出每个网卡这 5
次取值的平均数据,根据实际情况来确定带宽跑满的网卡名称,默认情况下 eth0
为内网网卡,eth1
为外网网卡。
22. 查询占用端口的进程/程序
# netstat -tunlp | grep ':80'
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 26655/nginx
或者使用 lsof
命令:
lsof -i :80
23. 查看流量占用情况
iftop -P
24. 查看程序流量排行
nethogs
4. 进程/程序
25. grep 程序并杀死
ps -ef | grep process_name | grep -v grep | cut -c 9-15 | xargs kill -s 9
26. 查看指定进程的具体占用内存
# cat /proc/[pid]/status
Name: memcached
State: S (sleeping)
Tgid: 1954
Pid: 1954
PPid: 1
TracerPid: 0
Uid: 500 500 500 500
Gid: 500 500 500 500
Utrace: 0
FDSize: 128
Groups:
VmPeak: 413792 kB
VmSize: 360544 kB
VmLck: 0 kB
VmHWM: 29704 kB
VmRSS: 29376 kB
VmData: 341768 kB
VmStk: 2132 kB
VmExe: 80 kB
VmLib: 2152 kB
VmPTE: 164 kB
VmSwap: 0 kB
Threads: 6
...
其中,VmRSS
项表示实际占用内存值
或者,用 ps
命令
# ps aux | grep <pid>
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
jxcdn 1954 0.0 0.1 360544 29376 ? Ssl Apr13 7:56 memcached -m 128 -p 11211
其中 RSS
列表示实际使用内存(单位: KB)。可以看出,与 /proc/[pid]/status
的值是一致的
5. 脚本
27. 获取脚本文件所在目录
script_path=$(cd `dirname $0`; pwd)
28. 获取脚本文件的上级目录
script_path=$(cd `dirname $0`; pwd)
root_path=$(cd `dirname "$script_path"`; pwd)
29. 格式化当前时间
datetime=$(date +"%Y-%m-%d %H:%M:%S")
30. 去除文本中的颜色转义符
sed -r "s/\x1B\[([0-9]{1,2}(;[0-9]{1,2})?)?[m|K]//g"
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
暂无评论内容