├── README.md └── md ├── FFmpeg.md ├── goaccess.md ├── images ├── goaccess.html ├── goaccess.png ├── goaccess │ ├── 1.png │ ├── 10.png │ ├── 11.png │ ├── 12.png │ ├── 2.png │ ├── 3.png │ ├── 4.png │ ├── 5.png │ ├── 6.png │ ├── 7.png │ ├── 8.png │ └── 9.png ├── linux-iftop.png └── speedtesti │ └── speedtesti.png ├── java.md ├── linux-compression.md ├── linux-iftop.md ├── linux-nmap.md └── nginx-log.md /README.md: -------------------------------------------------------------------------------- 1 | # linux命令 2 | 3 | ### nginx日志统计分析自动报表工具goaccess(推荐) 4 | - https://github.com/opensourceteams/linux/blob/master/md/goaccess.md 5 | 6 | 7 | ### nginx 日志统计分析常用命令 8 | - https://github.com/opensourceteams/linux/blob/master/md/nginx-log.md 9 | 10 | ### linux压缩和解压缩命令 11 | - https://github.com/opensourceteams/linux/blob/master/md/linux-compression.md 12 | 13 | ### FFmpeg命令行工具的使用 14 | - https://github.com/opensourceteams/linux/blob/master/md/FFmpeg.md 15 | 16 | ## iftop 命令(流量监控) 17 | - https://github.com/opensourceteams/linux/blob/master/md/linux-iftop.md 18 | 19 | ## 杀掉指定端口号的java程序 20 | - https://github.com/opensourceteams/linux/blob/master/md/java.md 21 | 22 | ## 扫描远程服务器上开放的端口 23 | - https://github.com/opensourceteams/linux/blob/master/md/linux-nmap.md 24 | 25 | 26 | ## linux 网速测试(上传/下载速度) 27 | ```aidl 28 | wget https://raw.githubusercontent.com/sivel/speedtest-cli/master/speedtest.py 29 | chmod +rx speedtesti.py 30 | ./speedtesti.py 31 | 32 | ``` 33 | - https://github.com/opensourceteams/linux/blob/master/md/images/speedtesti/speedtesti.png 34 | ![](https://github.com/opensourceteams/linux/blob/master/md/images/speedtesti/speedtesti.png) 35 | 36 | ```aidl 37 | Retrieving speedtest.net configuration... 38 | Testing from Aliyun Computing Co. (39.96.52.86)... 39 | Retrieving speedtest.net server list... 40 | Selecting best server based on ping... 41 | Hosted by China unicom henan branch (Zhengzhou) [7.03 km]: 12.136 ms 42 | Testing download speed................................................................................ 43 | Download: 107.88 Mbit/s 44 | Testing upload speed................................................................................................ 45 | Upload: 2.41 Mbit/s 46 | ``` 47 | 48 | ## nc命令 49 | 50 | ### nc发送消息 51 | - 发送消息 52 | - 发送端和接收端都起来后，就可以在任意一端的终端输入数据，另一端就会同步消息 53 | 54 | ```aidl 55 | nc -l 1234 56 | 57 | ``` 58 | 59 | 60 | 61 | ### nc接收消息 62 | - 拉收消息 63 | - 发送端和接收端都起来后，就可以在任意一端的终端输入数据，另一端就会同步消息 64 | 65 | ```aidl 66 | nc 127.0.0.1 1234 67 | 68 | ``` 69 | 70 | 71 | ### ls 过滤文件夹并删除 72 | - ls过滤当前路径下面的所有文件夹并删除(强制) 73 | 74 | ```aidl 75 | 76 | ls -l |grep ^d | xargs rm -rf 77 | ``` 78 | 79 | 80 | 81 | 82 | ### 显示20分钟前的文件 83 | 84 | ```aidl 85 | find /home/prestat/bills/test -type f -mmin +20 -exec ls -l {} \; 86 | ``` 87 | 88 | 89 | ### 删除20分钟前的文件 90 | 91 | ```aidl 92 | find /home/prestat/bills/test -type f -mmin +20 -exec rm {} \; 93 | ``` 94 | 95 | 96 | ### 显示20天前的文件 97 | 98 | ```aidl 99 | find /home/prestat/bills/test -type f -mtime +20 -exec ls -l {} \; 100 | ``` 101 | 102 | 103 | ### 删除20天前的文件 104 | 105 | ```aidl 106 | find /home/prestat/bills/test -type f -mtime +20 -exec rm {} \; 107 | 108 | ``` 109 | 110 | 111 | 下面为find命令的参数说明： 112 | 113 | -name 按照文件名查找文件。 114 | -perm 按照文件权限来查找文件。 115 | -prune 使用这一选项可以使find命令不在当前指定的目录中查找，如果同时使用-depth选项，那么-prune将被find命令忽略。 116 | -user 按照文件属主来查找文件。 117 | -group 按照文件所属的组来查找文件。 118 | -mtime -n +n 按照文件的更改时间来查找文件， - n表示文件更改时间距现在n天以内，+ n表示文件更改时间距现在n天以前。 119 | 120 | find命令还有-atime和-ctime 选项，但它们都和-m time选项。 121 | -nogroup 查找无有效所属组的文件，即该文件所属的组在/etc/groups中不存在。 122 | -nouser 查找无有效属主的文件，即该文件的属主在/etc/passwd中不存在。 123 | -newer file1 ! file2 查找更改时间比文件file1新但比文件file2旧的文件。 124 | -type 查找某一类型的文件，诸如：b - 块设备文件，d - 目录，c - 字符设备文件，p - 管道文件，l - 符号链接文件，f - 普通文件。 125 | -size n：[c] 查找文件长度为n块的文件，带有c时表示文件长度以字节计。 126 | -depth：在查找文件时，首先查找当前目录中的文件，然后再在其子目录中查找。 127 | -fstype：查找位于某一类型文件系统中的文件，这些文件系统类型通常可以在配置文件/etc/fstab中找到，该配置文件中包含了本系统中有关文件系统的信息。 128 | -mount：在查找文件时不跨越文件系统mount点。 129 | -follow：如果find命令遇到符号链接文件，就跟踪至链接所指向的文件。 130 | -cpio：对匹配的文件使用cpio命令，将这些文件备份到磁带设备中。 131 | 132 | 另外,下面三个的区别: 133 | -amin n　　查找系统中最后N分钟访问的文件 134 | -atime n　　查找系统中最后n*24小时访问的文件 135 | -cmin n　　查找系统中最后N分钟被改变文件状态的文件 136 | -ctime n　　查找系统中最后n*24小时被改变文件状态的文件 137 | -mmin n　　查找系统中最后N分钟被改变文件数据的文件 138 | -mtime n　　查找系统中最后n*24小时被改变文件数据的文件 -------------------------------------------------------------------------------- /md/FFmpeg.md: -------------------------------------------------------------------------------- 1 | # FFmpeg命令行工具的使用 2 | - http://www.sohu.com/a/273248325_100206743 3 | 4 | 5 | 本文将重点介绍ffmpeg、ffprobe与ffplay这三个命令行工具，而ffserver则是作为简单的流媒体服务器存在的，与客户端开发关系不大，因此本书将不做介绍。前文曾经提到ffmpeg是进行媒体文件转码的命令行工具，ffprobe是用于查看媒体文件头信息的工具，ffplay则是用于播放媒体文件的工具。 6 | 7 | 下面按照从简单开始的原则，先介绍ffprobe——查看媒体文件格式的工具。 8 | 9 | 1.ffprobe 10 | 11 | 首先用ffprobe查看一个音频的文件： 12 | 13 | ffprobe ~/Desktop/32037.mp3 14 | 15 | 键入上述命令之后，先看如下这行信息： 16 | 17 | Duration：00:05:14.83，start：0.000000，bitrate：64kb/s 18 | 19 | 这行信息表明，该音频文件的时长是5分14秒零830毫秒，开始播放时间是0，整个媒体文件的比特率是64Kbit/s，然后再看另外一行： 20 | 21 | Stream#0:0 Audio：mp3，24000Hz，stereo，s16p，64kb/s 22 | 23 | 这行信息表明，第一个流是音频流，编码格式是MP3格式，采样率是24kHz，声道是立体声，采样表示格式是SInt16（short）的planner（平铺格式），这路流的比特率是64Kbit/s。 24 | 25 | 然后再使用ffprobe查看一个视频的文件： 26 | 27 | ffprobe ~/Desktop/32037.mp4 28 | 29 | 键入上述命令之后，可以看到第一部分的信息是Metadata信息： 30 | 31 | Metadata: 32 | 33 | major_brand: isom 34 | 35 | minor_version: 512 36 | 37 | compatible_brands: isomiso2avc1mp41 38 | 39 | encoder: Lavf55.12.100 40 | 41 | 这行信息表明了该文件的Metadata信息，比如encoder是Lavf55.12.100，其中Lavf代表的是FFmpeg输出的文件，后面的编号代表了FFmpeg的版本代号，接下来的一行信息如下： 42 | 43 | Duration：00:04:34.56 start：0.023220，bitrate：577kb/s 44 | 45 | 上面一行的内容表示Duration是4分34秒560毫秒，开始播放的时间是从23ms开始播放的，整个文件的比特率是577Kbit/s，紧接着再来看下一行： 46 | 47 | Stream#0:0（un）：Video：h264（avc1/0x31637661），yuv420p，480*480，508kb/s，24fps 48 | 49 | 这行信息表示第一个stream是视频流，编码方式是H264的格式（封装格式是AVC1），每一帧的数据表示是YUV420P的格式，分辨率是480×480，这路流的比特率是508Kbit/s，帧率是每秒钟24帧（fps是24），紧接着再来看下一行： 50 | 51 | Stream#0:1（und）：Audio：aac（LC）（mp4a/0x6134706D），44100Hz，stereo，fltp，63kb/s 52 | 53 | 这行信息表示第二个stream是音频流，编码方式是AAC（封装格式是MP4A），并且采用的Profile是LC规格，采样率是44100Hz，声道数是立体声，数据表示格式是浮点型，这路音频流的比特率是63Kbit/s。 54 | 55 | 以上就是使用ffprobe来提取音频文件和视频文件头信息的方式，以及提取出来信息的含义。当然，ffprobe还有比较高级的用法，下面就来介绍几个： 56 | 57 | ffprobe -show_format 32037.mp4 58 | 59 | 上述命令可以输出格式信息format_name、时间长度duration、文件大小size、比特率bit_rate、流的数目nb_streams等。 60 | 61 | ffprobe -print_format json -show_streams 32037.mp4 62 | 63 | 上述命令可以以JSON格式的形式输出具体每一个流最详细的信息，视频中会有视频的宽高信息、是否有b帧、视频帧的总数目、视频的编码格式、显示比例、比特率等信息，音频中会有音频的编码格式、表示格式、声道数、时间长度、比特率、帧的总数目等信息。 64 | 65 | 显示帧信息的命令如下： 66 | 67 | ffprobe -show_frames sample.mp4 68 | 69 | 查看包信息的命令如下： 70 | 71 | ffprobe -show_packets sample.mp4 72 | 73 | 观影小技巧 74 | 75 | 日常生活中经常会接触到多媒体文件，比如，在电脑上利用ffprobe工具打开一些国粤双语的文件，一般会看到如下3行Stream。 76 | 77 | 视频Stream：h264 yuv420P 78 | 79 | 音频Stream：aac 48000Hz stereo fltp（default）title：粤语 80 | 81 | 音频Stream：aac 48000Hz stereo fltp title：国语 82 | 83 | 这就是说明，该媒体文件中有三路流：一路是视频流，另外两路是音频流，默认播放的是粤语的声音流，在大多数的播放器里面都可以进行音频流的切换，可以切换到国语的声音流进行观看。 84 | 85 | 以上介绍的基本上就是日常工作中经常会使用到的ffprobe命令了，其实大家只需要掌握最重要的查看指令就可以了，下面继续来看下一个命令行工具ffplay。 86 | 87 | 2.ffplay 88 | 89 | 前文已经提到过，ffplay是以FFmpeg框架为基础，外加渲染音视频的库libSDL来构建的媒体文件播放器。它所依赖的libSDL是1.2版本的，所以在安装ffplay之前也要安装对应版本的libSDL作为其依赖的组件。之后使用ffplay就非常简单了，比如我们要播放一个音频文件： 90 | 91 | ffplay 32037.mp3 92 | 93 | 这时候会弹出一个窗口，一边播放MP3文件，一边将播放声音的语谱图画到该窗口上。针对该窗口的操作如下，点击窗口的任意一个位置，ffplay会按照点击的位置计算出时间的进度，然后跳（seek）到这个时间点上继续播放；按下键盘上的右键会默认快进10s，左键默认后退10s，上键默认快进1min，下键默认后退1min；按ESC键就是退出播放进程；如果按w键则将绘制音频的波形图等。播放一个视频的命令如下所示： 94 | 95 | ffplay 32037.mp4 96 | 97 | 这时候会直接在新弹出的窗口上播放该视频，如果想要同时播放多个文件，那么只需要在多个命令行下同时执行ffplay就可以了，在对比多个视频质量的时候这是一个操作技巧，此外，如果按s键则可以进入frame-step模式，即按s键一次就会播放下一帧图像，这在观察某些视频内部的帧内容时也是常用的技巧。 98 | 99 | 业界内开源的ijkPlayer其实就是基于ffplay进行改造的播放器，当然其做了硬件解码以及很多兼容性的工作。ijkPlayer是一款非常优秀的播放器，作为开发者的我们需要很多优秀的开源项目。所以在这里笔者呼吁各家互联网公司开源出自己的部分代码，以提高所在领域的整体水平。 100 | 101 | 更多的ffplay命令介绍如下： 102 | 103 | ffplay 32037.mp4 -loop 10 104 | 105 | 上述命令代表播放视频结束之后会从头再次播放，共循环播放10次。还记得前文中提到过的两路流吗？ffplay也做了这方面的适配，也就是说在ffplay中其实也可以指定使用哪一路音频流或者视频流，命令如下： 106 | 107 | ffplay 大话西游.mkv -ast 1 108 | 109 | 上述命令表示播放视频中的第一路音频流，如果参数ast后面跟的是2，那么就播放第二路音频流，如果没有第二路音频流的话，就会静音，同样也可以设置参数vst，比如： 110 | 111 | ffplay 大话西游.mkv -vst 1 112 | 113 | 上述命令表示播放视频中的第一路视频流，如果参数vst后面跟的是2，那么就播放第二路视频流，但是如果没有第二路视频流，就会是黑屏即什么都不显示。 114 | 115 | 接下来介绍开发工作中常用的几个命令，这些命令在工作中debug的时候非常有用。首先用ffplay播放裸数据，无论是音频的pcm文件还是视频帧原始格式表示的数据（YUV420P或者rgba）。下面先来看看音频pcm文件的播放命令： 116 | 117 | ffplay song.pcm -f s16le -channels 2 -ar 44100 118 | 119 | 仅键入上述这行命令其实就可以正常播放song.pcm了，当然，前提是格式（-f）、声道数（-channels）、采样率（-ar）必须设置正确，如果其中任何一项参数设置不正确，都不会得到正常的播放结果。第1章在讲音频的基础概念时已经提到过，WAV格式的文件称为无压缩的格式，其实就是在PCM的头部添加44个字节，用于标识这个PCM的采样表示格式、声道数、采样率等信息，对于WAV格式音频文件，ffplay肯定可以直接播放，但是若让ffplay播放PCM裸数据的话，只要为其提供上述三个主要的信息，那么它就可以正确地播放了。 120 | 121 | 然后再来看一帧视频帧的播放，首先是YUV420P格式的视频帧： 122 | 123 | ffplay -f rawvideo -pixel_format yuv420p -s 480*480 texture.yuv 124 | 125 | 其实对于一帧视频帧，或者更直接来说一张PNG或者JPEG的图片，直接用ffplay是可以显示或播放的，当然PNG或者JPEG都会在其头部信息里面指明这张图片的宽高以及格式表示。若想让ffplay显示一张YUV的原始数据表示的图片，那么需要告诉ffplay一些重要的信息，其中包括格式（-f rawvideo代表原始格式）、表示格式（-pixel_format yuv420p）、宽高（-s 480*480）。对于RGB表示的图像，其实是一样的，命令如下： 126 | 127 | ffplay -f rawvideo -pixel_format rgb24 -s 480*480 texture.rgb 128 | 129 | 上述代码是播放rgb的原始数据，当然还需要指明前面提到的三项基本信息。 130 | 131 | 另外，对于视频播放器，不得不提的一个问题就是音画同步，在ffplay中音画同步的实现方式其实有三种，分别是：以音频为主时间轴作为同步源；以视频为主时间轴作为同步源；以外部时钟为主时间轴作为同步源。下面就以音频为主时间轴来作为同步源来作为案例进行讲解，这也是后面章节中完成视频播放器项目时要使用到的对齐策略，并且在ffplay中默认的对齐方式也是以音频为基准进行对齐的，那么以音频作为对齐基准是如何实现的呢？ 132 | 133 | 首先要声明的是，播放器接收到的视频帧或者音频帧，内部都会有时间戳（PTS时钟）来标识它实际应该在什么时刻进行展示。实际的对齐策略如下：比较视频当前的播放时间和音频当前的播放时间，如果视频播放过快，则通过加大延迟或者重复播放来降低视频播放速度；如果视频播放慢了，则通过减小延迟或者丢帧来追赶音频播放的时间点。关键就在于音视频时间的比较以及延迟的计算，当然在比较的过程中会设置一个阈值（Threshold），若超过预设的阈值就应该做调整（丢帧渲染或者重复渲染），这就是整个对齐策略。 134 | 135 | 对于ffplay可以明确指明使用的到底是哪一种具体的对齐方式，比如： 136 | 137 | ffplay 32037.mp4 -sync audio 138 | 139 | 上述命令显式地指定了ffplay使用音频为基准进行音视频同步，用来播放文件32037.mp4，当然这也是ffplay的默认设置（就是写与不写都一样）。 140 | 141 | ffplay 32037.mp4 -sync video 142 | 143 | 上述命令显式地指定了使用以视频为基准进行音视频同步的方式播放视频文件。 144 | 145 | ffplay 32037.mp4 -sync ext 146 | 147 | 上述命令显式地指定了使用外部时钟作为基准进行音视频同步的方式，用来播放视频文件。 148 | 149 | 大家可以分别使用这三种方式进行播放，尝试着去听一听，做一些快进操作或者直接跳（seek）到某个位置的操作，观察一下不同的对齐策略对最终的播放具体会造成什么样的影响。 150 | 151 | 3.ffmpeg 152 | 153 | ffmpeg其实是这三个命令行工具里最强大的一个工具，如果说ffprobe是用于探测媒体文件的格式以及详细信息，ffplay是一个播放媒体文件的工具，那么ffmpeg就是强大的媒体文件转换工具。它可以转换任何格式的媒体文件，并且还可以用自己的AudioFilter以及VideoFilter进行处理和编辑，总之一句话，有了它，进行离线处理视频时可以做任何你想做的事情了。下面先介绍总体的参数，然后再列出经典场景下的使用案例。 154 | 155 | （1）通用参数 156 | 157 | ·-f fmt：指定格式（音频或者视频格式）。 158 | 159 | ·-i filename：指定输入文件名，在Linux下当然也能指定：0.0（屏幕录制）或摄像头。 160 | 161 | ·-y：覆盖已有文件。 162 | 163 | ·-t duration：指定时长。 164 | 165 | ·-fs limit_size：设置文件大小的上限。 166 | 167 | ·-ss time_off：从指定的时间（单位为秒）开始，也支持[-]hh：mm：ss[.xxx]的格式。 168 | 169 | ·-re：代表按照帧率发送，尤其在作为推流工具的时候一定要加入该参数，否则ffmpeg会按照最高速率向流媒体服务器不停地发送数据。 170 | 171 | ·-map：指定输出文件的流映射关系。例如：“-map 1：0-map 1：1”要求将第二个输入文件的第一个流和第二个流写入输出文件。如果没有-map选项，则ffmpeg采用默认的映射关系。 172 | 173 | （2）视频参数 174 | 175 | ·-b：指定比特率（bit/s），ffmpeg是自动使用VBR的，若指定了该参数则使用平均比特率。 176 | 177 | ·-bitexact：使用标准比特率。 178 | 179 | ·-vb：指定视频比特率（bits/s）。 180 | 181 | ·-r rate：帧速率（fps）。 182 | 183 | ·-s size：指定分辨率（320×240）。 184 | 185 | ·-aspect aspect：设置视频长宽比（4：3，16：9或1.3333，1.7777）。 186 | 187 | ·-croptop size：设置顶部切除尺寸（in pixels）。 188 | 189 | ·-cropbottom size：设置底部切除尺寸（in pixels）。 190 | 191 | ·-cropleft size：设置左切除尺寸（in pixels）。 192 | 193 | ·-cropright size：设置右切除尺寸（in pixels）。 194 | 195 | ·-padtop size：设置顶部补齐尺寸（in pixels）。 196 | 197 | ·-padbottom size：底补齐（in pixels）。 198 | 199 | ·-padleft size：左补齐（in pixels）。 200 | 201 | ·-padright size：右补齐（in pixels）。 202 | 203 | ·-padcolor color：补齐带颜色（000000-FFFFFF）。 204 | 205 | ·-vn：取消视频的输出。 206 | 207 | ·-vcodec codec：强制使用codec编解码方式（'copy'代表不进行重新编码）。 208 | 209 | （3）音频参数 210 | 211 | ·-ab：设置比特率（单位为bit/s，老版的单位可能是Kbit/s），对于MP3格式，若要听到较高品质的声音则建议设置为160Kbit/s（单声道则设置为80Kbit/s）以上。 212 | 213 | ·-aq quality：设置音频质量（指定编码）。 214 | 215 | ·-ar rate：设置音频采样率（单位为Hz）。 216 | 217 | ·-ac channels：设置声道数，1就是单声道，2就是立体声。 218 | 219 | ·-an：取消音频轨。 220 | 221 | ·-acodec codec：指定音频编码（'copy'代表不做音频转码，直接复制）。 222 | 223 | ·-vol volume：设置录制音量大小（默认为256）<百分比>。 224 | 225 | 以上就是日常开发中经常用到的音视频参数以及通用参数，若只介绍这些参数，读者肯定会觉得比较迷茫，下面就结合日常开发中遇到的场景逐个给出具体的实例来实践一下。 226 | 227 | 1）列出ffmpeg支持的所有格式： 228 | 229 | ffmpeg -formats 230 | 231 | 2）剪切一段媒体文件，可以是音频或者视频文件： 232 | 233 | ffmpeg -i input.mp4 -ss 00:00:50.0 -codec copy -t 20 output.mp4 234 | 235 | 表示将文件input.mp4从第50s开始剪切20s的时间，输出到文件output.mp4中，其中-ss指定偏移时间（time Offset），-t指定的时长（duration）。 236 | 237 | 3）如果在手机中录制了一个时间比较长的视频无法分享到微信中，那么可以使用ffmpeg将该视频文件切割为多个文件： 238 | 239 | ffmpeg -i input.mp4 -t 00:00:50 -c copy small-1.mp4 -ss 00:00:50 -codec copy 240 | 241 | small-2.mp4 242 | 243 | 4）提取一个视频文件中的音频文件： 244 | 245 | ffmpeg -i input.mp4 -vn -acodec copy output.m4a 246 | 247 | 5）使一个视频中的音频静音，即只保留视频： 248 | 249 | ffmpeg -i input.mp4 -an -vcodec copy output.mp4 250 | 251 | 6）从MP4文件中抽取视频流导出为裸H264数据： 252 | 253 | ffmpeg -i output.mp4 -an -vcodec copy -bsf:v h264_mp4toannexb output.h264 254 | 255 | 注意，上述指令里不使用音频数据（-an），视频数据使用mp4toannexb这个bitstream filter来转换为原始的H264数据，在后续的API章节中也会频繁使用到该bitstream filter，在前面的章节中也曾提到过同一编码会有不同的封装格式。 256 | 257 | 7）使用AAC音频数据和H264的视频生成MP4文件： 258 | 259 | ffmpeg -i test.aac -i test.h264 -acodec copy -bsf:a aac_adtstoasc -vcodec copy -f 260 | 261 | mp4 output.mp4 262 | 263 | 上述代码中使用了一个名为aac_adtstoasc的bitstream filter，AAC格式也有两种封装格式，前面的章节中也曾提到过，而且在后续的章节中也会继续使用API调用该bitstream filter。 264 | 265 | 8）对音频文件的编码格式做转换： 266 | 267 | ffmpeg -i input.wav -acodec libfdk_aac output.aac 268 | 269 | 9）从WAV音频文件中导出PCM裸数据： 270 | 271 | ffmpeg -i input.wav -acodec pcm_s16le -f s16le output.pcm 272 | 273 | 这样就可以导出用16个bit来表示一个sample的PCM数据了，并且每个sample的字节排列顺序都是小尾端表示的格式，声道数和采样率使用的都是原始WAV文件的声道数和采样率的PCM数据。 274 | 275 | 10）重新编码视频文件，复制音频流，同时封装到MP4格式的文件中： 276 | 277 | ffmpeg -i input.flv -vcodec libx264 -acodec copy output.mp4 278 | 279 | 11）将一个MP4格式的视频转换成为gif格式的动图： 280 | 281 | ffmpeg -i input.mp4 -vf scale=100:-1 -t 5 -r 10 image.gif 282 | 283 | 上述代码按照分辨比例不动宽度改为100（使用VideoFilter的scaleFilter），帧率改为10（-r），只处理前5秒钟（-t）的视频，生成gif。 284 | 285 | 12）将一个视频的画面部分生成图片，比如要分析一个视频里面的每一帧都是什么内容的时候，可能就需要用到这个命令了： 286 | 287 | ffmpeg -i output.mp4 -r 0.25 frames_%04d.png 288 | 289 | 上述命令每4秒钟截取一帧视频画面生成一张图片，生成的图片从frames_0001.png开始一直递增下去。 290 | 291 | 13）使用一组图片可以组成一个gif，如果你连拍了一组照片，就可以用下面这行命令生成一个gif： 292 | 293 | ffmpeg -i frames_%04d.png -r 5 output.gif 294 | 295 | 14）使用音量效果器，可以改变一个音频媒体文件中的音量： 296 | 297 | ffmpeg -i input.wav -af ‘volume=0.5’ output.wav 298 | 299 | 上述命令是将input.wav中的声音减小一半，输出到output.wav文件中，可以直接播放来听，或者放到一些音频编辑软件中直接观看波形幅度的效果。 300 | 301 | 15）淡入效果器的使用： 302 | 303 | ffmpeg -i input.wav -filter_complex afade=t=in:ss=0:d=5 output.wav 304 | 305 | 上述命令可以将input.wav文件中的前5s做一个淡入效果，输出到output.wav中，可以将处理之前和处理之后的文件拖到Audacity音频编辑软件中查看波形图。 306 | 307 | 16）淡出效果器的使用： 308 | 309 | ffmpeg -i input.wav -filter_complex afade=t=out:st=200:d=5 output.wav 310 | 311 | 上述命令可以将input.wav文件从200s开始，做5s的淡出效果，并放到output.wav文件中。 312 | 313 | 17）将两路声音进行合并，比如要给一段声音加上背景音乐： 314 | 315 | ffmpeg -i vocal.wav -i accompany.wav -filter_complex 316 | 317 | amix=inputs=2:duration=shortest output.wav 318 | 319 | 上述命令是将vocal.wav和accompany.wav两个文件进行mix，按照时间长度较短的音频文件的时间长度作为最终输出的output.wav的时间长度。 320 | 321 | 18）对声音进行变速但不变调效果器的使用： 322 | 323 | ffmpeg -i vocal.wav -filter_complex atempo=0.5 output.wav 324 | 325 | 上述命令是将vocal.wav按照0.5倍的速度进行处理生成output.wav，时间长度将会变为输入的2倍。但是音高是不变的，这就是大家常说的变速不变调。 326 | 327 | 19）为视频增加水印效果： 328 | 329 | ffmpeg -i input.mp4 -i changba_icon.png -filter_complex 330 | 331 | '[0:v][1:v]overlay=main_w-overlay_w-10:10:1[out]' -map '[out]' output.mp4 332 | 333 | 上述命令包含了几个内置参数，main_w代表主视频宽度，overlay_w代表水印宽度，main_h代表主视频高度，overlay_h代表水印高度。 334 | 335 | 20）视频提亮效果器的使用： 336 | 337 | ffmpeg -i input.flv -c:v libx264 -b:v 800k -c:a libfdk_aac -vf eq=brightness=0.25 338 | 339 | -f mp4 output.mp4 340 | 341 | 提亮参数是brightness，取值范围是从-1.0到1.0，默认值是0。 342 | 343 | 21）为视频增加对比度效果： 344 | 345 | ffmpeg -i input.flv -c:v libx264 -b:v 800k -c:a libfdk_aac -vf eq=contrast=1.5 -f 346 | 347 | mp4 output.mp4 348 | 349 | 对比度参数是contrast，取值范围是从-2.0到2.0，默认值是1.0。 350 | 351 | 22）视频旋转效果器的使用： 352 | 353 | ffmpeg -i input.mp4 -vf "transpose=1" -b:v 600k output.mp4 354 | 355 | 23）视频裁剪效果器的使用： 356 | 357 | ffmpeg -i input.mp4 -an -vf "crop=240:480:120:0" -vcodec libx264 -b:v 600k output.mp4 358 | 359 | 24）将一张RGBA格式表示的数据转换为JPEG格式的图片： 360 | 361 | ffmpeg -f rawvideo -pix_fmt rgba -s 480*480 -i texture.rgb -f image2 -vcodec mjpeg 362 | 363 | output.jpg 364 | 365 | 25）将一个YUV格式表示的数据转换为JPEG格式的图片： 366 | 367 | ffmpeg -f rawvideo -pix_fmt yuv420p -s 480*480 -i texture.yuv -f image2 -vcodec mjpeg 368 | 369 | output.jpg 370 | 371 | 26）将一段视频推送到流媒体服务器上： 372 | 373 | ffmpeg -re -i input.mp4 -acodec copy -vcodec copy -f flv rtmp://xxx 374 | 375 | 上述代码中，rtmp：//xxx代表流媒体服务器的地址，加上-re参数代表将实际媒体文件的播放速度作为推流速度进行推送。 376 | 377 | 27）将流媒体服务器上的流dump到本地： 378 | 379 | ffmpeg -i http://xxx/xxx.flv -acodec copy -vcodec copy -f flv output.flv 380 | 381 | 上述代码中，http://xxx/xxx.flv 代表一个可以访问的视频网络地址，可按照复制视频流格式和音频流格式的方式，将文件下载到本地的output.flv媒体文件中。 382 | 383 | 28）将两个音频文件以两路流的形式封装到一个文件中，比如在K歌的应用场景中，原伴唱实时切换的场景下，可以使用一个文件包含两路流，一路是伴奏流，另外一路是原唱流： 384 | 385 | ffmpeg -i 131.mp3 -i 134.mp3 -map 0:a -c:a:0 libfdk_aac -b:a:0 96k -map 1:a -c:a:1 386 | 387 | libfdk_aac -b:a:1 64k -vn -f mp4 output.m4a 388 | 389 | 其实，FFmpeg的命令工具随意组合的话会有很多种，这里只列举了一部分，如果大家弄清楚了FFmpeg能做什么，那么具体的使用就一目了然了，只要是FFmpeg框架能够实现的功能，那么FFmpeg命令行工具就能将其提供出来了。 -------------------------------------------------------------------------------- /md/goaccess.md: -------------------------------------------------------------------------------- 1 | # nginx日志统计分析自动报表工具goaccess(推荐) 2 | - 官网: https://goaccess.io/download 3 | 4 | ## 源码 5 | - https://github.com/opensourceteams/linux 6 | 7 | ## 功能描述 8 | - nginx日志统计分析自动报表工具goaccess(推荐) 9 | - 网站总访问量统计,按天统计访问量,按页面(不同URL)统计访问量(不包括JS、css),按静态页面统计访问量(包括JS、css),不存在的页面统计访问量 10 | - 按不同的IP统计访问量,按不同的操作系统统计访问量,按不同的浏览器统计访问量,按时间段(小时为单位)统计访问量,按从哪里链接过来(从哪个网站跳过来)统计访问量 11 | - 按HTTP状态码统计访问量,按洲统计访问量 12 | 13 | ## 图表 14 | - https://github.com/opensourceteams/linux/blob/master/md/images/goaccess.html 15 | - https://github.com/opensourceteams/linux/blob/master/md/images/goaccess.png 16 | ![](https://github.com/opensourceteams/linux/blob/master/md/images/goaccess.png) 17 | 18 | ## 安装依赖 19 | ```aidl 20 | yum -y install gcc gcc-c++ make expat-devel 21 | yum install -y GeoIP-devel 22 | yum install -y ncurses-devel 23 | 24 | ``` 25 | ## 安装(centos) 26 | ```aidl 27 | wget https://tar.goaccess.io/goaccess-1.3.tar.gz 28 | $ tar -xzvf goaccess-1.3.tar.gz 29 | $ cd goaccess-1.3/ 30 | $ ./configure --enable-utf8 --enable-geoip=legacy 31 | $ make 32 | # make install 33 | ``` 34 | 35 | ## 安装(mac) 36 | ```aidl 37 | brew install goaccess 38 | ``` 39 | 40 | 41 | ### 修改配置 42 | - /usr/local/etc/goaccess/goaccess.conf 43 | - date-format 以nginx的access.log实际日志记录格式为准 44 | 45 | ```aidl 46 | 47 | time-format %H:%M:%S 48 | date-format %d/%b/%Y 49 | log-format %h %^[%d:%t %^] "%r" %s %b "%R" "%u" 50 | ``` 51 | 52 | 53 | ### 控制台分析 54 | ```aidl 55 | goaccess -a -d -f /usr/local/nginx/logs/access.log -p /usr/local/etc/goaccess/goaccess.conf 56 | ``` 57 | 58 | 59 | ### HTML台分析(推荐) 60 | - HTML分析的数据很完善，还有报表，种类其全 61 | - html/goaccess.html 为生成html文件路径 62 | - 63 | 64 | ```aidl 65 | goaccess -a -d -f /usr/local/nginx/logs/access.log -p /usr/local/etc/goaccess/goaccess.conf -o /home/liuwen/data/html/goaccess.html 66 | ``` 67 | 68 | 69 | ### 网站总访问量统计 70 | 71 | - Total Requests (总请求次数) 72 | - Valid Requests (有效的总请求次数) 73 | - Failed Requests (无效的总请求次数) 74 | - Not Found (不存的在页面请求次数) 75 | 76 | - https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/1.png 77 | ![](https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/1.png) 78 | 79 | 80 | 81 | ### 按天统计访问量 82 | - 报表展示每天访问量，包括请求量，独立的IP数，表格展示具体每天的统计量，支持分页，全量统计所有天 83 | - Hits (请求次数/占总量的百分比) 84 | - Visitors (当日IP个数/占总量的百分比) 85 | - Tx.Amount (流量统计单位MB/占总量的百分比) 86 | - Data (标识统计一天的日期) 87 | 88 | - https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/2.png 89 | ![](https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/2.png) 90 | 91 | 92 | 93 | ### 按页面(不同URL)统计访问量(不包括JS、css) 94 | - 报表展示按不同的URL统计访问量，独立IP，流量，(GET/POST)方式，页面 95 | - Hits (请求次数/占总量的百分比) 96 | - Visitors (当日IP个数/占总量的百分比) 97 | - Tx.Amount (流量统计单位MB/占总量的百分比) 98 | - Method (GET/POST)请求方式 99 | - Data (具体的页面) 100 | 101 | - https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/3.png 102 | ![](https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/3.png) 103 | 104 | 105 | 106 | ### 按静态页面统计访问量(包括JS、css) 107 | - 报表展示静态资源统计访问量，独立IP，流量，(GET/POST)方式，页面 108 | - Hits (请求次数/占总量的百分比) 109 | - Visitors (当日IP个数/占总量的百分比) 110 | - Tx.Amount (流量统计单位MB/占总量的百分比) 111 | - Method (GET/POST)请求方式 112 | - Data (静态页面URL) 113 | 114 | - https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/4.png 115 | ![](https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/4.png) 116 | 117 | 118 | 119 | ### 不存在的页面统计访问量 120 | - 报表展示不存在的页面统计访问量，独立IP，流量，(GET/POST)方式，页面 121 | - Hits (请求次数/占总量的百分比) 122 | - Visitors (当日IP个数/占总量的百分比) 123 | - Tx.Amount (流量统计单位MB/占总量的百分比) 124 | - Method (GET/POST)请求方式 125 | - Data (不存在页面URL) 126 | 127 | - https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/5.png 128 | ![](https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/5.png) 129 | 130 | 131 | 132 | ### 按不同的IP统计访问量 133 | - 报表展示按不同的IP统计访问量 134 | - Hits (请求次数/占总量的百分比) 135 | - Visitors (当日IP个数/占总量的百分比) 136 | - Tx.Amount (流量统计单位MB/占总量的百分比) 137 | - Country (国家) 138 | - Hostname (主机名称) 139 | - Data (IP) 140 | 141 | - https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/6.png 142 | ![](https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/6.png) 143 | 144 | 145 | ### 按不同的操作系统统计访问量 146 | - 按不同的操作系统统计访问量 147 | - Hits (请求次数/占总量的百分比) 148 | - Visitors (当日IP个数/占总量的百分比) 149 | - Tx.Amount (流量统计单位MB/占总量的百分比) 150 | - Data (操作系统 Windows/Android/IOS/Linux/Unknown等) 151 | 152 | - https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/7.png 153 | ![](https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/7.png) 154 | 155 | 156 | ### 按不同的浏览器统计访问量 157 | - 按不同的浏览器统计访问量 158 | - Hits (请求次数/占总量的百分比) 159 | - Visitors (当日IP个数/占总量的百分比) 160 | - Tx.Amount (流量统计单位MB/占总量的百分比) 161 | - Data (浏览器 Chrome/Safari/Firefox/MSIE等) 162 | 163 | - https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/8.png 164 | ![](https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/8.png) 165 | 166 | 167 | 168 | ### 按时间段(小时为单位)统计访问量 169 | - 按时间段(小时为单位)统计访问量 170 | - Hits (请求次数/占总量的百分比) 171 | - Visitors (当日IP个数/占总量的百分比) 172 | - Tx.Amount (流量统计单位MB/占总量的百分比) 173 | - Data (小时，00/01/02/03/04/05/06/07/08/09/10/11/12/13/14/15/16/17/18/19/20/21/22/23) 174 | 175 | - https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/9.png 176 | ![](https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/9.png) 177 | 178 | 179 | ### 按从哪里链接过来(从哪个网站跳过来)统计访问量 180 | - 按从哪里链接过来(从哪个网站跳过来)统计访问量 181 | - Hits (请求次数/占总量的百分比) 182 | - Visitors (当日IP个数/占总量的百分比) 183 | - Tx.Amount (流量统计单位MB/占总量的百分比) 184 | - Data (网址) 185 | 186 | - https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/10.png 187 | ![](https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/10.png) 188 | 189 | 190 | ### 按HTTP状态码统计访问量 191 | - 按HTTP状态码统计访问量 192 | - Hits (请求次数/占总量的百分比) 193 | - Visitors (当日IP个数/占总量的百分比) 194 | - Tx.Amount (流量统计单位MB/占总量的百分比) 195 | - Data (HTTP状态码) 196 | 197 | - https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/11.png 198 | ![](https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/11.png) 199 | 200 | 201 | ### 按洲统计访问量 202 | - 按HTTP状态码统计访问量 203 | - Hits (请求次数/占总量的百分比) 204 | - Visitors (当日IP个数/占总量的百分比) 205 | - Tx.Amount (流量统计单位MB/占总量的百分比) 206 | - Data (洲，如 亚洲/北美/南美/欧洲/大洋洲) 207 | 208 | - https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/12.png 209 | ![](https://github.com/opensourceteams/linux/blob/master/md/images/goaccess/12.png) 210 | 211 | 212 | 213 | 214 | 215 | 216 | 217 | 218 | 219 | -------------------------------------------------------------------------------- /md/images/goaccess.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceteams/linux/d333330f69c780baeea8927ca379ca491ac0143f/md/images/goaccess.png -------------------------------------------------------------------------------- /md/images/goaccess/1.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceteams/linux/d333330f69c780baeea8927ca379ca491ac0143f/md/images/goaccess/1.png -------------------------------------------------------------------------------- /md/images/goaccess/10.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceteams/linux/d333330f69c780baeea8927ca379ca491ac0143f/md/images/goaccess/10.png -------------------------------------------------------------------------------- /md/images/goaccess/11.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceteams/linux/d333330f69c780baeea8927ca379ca491ac0143f/md/images/goaccess/11.png -------------------------------------------------------------------------------- /md/images/goaccess/12.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceteams/linux/d333330f69c780baeea8927ca379ca491ac0143f/md/images/goaccess/12.png -------------------------------------------------------------------------------- /md/images/goaccess/2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceteams/linux/d333330f69c780baeea8927ca379ca491ac0143f/md/images/goaccess/2.png -------------------------------------------------------------------------------- /md/images/goaccess/3.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceteams/linux/d333330f69c780baeea8927ca379ca491ac0143f/md/images/goaccess/3.png -------------------------------------------------------------------------------- /md/images/goaccess/4.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceteams/linux/d333330f69c780baeea8927ca379ca491ac0143f/md/images/goaccess/4.png -------------------------------------------------------------------------------- /md/images/goaccess/5.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceteams/linux/d333330f69c780baeea8927ca379ca491ac0143f/md/images/goaccess/5.png -------------------------------------------------------------------------------- /md/images/goaccess/6.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceteams/linux/d333330f69c780baeea8927ca379ca491ac0143f/md/images/goaccess/6.png -------------------------------------------------------------------------------- /md/images/goaccess/7.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceteams/linux/d333330f69c780baeea8927ca379ca491ac0143f/md/images/goaccess/7.png -------------------------------------------------------------------------------- /md/images/goaccess/8.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceteams/linux/d333330f69c780baeea8927ca379ca491ac0143f/md/images/goaccess/8.png -------------------------------------------------------------------------------- /md/images/goaccess/9.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceteams/linux/d333330f69c780baeea8927ca379ca491ac0143f/md/images/goaccess/9.png -------------------------------------------------------------------------------- /md/images/linux-iftop.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceteams/linux/d333330f69c780baeea8927ca379ca491ac0143f/md/images/linux-iftop.png -------------------------------------------------------------------------------- /md/images/speedtesti/speedtesti.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/opensourceteams/linux/d333330f69c780baeea8927ca379ca491ac0143f/md/images/speedtesti/speedtesti.png -------------------------------------------------------------------------------- /md/java.md: -------------------------------------------------------------------------------- 1 | # Linux 杀掉指定端口号的java进程 2 | - 杀掉端口号为 9999 的java程序 3 | ```aidl 4 | kill -9 ` netstat -nlp | grep :9999 | awk '{print $7}' | awk -F"/" '{ print $1 }' ` 5 | ``` -------------------------------------------------------------------------------- /md/linux-compression.md: -------------------------------------------------------------------------------- 1 | # linux压缩和解压缩命令 2 | 3 | 4 | ### tar 5 | - 解包 6 | ```aidl 7 | tar zxvf FileName.tar 8 | ``` 9 | - 打包： 10 | ``` 11 | tar czvf FileName.tar DirName 12 | ``` 13 | 14 | 15 | ### gz命令 16 | - 解压1 17 | ```aidl 18 | gunzip FileName.gz 19 | ``` 20 | 21 | - 解压2 22 | ```aidl 23 | gzip -d FileName.gz 24 | ``` 25 | 26 | - 压缩 27 | ```aidl 28 | 29 | gzip FileName 30 | ``` 31 | 32 | - .tar.gz 和 .tgz 33 | 34 | -　　解压： 35 | ```aidl 36 | tar zxvf FileName.tar.gz 37 | 38 | ``` 39 | 40 | -　　压缩： 41 | ``` 42 | tar zcvf FileName.tar.gz DirName 43 | ``` 44 | 45 | - 压缩多个文件： 46 | ``` 47 | tar zcvf FileName.tar.gz DirName1 DirName2 DirName3 ... 48 | ``` 49 | 50 | ### bz2命令 51 | 52 | - 解压1： 53 | ``` 54 | bzip2 -d FileName.bz2 55 | ``` 56 | 57 | - 解压2： 58 | ``` 59 | bunzip2 FileName.bz2 60 | ``` 61 | 62 | - 压缩： 63 | ``` 64 | bzip2 -z FileName 65 | ``` 66 | 67 | - .tar.bz2 68 | 69 | - 解压： 70 | ``` 71 | tar jxvf FileName.tar.bz2 72 | ``` 73 | 74 | - 压缩： 75 | ``` 76 | tar jcvf FileName.tar.bz2 DirName 77 | ``` 78 | 79 | ### bz命令 80 | 81 | - 解压1： 82 | ``` 83 | bzip2 -d FileName.bz 84 | ``` 85 | 86 | - 解压2： 87 | ``` 88 | bunzip2 FileName.bz 89 | ``` 90 | 91 | 　　压缩：未知 92 | 93 | - .tar.bz 94 | 95 | 　　解压： 96 | ``` 97 | tar jxvf FileName.tar.bz 98 | ``` 99 | 100 | ### Z命令 101 | 102 | - 解压： 103 | ``` 104 | uncompress FileName.Z 105 | ``` 106 | 107 | - 压缩： 108 | ```compress FileName 109 | ``` 110 | 111 | - .tar.Z 112 | 113 | - 解压： 114 | ``` 115 | tar Zxvf FileName.tar.Z 116 | ``` 117 | 118 | - 压缩： 119 | ``` 120 | tar Zcvf FileName.tar.Z DirName 121 | ``` 122 | 123 | ### zip命令 124 | 125 | - 解压： 126 | ``` 127 | unzip FileName.zip 128 | ``` 129 | 130 | - 压缩： 131 | ``` 132 | zip -r FileName.zip DirName 133 | ``` -------------------------------------------------------------------------------- /md/linux-iftop.md: -------------------------------------------------------------------------------- 1 | # iftop 命令(流量监控) 2 | 3 | - iftop命令 4 | ```aidl 5 | iftop 6 | ``` 7 | 8 | - 中间的<= =>这两个左右箭头，表示的是流量的方向。 9 | 10 | - TX：发送流量 11 | - RX：接收流量 12 | - TOTAL：总流量 13 | - Cumm：运行iftop到目前时间的总流量 14 | - peak：流量峰值 15 | - rates：分别表示过去 2s 10s 40s 的平均流量 16 | 17 | 18 | - https://github.com/opensourceteams/linux/blob/master/md/images/linux-iftop.png 19 | ![](https://github.com/opensourceteams/linux/blob/master/md/images/linux-iftop.png) 20 | 21 | -------------------------------------------------------------------------------- /md/linux-nmap.md: -------------------------------------------------------------------------------- 1 | # 查看远程服务器开放的端口号 2 | 3 | ### mac 安装nmap命令 4 | ```aidl 5 | brew install nmap 6 | ``` 7 | 8 | ### 查看远程服务端开放了哪些端口 9 | ```aidl 10 | nmap b0.com 11 | Starting Nmap 7.70 ( https://nmap.org ) at 2019-05-01 19:09 CST 12 | Nmap scan report for b0.com (106.13.139.60) 13 | Host is up (0.11s latency). 14 | Not shown: 995 filtered ports 15 | PORT STATE SERVICE 16 | 22/tcp open ssh 17 | 80/tcp open http 18 | 443/tcp open https 19 | 3306/tcp open mysql 20 | 8080/tcp open http-proxy 21 | 22 | ``` -------------------------------------------------------------------------------- /md/nginx-log.md: -------------------------------------------------------------------------------- 1 | # nginx 日志分析 2 | - https://www.cnblogs.com/gouge/p/7089939.html 3 | 4 | 5 | 6 | ## 常用 7 | 8 | ### 统计某天的IP个数 9 | ```aidl 10 | grep $(date +%d/%b/%Y) /usr/local/nginx/logs/access.log | awk '{print $1}' | sort -n | uniq | wc -l 11 | ``` 12 | 13 | 14 | ### 统计某天的PV(总访问次数) 15 | ```aidl 16 | grep $(date +%d/%b/%Y) /usr/local/nginx/logs/access.log | wc -l 17 | ``` 18 | 19 | 20 | ### 统计某天的IP访问次数 21 | ```aidl 22 | grep $(date +%d/%b/%Y) /usr/local/nginx/logs/access.log | awk '{print $1}' | sort -n |uniq -c | sort -rn | head -n 100 23 | ``` 24 | 25 | ### 统计某天访问量最多的前100个页面 26 | ```aidl 27 | grep $(date +%d/%b/%Y) /usr/local/nginx/logs/access.log | awk '{print $7}' | sort |uniq -c | sort -rn | head -n 100 28 | ``` 29 | 30 | - 排除 js css 31 | ```aidl 32 | grep $(date +%d/%b/%Y) /usr/local/nginx/logs/access.log | grep -v '.js\|.css' | awk '{print $7}' | sort |uniq -c | sort -rn | head -n 100 33 | 34 | grep $(date +%d/%b/%Y) /usr/local/nginx/logs/access.log | grep -v '.js\|.css\|.jpg\|.ico\|.png' | awk '{print $7}' | sort |uniq -c | sort -rn | head -n 50 35 | 36 | grep $(date +%d/%b/%Y) /usr/local/nginx/logs/access.log | grep -v '.js\|.css\|.jpg\|.ico\|.png' | awk '{print $7}' | awk -F '[?]' '{print $1}' | sort |uniq -c | sort -rn | head -n 1000 37 | 38 | #昨天 39 | grep $(date -d "1 day ago" +%d/%b/%Y) /usr/local/nginx/logs/access.log | grep -v '.js\|.css\|.jpg\|.ico\|.png' | awk '{print $7}' | awk -F '[?]' '{print $1}' | sort |uniq -c | sort -rn | head -n 1000 40 | 41 | ``` 42 | 43 | - 查询某个IP的详细访问情况,按访问频率排序 44 | 45 | ```aidl 46 | grep '127.0.0.1' access.log |awk '{print $7}'|sort |uniq -c |sort -rn |head -n 100 47 | ``` 48 | 49 | 50 | ---------------------- 51 | 52 | 53 | ## IP相关统计 54 | - 统计IP访问量（独立ip访问数量） 55 | 56 | ```aidl 57 | awk '{print $1}' access.log | sort -n | uniq | wc -l 58 | 59 | ``` 60 | 61 | - 查看某一时间段的IP访问量(4-5点) 62 | 63 | ```aidl 64 | grep "07/Apr/2017:0[4-5]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l 65 | ``` 66 | 67 | - 查看访问最频繁的前100个IP 68 | 69 | ```aidl 70 | awk '{print $1}' access.log | sort -n |uniq -c | sort -rn | head -n 100 71 | ``` 72 | 73 | - 查看访问100次以上的IP 74 | 75 | ```aidl 76 | awk '{print $1}' access.log | sort -n |uniq -c |awk '{if($1 >100) print $0}'|sort -rn 77 | ``` 78 | 79 | - 查询某个IP的详细访问情况,按访问频率排序 80 | 81 | ```aidl 82 | grep '127.0.0.1' access.log |awk '{print $7}'|sort |uniq -c |sort -rn |head -n 100 83 | ``` 84 | 85 | 86 | ### 页面访问统计 87 | - 查看访问最频的页面(TOP100) 88 | 89 | 90 | ```aidl 91 | awk '{print $7}' access.log | sort |uniq -c | sort -rn | head -n 100 92 | ``` 93 | 94 | - 查看访问最频的页面([排除php页面】(TOP100) 95 | 96 | ```aidl 97 | grep -v ".php" access.log | awk '{print $7}' | sort |uniq -c | sort -rn | head -n 100 98 | ``` 99 | 100 | - 查看页面访问次数超过100次的页面 101 | 102 | ```aidl 103 | cat access.log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less 104 | ``` 105 | 106 | - 查看最近1000条记录，访问量最高的页面 107 | 108 | ```aidl 109 | tail -1000 access.log |awk '{print $7}'|sort|uniq -c|sort -nr|less 110 | ``` 111 | 112 | - 每秒请求量统计 113 | - 统计每秒的请求数,top100的时间点(精确到秒) 114 | 115 | ```aidl 116 | awk '{print $4}' access.log |cut -c 14-21|sort|uniq -c|sort -nr|head -n 100 117 | ``` 118 | 119 | ### 每分钟请求量统计 120 | - 统计每分钟的请求数,top100的时间点(精确到分钟) 121 | 122 | ```aidl 123 | awk '{print $4}' access.log |cut -c 14-18|sort|uniq -c|sort -nr|head -n 100 124 | ``` 125 | 126 | - 每小时请求量统计 127 | - 统计每小时的请求数,top100的时间点(精确到小时) 128 | 129 | ```aidl 130 | awk '{print $4}' access.log |cut -c 14-15|sort|uniq -c|sort -nr|head -n 100 131 | ``` 132 | 133 | 性能分析 134 | 在nginx log中最后一个字段加入$request_time 135 | 136 | - 列出传输时间超过 3 秒的页面，显示前20条 137 | 138 | ```aidl 139 | cat access.log|awk '($NF > 3){print $7}'|sort -n|uniq -c|sort -nr|head -20 140 | ``` 141 | 142 | - 列出php页面请求时间超过3秒的页面，并统计其出现的次数，显示前100条 143 | ```aidl 144 | cat access.log|awk '($NF > 1 && $7~/\.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100 145 | ``` 146 | 147 | 蜘蛛抓取统计 148 | - 统计蜘蛛抓取次数 149 | ```aidl 150 | grep 'Baiduspider' access.log |wc -l 151 | ``` 152 | 153 | - 统计蜘蛛抓取404的次数 154 | ```aidl 155 | grep 'Baiduspider' access.log |grep '404' | wc -l 156 | ``` 157 | 158 | TCP连接统计 159 | - 查看当前TCP连接数 160 | ```aidl 161 | netstat -tan | grep "ESTABLISHED" | grep ":80" | wc -l 162 | ``` 163 | 164 | - 用tcpdump嗅探80端口的访问看看谁最高 165 | 166 | ```aidl 167 | 168 | tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -nr 169 | 170 | ``` 171 | 172 | --------------------------------------------------------------------------------