2 | 🚀 A Lightweight and High-Performance Network Traffic Analyzer built with Go 3 |
4 | 5 | 6 | --- 7 | 8 | ### 项目简介 9 | 10 | go-flow 是一款轻量级、高性能的网络流量分析工具，基于 Go 语言开发，结合高效的数据处理和低资源占用，适用于边缘计算节点到高吞吐数据中心的多种场景。 11 | 12 | --- 13 | 14 | ### 核心功能 15 | 16 | - 滑动窗口分析：实时统计指定时间窗口内的 IP、端口和协议流量，支持 Top-N 排序，便于快速定位流量热点。 17 | - 异常检测与告警：自动检测大流量、高频请求等异常行为，提供灵活的告警配置。 18 | - Kafka 数据流输出：支持将分析结果异步推送至 Kafka，无缝集成 ELK Stack、Grafana 等可视化平台。 19 | 20 | --- 21 | 22 | ### 安装与使用 23 | 24 | #### 下载 release 包 25 | 26 | 前往 [Releases](https://github.com/xxddpac/go-flow/releases) 下载最新版本压缩文件。 27 | 28 | #### 编辑配置文件 29 | 30 | ```toml 31 | Eth = "eth0" # 监听的网卡名 32 | ``` 33 | #### 启动服务 34 | ``` 35 | chmod +x go-flow 36 | ./go-flow -c config.toml 37 | ``` 38 | #### WEB访问 39 | ``` 40 | http://server_ip:31415 41 | ``` 42 | --- 43 | 44 | ### ScreenShot 45 | 46 |  47 | 48 | --- 49 | 50 | ### 源码编译 51 | 52 | ``` 53 | git clone https://github.com/xxddpac/go-flow.git 54 | cd go-flow 55 | make build 56 | ``` 57 | --- 58 | 59 | ### 部署与性能常见问题 60 | 61 | #### Q: 对主机资源占用情况如何？ 62 | 63 | A: `go-flow` 使用了如下优化设计以降低资源占用： 64 | 65 | - 高效数据结构：采用堆排序和滑动窗口机制，高效完成流量聚合。 66 | 67 | - 协程池管理：动态调度 Goroutine，避免资源泄漏。 68 | 69 | - 内存缓存：减少重复计算，提升处理效率。 70 | 71 | #### Q: 能支持多大的网络流量？性能如何？ 72 | 73 | A: `go-flow` 使用 Linux 原生的 `AF_PACKET` 零拷贝技术，在内核态完成数据捕获和复制，数据通过共享内存直达用户态： 74 | - 性能上限：理论支持网卡带宽的最大吞吐量。 75 | - 高可靠性：内核态零拷贝确保数据捕获无丢失。 76 | 77 | 在实测网络环境中（4Gbps 带宽、约2万终端），go-flow 运行稳定，未发现丢包。 78 | 79 | > ⚠️ **注意** 80 | > 虽然内核采集是零拷贝高性能的，但在用户态中程序仍需处理流量聚合、滑动窗口维护、堆排序等操作，尤其是在超高并发流量下，如果用户空间处理速度跟不上，仍有概率导致丢包。 81 | > 82 | > 可通过以下方式优化： 83 | > - 增加协程池容量（`config.toml` 中的 `Workers` 参数） 84 | > - 调整生产者通道缓冲区（`config.toml` 中的 `PacketChan` 参数） 85 | > - 延迟缓存更新频率（`config.toml` 中的 `Interval` 参数） 86 | > - 使用 pprof 分析热点函数，默认监听端口`31414`，访问 `http://server_ip:31414/debug/pprof/` 查看性能分析数据 87 | 88 | 另外通过日志可观察丢包情况，默认日志路径`/var/log/go_flow.log` 89 | 90 | #### Q:为什么选择 AF_PACKET 而非 eBPF？ 91 | 92 | A: 相较于 `eBPF`，`go-flow` 选择使用 `AF_PACKET` 的原因主要有以下几点： 93 | 94 | - 开发效率：`AF_PACKET` 是 `Linux` 原生抓包接口，配合 `TPACKETv3` 实现零拷贝，无需开发复杂的 `eBPF` 程序，调试更高效。 95 | - 广泛兼容性：支持大多数 `Linux` 系统，无需特定内核版本或额外模块，部署简单可靠。 96 | 97 | #### Q: 为什么最新版只提供了 Linux 版本？ 98 | 99 | A: `go-flow` 使用的核心采集机制是 `AF_PACKET`，这是 `Linux` 内核特有的高性能网络捕获机制，不支持 `Windows` 平台。 100 | 如需在 `Windows` 上体验功能，可下载 `v1.2.1` 版本中的 `go_flow_windows.zip`，该版本基于 `libpcap` 构建。 -------------------------------------------------------------------------------- /utils/utils.go: -------------------------------------------------------------------------------- 1 | package utils 2 | 3 | import ( 4 | "context" 5 | "fmt" 6 | "github.com/shirou/gopsutil/v3/cpu" 7 | "github.com/shirou/gopsutil/v3/mem" 8 | "net" 9 | "strings" 10 | "time" 11 | ) 12 | 13 | const ( 14 | TimeLayout = "2006-01-02 15:04:05" 15 | BroadcastAddress = "255.255.255.255" 16 | ) 17 | 18 | var ( 19 | Ctx context.Context 20 | Cancel context.CancelFunc 21 | LocalIpAddr string 22 | ) 23 | 24 | func init() { 25 | Ctx, Cancel = context.WithCancel(context.Background()) 26 | LocalIpAddr = GetLocalIp() 27 | } 28 | 29 | func GetTimeRangeString(minutes int) string { 30 | now := time.Now() 31 | start := now.Add(-time.Duration(minutes * int(time.Minute))) 32 | return fmt.Sprintf("%s - %s", 33 | start.Format("2006-01-02 15:04:05"), 34 | now.Format("2006-01-02 15:04:05")) 35 | } 36 | 37 | func IsValidIP(ip string) bool { 38 | parsedIP := net.ParseIP(ip) 39 | if parsedIP == nil { 40 | return false 41 | } 42 | if parsedIP.IsLoopback() || parsedIP.IsUnspecified() { 43 | return false 44 | } 45 | if parsedIP.IsMulticast() { 46 | return false 47 | } 48 | if ip == BroadcastAddress { 49 | return false 50 | } 51 | if strings.HasPrefix(ip, "169.254.") { 52 | return false 53 | } 54 | return true 55 | } 56 | 57 | func GetLocalIp() string { 58 | var ( 59 | err error 60 | localIpAddr string 61 | ifs []net.Interface 62 | as []net.Addr 63 | ) 64 | if localIpAddr != "" { 65 | return localIpAddr 66 | } 67 | ifs, err = net.Interfaces() 68 | if err != nil { 69 | return "Unknown" 70 | } 71 | for _, i := range ifs { 72 | if i.Flags&net.FlagUp == 0 { 73 | continue 74 | } 75 | if i.Flags&net.FlagLoopback != 0 { 76 | continue 77 | } 78 | as, err = i.Addrs() 79 | if err != nil { 80 | return "Unknown" 81 | } 82 | for _, addr := range as { 83 | var ip net.IP 84 | switch v := addr.(type) { 85 | case *net.IPNet: 86 | ip = v.IP 87 | case *net.IPAddr: 88 | ip = v.IP 89 | } 90 | if ip == nil || ip.IsLoopback() { 91 | continue 92 | } 93 | ip = ip.To4() 94 | 95 | if ip == nil { 96 | continue 97 | } 98 | localIpAddr = ip.String() 99 | return localIpAddr 100 | } 101 | } 102 | return "Unknown" 103 | } 104 | 105 | func GetCpuUsage() string { 106 | percent, _ := cpu.Percent(time.Second, false) 107 | if len(percent) > 0 { 108 | return fmt.Sprintf("%.2f%%", percent[0]) 109 | } 110 | return "Unknown" 111 | } 112 | 113 | func GetMemUsage() string { 114 | v, _ := mem.VirtualMemory() 115 | if v != nil { 116 | return fmt.Sprintf("%.2f%%", v.UsedPercent) 117 | } 118 | return "Unknown" 119 | } 120 | -------------------------------------------------------------------------------- /notify/mail.go: -------------------------------------------------------------------------------- 1 | package notify 2 | 3 | import ( 4 | "bytes" 5 | "crypto/tls" 6 | "fmt" 7 | "go-flow/conf" 8 | "gopkg.in/gomail.v2" 9 | "text/template" 10 | ) 11 | 12 | const MailTemplate = ` 13 | 14 | 15 | 16 | 17 | 18 |告警时间：{{.Timestamp}}
26 | {{end}} 27 | {{if .Location}} 28 |所属位置：{{.Location}}
29 | {{end}} 30 | {{if .TimeRange}} 31 |滑动窗口：{{.TimeRange}}
32 | {{end}} 33 | {{if .BandwidthS}} 34 || # | 38 |异常IP | 39 |使用流量 | 40 |
|---|---|---|
| {{add $index 1}} | 46 |{{$alert.IP}} | 47 |{{$alert.Bandwidth}} | 48 |
| # | 58 |描述 | 59 |
|---|---|
| {{add $index 1}} | 65 |{{$alert.Desc}} | 66 |