|
支持的操作系统
- Microsoft Windows 7/Vista/XP/2000/2003/2008
- Apple MacOS X 10.4/10.5/10.6
- Linux (SUSE Linux Enterprise Server 10)
- Linux (glib2.5/libstdc++3.4.8; e.g.,RedHat ES/AS 5,CentOS 5)
- Linux (glib2.3/libstdc++3.4.3; e.g.,RedHat ES/AS 4,CentOS 4)
- Linux (glib2.3/libstdc++3.2.2; e.g.,RedHat 9,FC1/2/3,ES/AS 1/2/3)
- Sun Solaris 10 (Intel)
- Sun Solaris 8/9/10 (SPARC)
- FreeBSD 6
- Source code (已加密,可供自行编译于特殊平台之用)
支持的浏览器
- Firefox 2或3以上版本
- Internet Explorer 7以上版本(IE6不支持部份Java Script)
- Chrome (少部份弹出页面之选项功能有问题,但显示效能最佳)
- Safari 3
硬件建议表
|
Sawmill
|
数据库
|
设定
|
平台
|
CPU
|
频率
|
RAM
|
磁盘组态
|
|
企业版
|
Internal
|
建议
|
x64
|
Quad Core Xeon x 2
|
3GHz
|
16GB
|
RAID 0+1
|
|
最小
|
x64
|
Quad Core Xeon
|
3GHz
|
8GB
|
RAID 0+1
|
|
External
|
建议
|
x64
|
Quad Core Xeon
|
3GHz
|
8GB
|
RAID 1
|
|
最小
|
x86
|
Quad Core Xeon
|
3GHz
|
4GB
|
RAID 1
|
|
专业版
|
Internal
|
建议
|
x64
|
Dual Core
|
1.5GHz
|
4GB
|
RAID 0+1
|
|
最小
|
x86
|
Pentium 4
|
2.8GHz
|
4GB
|
RAID 1
|
|
External
|
建议
|
x86
|
Dual Core
|
1.5GHz
|
4GB
|
RAID 0+1
|
|
最小
|
x86
|
Pentium 4
|
2.8GHz
|
2GB
|
RAID 1
|
- 使用Internal与External数据库的效能差异,在于数据库动作(index,xref)的负载位置。
- 单一核心配置2GB RAM可避免Out of memory情形。
- 不建议采用效能表现不佳的RAID 5。
- 以上建议值适用于大多数日志环境;但在日志量极大、来源极多、数据库保留天数极长的情形下,需评估调整硬件规格,以及各项最佳化作业(数据来源、软硬件参数、配置等)。
档案系统
档案系统需视RAID Controller Stripe size调校,以避免档案系统Block Size与RAID控制器搭配不宜而导致磁盘效能低落。
例如:
RAID Controller Stripe size = 128KB
档案系统在格式化时,需指定Block Size为最接近128KB的可除尽数。 - Windows NTFS预设为4KB,最大为64KB,应设定为64KB以使I/O量降低。 - Linux可在建立档案系统时指定参数 -E stride=128,以及可视磁盘数量(此例为两颗)调整的参数 stripe-width=256。
效能确认清单
Sawmill整体运作时可分为三段作业,其间使用资源情形略有不同。
- 读取日志 – 读取日志同时也进行日志分割与建立数据库表要表格,此时CPU负载最高。
- 建立数据库索引 – 建立索引时由于数据库的大量动作,磁盘负载最高。
- 建立交互关联表 – 建立交互关联表时由于参照大量数据,内存使用量最高,同时也有大量数据写入,磁盘负载亦高。
日志容量(磁盘容量)
原始日志与分析后的数据库各占有磁盘空间。
原始日志 – 依日志保留天数,取七日或四周之一日平均值(已压缩),乘以日志保留天数。 例如: 原始日志需保留3年,共1095日。平均一天原始日志容量(已压缩)为100MB。
磁盘保留空间为: 100MB x 1095 = 109.5GB
数据库 – 视数据库保留天数,取原始日志一日平均值(未压缩)之4倍,乘以保留天数。
例如: 数据库需保留90天,平均一天原始日志容量(未压缩)为2GB。
磁盘保留空间为: 2GB x 4 x 90 = 720GB
日志格式
许多日志格式具有不少保留未用的字段,将其移除后,可节省大量处理时间,也能减少大量数据库占用空间。例如未具备防毒模块的防火墙,可将病毒相关字段全数移除。
CPU效能
CPU直接影响日志处理速度,目前主流服务器大多已非效能瓶颈。CPU频率决定每秒能处理多少行日志,CPU数量则决定能同时执行多少执行绪。两者相乘可得最高处理行数,即为最高EPS(Event per Second)值;再加上数据库索引以及交互关联表的建立时间,则可得平均EPS。由于每次读入的数据,以及现有数据库的大小都不一样,故每一次执行日志处理时,EPS值并非固定不变的。故要以EPS值来评估每日能处理多少日志量并不容易,皆需要进行实测,或以现有数据进行评估。但在日志来源、现有数据库大小相同情形下,可作为硬件平台的效能参考值。
内存
内存永远不嫌多是不变的道理。不过Sawmill 储存大部份数据于磁盘,而非内存,所以内存的使用量一般来说不会很高 (前版 Sawmill 大量使用内存,而现在的版本很节省内存). 然而 Sawmill 会将储存部份信息于内存,用于快取以增加效能,如果必要,这些快取可以降低以减少内存用量,尤其是快取大小清单,以及可使用最大的缓冲存储器选项,可以设定较低的数值,以减少内存用量。
如果执行中仍会遇到记忆错误,请确认使用的是64位操作系统平台,这可解除 2GB 内存限制,在必要的情况下,允许Sawmill使用更多内存空间。一般的数据量情况下,每个处理器核心不常达到1GB内存用量,所以每个核心配置2GB内存通常足够。但如果您在每个核心配置2GB内存的环境中,仍会遇到内存不足的情形,就必须升级到64位操作系统。
另一个选择是使用外部数据库服务器,由于Sawmill的内存使用量大部份是在操作内建的数据库时,故当Sawmill执行在配置较少量内存的主机时,而数据库服务器(MySQL,Oracle,or Microsoft SQL Server)执行在拥有较多资源的环境中,指定使用外部数据库服务器时,内存的用量及管理就交给外部的数据库服务器了。
网络
Sawmill在接收日志、透过网页管理,以及使用外部数据库时需要网络连接,网络的频宽大小决定了接收日志及外部数据库的速度。建议以Gigabit Ethernet连接,以避免syslog遗失,或是数据库写入延迟所造成的任何不稳定现象。
磁盘I/O效能
由于CPU效能与核心数量愈来愈快又多,内存频宽也成倍地成长,但硬盘的效能仍无法有突破性的成长,故近来经常遇到EPS值极高,但数据库却屡屡建立失败的案例。造成磁盘写入/读取失败的原因很多,其关键点在于IOPS(I/O Operation / Second)值。RAID/Disk控制器能承受的IOPS值愈高,数据吞吐量就能愈高,以现有处理器能力,以及大量日志数据的情形下,最好能有500 IOPS以上的效能,才不致经常发生数据读写失败的情形。
提高IOPS值的方式的主要方式是增加同时读写的磁头,也就是增加磁盘数量,一般在需有数据备援的要求下,均使用RAID 0+1的组态,藉RAID 1 Mirror功能达成数据备援,同时具有RAID 0多磁盘同时写入,提升读写速度及承受能力。
|