Home 支持 Sawmill系统需求
Sawmill系统需求
Sawmill系統需求 PDF 打印 E-mail
作者:Benson Chung   
2010-09-03 15:55

支持的操作系统

  1. Microsoft Windows 7/Vista/XP/2000/2003/2008
  2. Apple MacOS X 10.4/10.5/10.6
  3. Linux (SUSE Linux Enterprise Server 10)
  4. Linux (glib2.5/libstdc++3.4.8; e.g.,RedHat ES/AS 5,CentOS 5)
  5. Linux (glib2.3/libstdc++3.4.3; e.g.,RedHat ES/AS 4,CentOS 4)
  6. Linux (glib2.3/libstdc++3.2.2; e.g.,RedHat 9,FC1/2/3,ES/AS 1/2/3)
  7. Sun Solaris 10 (Intel)
  8. Sun Solaris 8/9/10 (SPARC)
  9. FreeBSD 6
  10. Source code (已加密,可供自行编译于特殊平台之用)

 

支持的浏览器 

  1. Firefox 2或3以上版本
  2. Internet Explorer 7以上版本(IE6不支持部份Java Script)
  3. Chrome (少部份弹出页面之选项功能有问题,但显示效能最佳)
  4. Safari 3

 

硬件建议表 

Sawmill 

数据库 

设定 

平台 

CPU

频率

RAM

磁盘组态

企业版

Internal

建议

x64

Quad Core Xeon x 2

3GHz

16GB

RAID 0+1

最小

x64

Quad Core Xeon

3GHz

8GB

RAID 0+1

External

建议

x64

Quad Core Xeon

3GHz

8GB

RAID 1

最小

x86

Quad Core Xeon

3GHz

4GB

RAID 1

专业版

Internal

建议

x64

Dual Core

1.5GHz

4GB

RAID 0+1

最小

x86

Pentium 4

2.8GHz

4GB

RAID 1

External

建议

x86

Dual Core

1.5GHz

4GB

RAID 0+1

最小

x86

Pentium 4

2.8GHz

2GB

RAID 1

  1. 使用Internal与External数据库的效能差异,在于数据库动作(index,xref)的负载位置。
  2. 单一核心配置2GB RAM可避免Out of memory情形。
  3. 不建议采用效能表现不佳的RAID 5。
  4. 以上建议值适用于大多数日志环境;但在日志量极大、来源极多、数据库保留天数极长的情形下,需评估调整硬件规格,以及各项最佳化作业(数据来源、软硬件参数、配置等)。

 

档案系统

档案系统需视RAID Controller Stripe size调校,以避免档案系统Block Size与RAID控制器搭配不宜而导致磁盘效能低落。

 

例如:

RAID Controller Stripe size = 128KB

档案系统在格式化时,需指定Block Size为最接近128KB的可除尽数。
- Windows NTFS预设为4KB,最大为64KB,应设定为64KB以使I/O量降低。
- Linux可在建立档案系统时指定参数 -E stride=128,以及可视磁盘数量(此例为两颗)调整的参数 stripe-width=256。

 

效能确认清单

Sawmill整体运作时可分为三段作业,其间使用资源情形略有不同。

  1. 读取日志 – 读取日志同时也进行日志分割与建立数据库表要表格,此时CPU负载最高。
  2. 建立数据库索引 – 建立索引时由于数据库的大量动作,磁盘负载最高。
  3. 建立交互关联表 – 建立交互关联表时由于参照大量数据,内存使用量最高,同时也有大量数据写入,磁盘负载亦高。

 

日志容量(磁盘容量)

原始日志与分析后的数据库各占有磁盘空间。

原始日志 – 依日志保留天数,取七日或四周之一日平均值(已压缩),乘以日志保留天数。
例如: 原始日志需保留3年,共1095日。平均一天原始日志容量(已压缩)为100MB。

磁盘保留空间为: 100MB x 1095 = 109.5GB

数据库 – 视数据库保留天数,取原始日志一日平均值(未压缩)之4倍,乘以保留天数。

例如: 数据库需保留90天,平均一天原始日志容量(未压缩)为2GB。

磁盘保留空间为: 2GB x 4 x 90 = 720GB

 

日志格式

许多日志格式具有不少保留未用的字段,将其移除后,可节省大量处理时间,也能减少大量数据库占用空间。例如未具备防毒模块的防火墙,可将病毒相关字段全数移除。

 

CPU效能

CPU直接影响日志处理速度,目前主流服务器大多已非效能瓶颈。CPU频率决定每秒能处理多少行日志,CPU数量则决定能同时执行多少执行绪。两者相乘可得最高处理行数,即为最高EPS(Event per Second)值;再加上数据库索引以及交互关联表的建立时间,则可得平均EPS。由于每次读入的数据,以及现有数据库的大小都不一样,故每一次执行日志处理时,EPS值并非固定不变的。故要以EPS值来评估每日能处理多少日志量并不容易,皆需要进行实测,或以现有数据进行评估。但在日志来源、现有数据库大小相同情形下,可作为硬件平台的效能参考值。


内存

内存永远不嫌多是不变的道理。不过Sawmill 储存大部份数据于磁盘,而非内存,所以内存的使用量一般来说不会很高 (前版 Sawmill 大量使用内存,而现在的版本很节省内存). 然而 Sawmill 会将储存部份信息于内存,用于快取以增加效能,如果必要,这些快取可以降低以减少内存用量,尤其是快取大小清单,以及可使用最大的缓冲存储器选项,可以设定较低的数值,以减少内存用量。

 

如果执行中仍会遇到记忆错误,请确认使用的是64位操作系统平台,这可解除 2GB 内存限制,在必要的情况下,允许Sawmill使用更多内存空间。一般的数据量情况下,每个处理器核心不常达到1GB内存用量,所以每个核心配置2GB内存通常足够。但如果您在每个核心配置2GB内存的环境中,仍会遇到内存不足的情形,就必须升级到64位操作系统。

 

另一个选择是使用外部数据库服务器,由于Sawmill的内存使用量大部份是在操作内建的数据库时,故当Sawmill执行在配置较少量内存的主机时,而数据库服务器(MySQL,Oracle,or Microsoft SQL Server)执行在拥有较多资源的环境中,指定使用外部数据库服务器时,内存的用量及管理就交给外部的数据库服务器了。

 

网络

Sawmill在接收日志、透过网页管理,以及使用外部数据库时需要网络连接,网络的频宽大小决定了接收日志及外部数据库的速度。建议以Gigabit Ethernet连接,以避免syslog遗失,或是数据库写入延迟所造成的任何不稳定现象。

 

磁盘I/O效能

由于CPU效能与核心数量愈来愈快又多,内存频宽也成倍地成长,但硬盘的效能仍无法有突破性的成长,故近来经常遇到EPS值极高,但数据库却屡屡建立失败的案例。造成磁盘写入/读取失败的原因很多,其关键点在于IOPS(I/O Operation / Second)值。RAID/Disk控制器能承受的IOPS值愈高,数据吞吐量就能愈高,以现有处理器能力,以及大量日志数据的情形下,最好能有500 IOPS以上的效能,才不致经常发生数据读写失败的情形。

 

提高IOPS值的方式的主要方式是增加同时读写的磁头,也就是增加磁盘数量,一般在需有数据备援的要求下,均使用RAID 0+1的组态,藉RAID 1 Mirror功能达成数据备援,同时具有RAID 0多磁盘同时写入,提升读写速度及承受能力。