历史数据库的设计与实现

摘 要： 针对Wonderware平台自带的历史数据服务无法满足大量历史数据同时存储的问题，对该平台的历史数据服务进行了研究和分析，在保证Wonderware平台存储历史数据的正确性、及时性和完整性的前提下，结合Wonderware平台与.NET能够兼容的特性，设计了一种新的历史数据存储方法，使用C#语言完成了基于.NET的自定义历史数据库的开发并投入实际使用，运行效果良好。

0 引言

美国Wonderware公司创建于1987年4月，致力于开发基于IBM PC及其兼容计算机的、应用于工业及过程自动化领域的人机界面（HMI）软件，是一家领先的工业自动化与信息软件解决方案供应商[1]。Wonderware平台是美国Wonderware公司为适应严格的实时工业环境而开发的产品，其提供了一个工业化的应用服务、一个强大的历史数据库服务、一个易于使用的信息服务、以及无与伦比的连通性[2]。但是在实际使用过程中发现，当历史数据的数据量多到一定程度时，该平台自带的历史数据库服务无法满足同时存储这些数据的要求，历史服务器的日志中会出现告警和错误。针对该问题，本文深入研究了Wonderware平台收集历史数据的体系结构，摒弃了平台自带的历史数据库服务，并在此基础上研发了一种新的历史数据库，保证了在数据量巨大的情况下历史数据仍然能够正常进行存储。

1 历史数据存储体系结构

1.1 Wonderware平台配置历史数据库服务

在Wonderware平台的IDE中可以实现对整个平台服务的配置，在Platfrom级别和Engine级别的对象下包含历史数据服务的配置[3]。如图1所示，选中“Enable Storage To Historian”后，就开启了历史数据服务功能，经过正确配置后就可将该引擎下所有的历史数据存入历史服务器。

通过图1中的几个关键配置项，可以实现历史数据的存储。其中Historian用来配置历史数据服务器名称，Storeforward deletion threshold用来配置存储转发数据块的删除临界值，Storeforward minimum duration用来配置存储转发最小间隔，Forwarding chunk size用来配置转发数据块大小。通过这些配置可以发现，Wonderware自带历史数据服务的关键是通过存储转发完成历史数据的存储，即通过简洁的界面配置就可在系统各平台内进行历史数据存储。但是，在实际运行中发现，当Wonderware平台接入的数据点非常多时，历史数据服务存在低概率出现错误的可能性，会影响系统的正常使用。

1.2 自定义历史数据库的数据存储结构

数据库连接是一种关键的、有限的昂贵资源，建立一个数据库连接需要消耗大量系统资源，频繁地创建数据库连接会大大削弱应用性能，所以在自定义的历史数据库中，如何尽可能减少数据库的连接是关键所在。通过研究Wonderware平台自带的历史数据服务可以发现，历史数据通过存储转发策略进行存库。同样，在自定义历史数据库中也采用这种存储转发的策略，使用ADO.NET技术，将系统接收的数据连续存入中转文件[4]，然后再将中转文件内容复制到历史数据库，每一个中转文件一旦被成功读取并将数据存储到数据库后就被删除，这样就在极大程度上节省了宝贵的数据库资源，降低了系统负载，杜绝历史数据存库的失败。本文中，在遥测对象中增加脚本程序，使用接口函数接收数据，对数据进行周期性和突发性地存储，然后将数据存入本地文件。在引擎中增加脚本程序，使用接口函数获取本地文件，将本地文件周期性存入历史数据库，然后删除已经被读取过的文件。流程如图2。

2 自定义历史数据库的设计

Wonderware平台以开发工具包的形式扩展了Microsoft Visual Studio.NET，并且在脚本中支持绝大部分 .NET函数。但是由于在脚本中进行代码编辑不方便，并且有些函数和类库使用起来不如在.NET中简单，所以此处采用编写外部函数库的方法，使用C#语言完成自定义函数库的开发。数据库平台选用SQL Server。

2.1 将历史数据存入中转文件

历史数据分为周期性存储和突发性存储，定义周期性存储间隔为5 s，当历史数据发生突变并且变化范围超过阈值时，进行突发性存储。在每一个对象的Function Script中获取数据后，将数据用“，”分隔，拼接成string类型的字符串，先放在动态数组里。动态数组是C#提供的一种优秀的数据结构，可以动态地分配存储空间，而不是像普通数组那样必须先定义好数组长度，所以使用List可以有效节省内存。

代码如下：

string combinedata=time+“，”+name+“，”+value+“，”+quality；

public static List<string> Liststr=new List<string>；

Liststr.Add（combinedata）；

中转文件可以采用多种格式，此处采用TXT文件，按照存储周期为1 min将数组存入TXT文件。TXT文件被特定的命名格式（如“站名-点名-时间精确到分”）存放在D盘的名为“Data”的文件夹下。代码如下：

string Path="D：\\中转文件\\Engine_"+EngineName+"_当前时间"+"（"+DateTime.Now.ToString（"yyyyMMdd_HHmm"）+"）.txt"；//时间精确到分钟

2.2 将中转文件数据存入数据库

如果是用readline方法来逐行读取TXT中的数据无疑是最容易被想到的办法，但是这样会大大降低数据存储速度，并且会持续性占用大量数据库连接资源。所以需要一种更加优化的方法来进行数据的存储。

利用ADO.NET中的Datatable技术和SqlBulkCopy类，将TXT文本文件中的数据存储到数据表中，然后将数据表中的数据复制到数据库中。虽然使用SqlBulkCopy类只能向SQL Server表写入数据，但数据源不限于SQL Server，可以使用任何数据源，只要数据可加载到DataTable实例或可使用IDataReader实例读取数据即可[5]。此方法可以大量节省数据库资源，是一种高效的处理方式。

创建DataTable实例：

DataTable dt=new DataTable；

dt.Columns.Add（new DataColumn（"时间"））；

dt.Columns.Add（new DataColumn（"名称"））；

dt.Columns.Add（new DataColumn（"数据"））；

dt.Columns.Add（new DataColumn（"质量"））；

…

SqlBulkCopy将DataTable复制到数据库中：

System.Data.SqlClient.SqlBulkCopy sbc=new

System.Data.SqlClient.SqlBulkCopy（SQL

ConnectionString）；

{

…

sbc.BulkCopyTimeout=5000；

sbc.BatchSize=dt.Rows.Count；

sbc.DestinationTableName="中转文件"；

sbc.WriteToServer（dt）；

…

}

3 结束语

使用C#语言设计的基于.NET平台的历史数据库具有存储速度快、占用资源少、保证数据完整性的优点，与Wonderware自带的历史数据库服务相比具有更优良的海量数据存储性能。目前该数据库已经应用到远动监控系统中，运行效果良好。

参考文献

[1] Invensys Systems， Inc. Alarm toolkit guide[R]. UK： Invensys Systems， Inc， 2009.

[2] Invensys Systems， Inc. IT alarms and events[R]. UK： Inven sys Systems， Inc， 2009.

[3] Anon. Wonderware[EB/OL]. （2013-12-19）[2015-05-10]. http：//www.baike.baidu.com.

[4] NAGEL C.Professional C#4 and .NET 4[M].李铭，译.北京：清华大学出版社，2010.

[5] 张奇，李律松，卫建伟，等.Visual C#数据库项目案例导航[M].北京：清华大学出版社，2005.