数据采集系统中的数据压缩算法设计

第６期（总第９９期）　机械管理开发　ＭＥＣＨＡＮＩＣＡＬ　ＭＡＮＡＧＥＭＥＮＴ　ＡＮＤ　ＤＥＶＥＬ０ＰＭＥＮＴ　２００７年ｌ２月　Ｄｅｃ．２００７　Ｎｏ．６（ＳＵＭ　Ｎｏ．９９）　数据采集系统中的数据压缩算法设计　娄华平　孙运强　姚爱琴　（中　学山西太原０３００５１）　【摘要】为了解决实时数据采集系统中的数据量大的问题，并根据该数据的特点，提出了一种在原半字节压缩算　法的基础上改进的压缩算法。将其运用到嵌入式系统中，可以解决采集的大存储数据量的问题．而且还可以提高远　距离数据传输率。　【关键词Ｊ数据压缩；嵌入式系统；半字节压缩　【中图分类号】ＴＰ３９２　【文献标识码】Ａ　【文章编号】　１００３—７７３Ｘ（２００７）０６—００８４—０３　０　引　言　据压缩必须结合具体的数据格式的特点，才能进一步　提高数据的压缩比。除此之外，目前的压缩程序的启动　执行必须人为干预，不能自动执行，因为它们是为文件　系统设计的，而嵌入式系统的数据压缩必须能够自动　执行。　２　系统原理　嵌入式ＣＰＵ系统的体积较小，由于自身条件的限　制，在开发嵌入式系统的软件产品时必须将软件所占　的存储空间在一定的范围内。本文所设计的嵌入　式系统主要是以嵌入式芯片Ｍ６１１７Ｄ芯片为核心。　Ｍ６１１７Ｄ是一种高度集成的、低电压的、集成有Ａｌｉ　Ｍ１２１７Ｂ芯片组的单片执行工具，同时与ｉｎｔｅｌ　３８６ＳＸ　微处理器相兼容。它在这个系统中主要完成的任务是：　该数据采集系统主要是由传感器部分，ＣＡＮ总线　部分，嵌入式系统部分和数传电台部分组成，见图１。由　传感器采集信号，再经过ＣＡＮ总线控制，通过嵌入式　系统，再通过ＲＳ２３２串行接口输出。其通信端口的数　（１）控制电台数据实时的数据传输；（２）控制数据的压　缩；（３）存储数据；（４）数据加密。在开发本系统数据　采集系统的过程中．利用数据压缩主要解决的问题是：　据格式应该设置为８个数据位、１个起始位和１个停　止位ｆ校验方式选为无奇偶校验１波特率设置为１９　２００　波特　１）希望减少为了分析所必须存储的大容量的采集数　据；２）实时的从提高远距离的数据传输速率。　１数据压缩简介［ｚｌ　数据压缩方法种类繁多，可以分为无损压缩和有　损压缩两大类。无损压缩利用数据的统计冗余进行压　缩，可完全恢复原始数据而不引入任何失真，但压缩率　受到数据统计冗余度的理论，一般为２：１—５：１。这　类方法广泛用于文本数据、程序和特殊应用场合的图　像数据（如指纹图像、医学图像等）的压缩。现在成熟的　无损压缩方法主要有哈夫曼编码、游程编码、预测编　图１数据采集系统原理图　３　改进型半字节压缩算法【２］【。】ｔｎｌ　文本数据的压缩所使用的都是无损压缩技术，即　还原后的文件应该与源文件完全相同。其压缩的方法　有很多种，如ＨＵＦＦＭＡＮ编码、算术编码和字典压缩　码、算术编码等。在智能数字监控系统中，为了能够有　效地得到历史数据的精确数值，绝大多数数据需要无　损压缩。有损压缩方法利用了允许压缩过程中损失一　方法等。它们都适用于文本数据的压缩。本设计中拟采　用半字节法来完成压缩及解压缩的任务，其原理是去　定的信息。虽然不能完全恢复原始数据，却换来了大得　多的压缩比。　除字节中的冗余位，从而达到压缩目的。然而，此法只　适用于纯数字文本文件的压缩，显然采集数据并不是　纯数字的，还必须在压缩前进行一下压缩改变，最后再　目前现成的压缩算法很多，但不能直接用于嵌入　式系统当中，这完全由嵌入式系统的特点所决定。首　利用半字节压缩算法完成数据的压缩。在数据压缩技　术中，除压缩重复字符外，还可以根据数据本身的特点　进行压缩。半字节压缩就是这样一种方法。半字节方法　先，用于嵌入式系统的数据压缩方法应是无损压缩方　法。其次，压缩代码和解码所需的信息代码必须足够　短，否则就会失去压缩的意义。还有，嵌入式系统的数　作者简介：娄华平，男，１９８１年生，中北大学在读硕士研究生。　・主要用于纯数字的文本文件的压缩．因为数字０—９的　８４・　维普资讯 http://www.cqvip.com 第６期（总第９９期）　机械管理开发　开　２００７年１２月　ＡＳＣＩＩ码的高四位都一样，是冗余的，因此每一个数字　完全可以用低四位描述，即每个字符的八位编码可压　缩为四位编码，压缩比理论上可趋近５０％（见表１）。　表１压缩数据编码表　数据所含的字符　０　１　２　３　４　５　６　７　～—二　兰堇Ｊ　　ＡＳＣＩＩ码　００１１００００　ＯＨ０１１０００１　００１　１００１０　００１１００１１　００１　１０１００　００１　１０１０１　００１１０１１０　００１１０１１１　四位二进制编码　００００　０００１　００１０　００１１　０１００　０１０１　０１１０　０１１１　数号字节吗？　羔±　奇数号　字节处理　Ｎ　弓享　字节合成　８　９　Ａ　００１１１０００　００１１１００１　０１０００００１　１０００　１００１　１０１０　Ｂ　Ｃ　Ｄ　Ｅ　０１００００１０　０１００００１　１　０１０００１　００　０１０００１０１　１０１１　１１００　１１０１　１１１０　一Ｎ　图２改进后的半字节压缩算法框图　４半字节压缩算法的实现＿３　ｌ实现半字节压缩算法程序的关键问题之一是利用　缓冲区将一个数字串中的每两个数字压缩到一个字节　Ｆ　０１０００１１０　１１１１　再者，数据采集的输出数据采用的是ＡＳＣＩＩ码，　里。显然要达到这个目的，应将每个数字的高四位去　掉，只保留了低四位。然后把它们放到一个字节中。使　以单点为例，数据为：Ｆ１　５Ｆ　１２　ＣＤ。包含的文本字符　有：“０～９”１０个数字符号，“Ａ”、“Ｂ”、“Ｃ”、“Ｄ”、“Ｅ”“Ｆ”　６个英文大写字母，共１６个符号。而四位二进制编码　刚好可区分１６种状态，则压缩数据编码表如表１所　示。由表２知，实现半字节压缩算法需要解决两个问　题：首先是压缩对象的计数；其次是如何把两个数字　的低位合并到一个字节中。后一个问题只要规定好压　用Ｃ语言中的位操作命令可以较容易的实现这个功　能。我们设ｃｈｌ、ｃｈ２和ｃｈ３是三个字符型变量，分别存　放数据流中的两个字符和压缩后的代码。ｓａｖｅｃｈ是存　—放数据流的缓冲区。ｃｕｎｔｅｒ是计数器，ｍａｓｋｌ是用来屏　蔽低四位的屏蔽字，其值为“１１１１００００”，ｍａｓｋ２是用来　屏蔽高四位的屏蔽宇，其值是“００００１１１１”。如下的程序　段完成了把两个数宇的低四位放人一个字节的工作：　ｃｈ１＝ｓａｖｅ缩后的字节中奇数号字符的四位编码与偶数号字符　的四位编码的存放次序即可，程序的实现非常简单，　在此我们规定编号是奇数的字符放在高四位，编号为　偶数的字符的编码放在低四位。半字节压缩中需要解　决的首要问题是压缩对象的计数问题，解决此问题的　方法有两种：一种是半字节计数器ｆＨａｌｆ—Ｂｙｔｅ　ｃｈ　ｃｏｕｎｔｅｒ］；　ｃｈｌ＝ｓａｖｅｅｈ［ｃｏｕｎｔｅｒ＋１］；　ｃｈｌ＝ｃｈ１＜＜４：　ｃｈｌ＝ｅｈｌ＆ｍａｓｋ１；　ｃｈ２＝ｅｈ２＆ｍａｓｋ２；　ｃｈ３＝ｃｈ　１　Ｉｃｈ２；　Ｃｏｕｎｔｅｒ），另一种是全字节计数器（Ｆｕｌｌ—Ｂｙｔｅ　Ｃｏｕｎｔｅｒ）　不管那一种方法，它们都要占用字节，再加上压缩标　识也要占用字节，所以要影响数据的压缩比。改进后　的半字节压缩算法完全解决了此问题，因为采集数据　的数据长度是固定的字节长，不是动态可变的．所以　５　结　论　信息时代使得嵌入式产品获得了巨大的发展机　遇，也为嵌入式市场展现了美好的前景，同时也对嵌入　式系统的开发者提出了新的挑战。嵌入式系统一般体　积较小，无存储量大的硬盘等设备，还要存储系统程序　和应用程序，因此，在开发嵌入式系统的软件产品时必　须将软件所占的存储空间在一定的范围内。嵌入　式系统的压缩是不需要人为干涉、而自动实时完成的．　不需要解决压缩对象的计数问题。压缩的半字节压缩　算法框图见图２。　表２半字节压缩格式　具体的实现方法是通过驻留内存ｆ单任务操作系统中．　如Ｄｏｓ）或作为一个后台任务（在多任务操作系统中，如　Ｗｉｎｄｏｗｓ中）对数据完成实时压缩或解压缩。具体的数　（下转第８７页）　・８５．　维普资讯 http://www.cqvip.com

第６期（总第９９期）　机械管理开发　２００７年１２月　（ＣｌＳ１）Ｐ（Ｓ１）＋Ｐ（Ｃｌ／Ｓ２）Ｐ（Ｓ２）：０．７ｘ０．６＋０．３ｘ０．４：　果１８４—１０：１７４万为　不开发　０．５４，同理求得Ｐ（Ｃ１）：０．１６、Ｐ（Ｃ３）＝０．３０；Ｐ（Ｓ１／Ｃ１）：　最大收益值。本问题　Ｐ（Ｃｌ／Ｓ１）Ｐ（Ｓ１）／Ｐ（Ｃ１）：０．７ｘ０．６／０．５４：Ｏ．７８，Ｐ（Ｓ２／Ｃ１）　的最优决策是：先勘　＝１一Ｐ（Ｓｌ／Ｃ１）：０．２２，同理求得Ｐ（Ｓｌ／Ｃ２）＝０．７５、Ｐ（Ｓ２／　测：当勘测结果为“结　Ｃ２）：０．２５、Ｐ（Ｓｌ／Ｃ３）＝０．２０、Ｐ（Ｓ２／Ｃ３：０．８０。在Ｅｘｃｅｌ表　构好”或“结构中等”　格单元格的相应位置输入公式．计算各数值；再按　时．选择“开发”方案：　“Ｃｔｒｌ＋　’可以在计算公式和计算结果之间切换。第四　当勘测结果为“结构　步，构造决策树。如图１所示，“口”表示决策结点，引出　差”时．选择“不开发”　备选方案分支；“ｏ”表示状态结点，引出概率分支；概　方案。期望收益值为　率结点末端为收益结点。概率分支上的数值是计算结　１７４万。　图１　石油开发问题的决策树　果。其计算公式在图中相应单元格输入。按“Ｃｔｒｌ＋一’切　３　结　论　换到公式输入。第五步．计算各方案的期望收益并进行　计算抽样信息的价值ＥＶＳＩ：１８４—１６０＝２４万元．　决策。决策树中各方案的期望收益从右向左进行。在地　而获取勘测信息的成本为１０万元．所以选择做勘测实　质“结构好”的分支．“开发”方案其收益是不确定的．只　验是值得的。计算完全信息价值ＥＶＰＩ＝２４０—１６０＝８０　有就计算期望收益值＝４００ｘＯ．７８＋（一２００）ｘ０．２２＝２６７　万，进一步计算信息的效率２４／８０×１００％：３０％．可见　万，与“不开发”方案比较．ｍａｘ（２６７，０）＝２６７万，这时把　抽样信息可以为企业带来２４—１０＝１４万的净利润。上　“不开发”这一分支剪去．同时标志“结构好”的期望收　述过程可以在Ｅｘｃｅｌ表格进行．在单元格输入计算公　益２６７万。同理“结构中等”时选择“开发”方案．期望收　式可以得到相应计算结果。用电子表格可以方便快捷　益２５０万，“结构差”时，选择“不开发”方案，期望收益　地完成贝叶斯决策，并对决策进行有效的分析，为决策　值为０。退到上一级“不开发”收益为０：“不勘测就开　者提供有用的决策信息。　发”期望收益为则输入相应的计算公式，得到结果为　（收稿日期：２００７—０３—１９）　１６０万；“勘测”活动存在成本．所以应用计算出来的结　（修回日期：２００７—０９—１８）　Ｕｓｉｎｇ　ｔｈｅ　Ｅｘｃｅｌ　Ｗｏｒｋｓｈｅｅｔ　ｔｏ　Ｐｅｒｆｏｒｍ　Ｂａｙｅｓ　Ｄｅｃｉｓｉｏｎ　ｉｎ　ＤＳＳ　Ｚｈａｎｇ　Ｗｅｉ　Ｇｕｏ　Ｓｈａｏｓｈｅｎｇ　（Ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ　Ａｃａｄｅｍｙ，Ｑｉｎｇｄａｏ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｑｉｎｇｄａｏ　２６６０４２，Ｓｈａｎｄｏｎｇ，Ｃｈｉｎａ）　［Ａｂｓｔｒａｃｔ　Ｍｏｄｅｌｉｎｇ　ａｎｄ　ｄｅｃｉｓｉｏｎ　ａｎａｌｙｓｉｓ　ａｒｅ　ｅｍｐｈａｓｉｚｅｄ　ｉｎ　ＤＳＳ．Ｅｘｃｅｌ２００６　ｉｓ　ｏｎｅ　ｏｆ　ｔｈｅ　ｍｏｓｔ　ｐｏｐｕｌａｒ　ｍｏｄｅｌｌｉｎｇ　ｔｏｏｌｓ　ａｎｄ　ａｎ　ｉｄｅａｌ　ｄｅｖｅｌｏｐｉｎｇ　ｔｏｏｌｓ．Ｉｔ　ｃａｎ　ａｎａｌｙｚｅ　ｔｈｅ　ｐｒｏｂｌｅｍｓ　ａｂｏｕｔ　ＤＳＳ　ａｃｃｕｒａｔｅｌｙ　ａｎｄ　ｅｆｆｅｃｔｉｖｅｌｙ．Ｕｓｉｎｇ　ｔｈｅ　ｅｘａｍｐｌｅ　ｏｆ“Ｏｉｌ　Ｆｉｅｌｄ　Ｄｅｖｅｌ。枷　枷枷刎。　枷刎。枷刎。ｏｐｉｎｇ　Ｐｒｏｂｌｅｍ”ａｎｄ　Ｅｘｃｅｌ２００６　ｅｘｐｌ　ａｉｎｓ　ｔｈｅ　ｐｒｏｃｅｓｓｉｎｇ　ａｎｄ　ｃｏｎｃｌｕｓｉｏｎ　ｏｆ　Ｂａｙｅｓ　Ｄｅｃｉｓｉｏｎ．　Ｋｅｙ　ｗｏｒｄｓ３　ＤＳＳ；Ｅｘｃｅｌ　ｗｏｒｋｓｈｅｅｔ；Ｂａｙｅｓ　ｄｅｃｉｓｉｏｎ；Ｄｅｃｉｓｉｏｎ　ｔｒｅｅ　，，，，，，，，，ｍｌ，，，，，，，ｌｍ，，，ｍ，，，ｍ，，，，，，，ｍ，，，ｍ，，，，，，，，，，，，，ｍｌ，，，，，，，ｌ，，ｍ，ｍ，ｍｌ，，，，，ｌ，，，　（上接第８５页）　据的压缩，要根据数据的特点。来进行对几种数据压　２００２：２９￣３２．　缩算法或者对其进行改进。就能达到预计的效果。　【３】袁　玫，袁　文．数据压缩技术及其应用【Ｍ１．北京：电子工　参考文献　业出版社．１９９５：１８９—２０１．　【１】Ｄａｖｉｄ　Ｓａｌｏｍｏｎ著，吴乐南，等译，数据压缩原理及应用（第　『４］黄超，周绮丽．智能遥测终端中压缩数据的方法ｌＪ１．测控　二版）【Ｍ】．北京：电子工业出版社，２００３．　技术．１９９８（１）：３０—３４．　『２】杨宏业，张跃．ＧＰＳ定位数据压缩算法的设计与实现『Ｍ】．　（收稿日期：２００７—０３—０７）（修回日期：２００７—０８—１５）　Ｄａｔａ　Ｃｏｎｄｅｎｓａｔｉｏｎ　Ａｒｉｔｈｍｅｔｉｃ　Ｄｅｓｉｇｎ　ｏｆ　Ｄａｔａ　Ｃｏｌｌｅｃｔｉｏｎ　Ｓｙｓｔｅｍ　Ｌｏｕ　Ｈｕａｐｉｎｇ　Ｓｕｎ　Ｙｕｎｑｉａｎｇ　Ｙａｏ　Ａｉｑｉｎ　（Ｎｏｒｔｈ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｃｈｉｎａ，Ｔａｉｙｕａｎ　０３００５　１，Ｓｈａｎｘｉ，Ｃｈｉｎａ）　［Ａｂｓｔｒａｃｔ３　Ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｃｈａｒａｃｔｅｒｉｓｔｉｃ　ｏｆ　ｔｈｅ　ｄａｔａ，ｉｍｐｒｏｖｅｄ　ｃｏｎｄｅｎｓａｔｉｏｎ　ａｒｉｔｈｍｅｔｉｃ　ｆｒｏｍ　ｔｈｅ　ｈａｌｆ—ｂｖｔｅ　ｃｏｎｄｅｎｓａｔｉｏｎ　ａｒｉｔｈｍｅｔｉｃ　ｉｓ　ｂｒｏｕｇｈｔ　ｆｏｒｗａｒｄ　ｔｏ　ｒｅｓｏｌｖｅ　ｔｈｅ　ｌａｒｇｅ　ｄａｔａ　ｏｆ　ｔｈｅ　ｒｅａｌ—ｔｉｍｅ　ｄａｔａ　ｃｏｌｌｅｃｔｉｏｎ　ｓｙｓｔｅｍ．Ｔｈｅ　ｐｒｏｂｌｅｍ　ｏｆ　ｔｈｅ　ｌａｒｇｅ　ｍｅｍｏｒｙ　ｄａｔａ　ｃｏｌｌｅｃｔｅｄ　ｃａｎ　ｂｅ　ｒｅｓｏｌｖｅｄ　ａｎｄ　ｒｅｍｏｔｅ　ｄａｔａ　ｔｒａｎｓｍｉｓｓｉｏｎ　ｒａｔｅ　ｃａｎ　ｂｅ　ｉｍｐｒｏｖｅｄ　ｂｙ　ａｐｐｌｙｉｎｇ　ｉｔ　ｔｏ　ｔｈｅ　ｅｍｂｅｄｄｅｄ　．ｓｙｓｔｅｍ．　［Ｋｅｙ　ｗｏｒｄｓ　３　Ｄａｔａ　ｃｏｎｄｅｎｓａｔｉｏｎ；Ｅｍｂｅｄｄｅｄ　ｓｙｓｔｅｍ；Ｈａｌｆ－ｂｙｔｅ　ｃｏｎｄｅｎｓａｔｉｏｎ　・８７・