您好,欢迎来到花图问答。
搜索
您的当前位置:首页数据采集系统中的数据压缩算法设计

数据采集系统中的数据压缩算法设计

来源:花图问答
维普资讯 http://www.cqvip.com

第6期(总第99期) 机械管理开发 MECHANICAL MANAGEMENT AND DEVEL0PMENT 2007年l2月 Dec.2007 No.6(SUM No.99) 数据采集系统中的数据压缩算法设计 娄华平 孙运强 姚爱琴 (中 学山西太原030051) 【摘要】为了解决实时数据采集系统中的数据量大的问题,并根据该数据的特点,提出了一种在原半字节压缩算 法的基础上改进的压缩算法。将其运用到嵌入式系统中,可以解决采集的大存储数据量的问题.而且还可以提高远 距离数据传输率。 【关键词J数据压缩;嵌入式系统;半字节压缩 【中图分类号】TP392 【文献标识码】A 【文章编号】 1003—773X(2007)06—0084—03 0 引 言 据压缩必须结合具体的数据格式的特点,才能进一步 提高数据的压缩比。除此之外,目前的压缩程序的启动 执行必须人为干预,不能自动执行,因为它们是为文件 系统设计的,而嵌入式系统的数据压缩必须能够自动 执行。 2 系统原理 嵌入式CPU系统的体积较小,由于自身条件的限 制,在开发嵌入式系统的软件产品时必须将软件所占 的存储空间在一定的范围内。本文所设计的嵌入 式系统主要是以嵌入式芯片M6117D芯片为核心。 M6117D是一种高度集成的、低电压的、集成有Ali M1217B芯片组的单片执行工具,同时与intel 386SX 微处理器相兼容。它在这个系统中主要完成的任务是: 该数据采集系统主要是由传感器部分,CAN总线 部分,嵌入式系统部分和数传电台部分组成,见图1。由 传感器采集信号,再经过CAN总线控制,通过嵌入式 系统,再通过RS232串行接口输出。其通信端口的数 (1)控制电台数据实时的数据传输;(2)控制数据的压 缩;(3)存储数据;(4)数据加密。在开发本系统数据 采集系统的过程中.利用数据压缩主要解决的问题是: 据格式应该设置为8个数据位、1个起始位和1个停 止位f校验方式选为无奇偶校验1波特率设置为19 200 波特 1)希望减少为了分析所必须存储的大容量的采集数 据;2)实时的从提高远距离的数据传输速率。 1数据压缩简介[zl 数据压缩方法种类繁多,可以分为无损压缩和有 损压缩两大类。无损压缩利用数据的统计冗余进行压 缩,可完全恢复原始数据而不引入任何失真,但压缩率 受到数据统计冗余度的理论,一般为2:1—5:1。这 类方法广泛用于文本数据、程序和特殊应用场合的图 像数据(如指纹图像、医学图像等)的压缩。现在成熟的 无损压缩方法主要有哈夫曼编码、游程编码、预测编 图1数据采集系统原理图 3 改进型半字节压缩算法【2]【。】tnl 文本数据的压缩所使用的都是无损压缩技术,即 还原后的文件应该与源文件完全相同。其压缩的方法 有很多种,如HUFFMAN编码、算术编码和字典压缩 码、算术编码等。在智能数字监控系统中,为了能够有 效地得到历史数据的精确数值,绝大多数数据需要无 损压缩。有损压缩方法利用了允许压缩过程中损失一 方法等。它们都适用于文本数据的压缩。本设计中拟采 用半字节法来完成压缩及解压缩的任务,其原理是去 定的信息。虽然不能完全恢复原始数据,却换来了大得 多的压缩比。 除字节中的冗余位,从而达到压缩目的。然而,此法只 适用于纯数字文本文件的压缩,显然采集数据并不是 纯数字的,还必须在压缩前进行一下压缩改变,最后再 目前现成的压缩算法很多,但不能直接用于嵌入 式系统当中,这完全由嵌入式系统的特点所决定。首 利用半字节压缩算法完成数据的压缩。在数据压缩技 术中,除压缩重复字符外,还可以根据数据本身的特点 进行压缩。半字节压缩就是这样一种方法。半字节方法 先,用于嵌入式系统的数据压缩方法应是无损压缩方 法。其次,压缩代码和解码所需的信息代码必须足够 短,否则就会失去压缩的意义。还有,嵌入式系统的数 作者简介:娄华平,男,1981年生,中北大学在读硕士研究生。 ・主要用于纯数字的文本文件的压缩.因为数字0—9的 84・ 维普资讯 http://www.cqvip.com 第6期(总第99期) 机械管理开发 开 2007年12月 ASCII码的高四位都一样,是冗余的,因此每一个数字 完全可以用低四位描述,即每个字符的八位编码可压 缩为四位编码,压缩比理论上可趋近50%(见表1)。 表1压缩数据编码表 数据所含的字符 0 1 2 3 4 5 6 7 ~—二 兰堇J  ASCII码 00110000 OH0110001 001 10010 00110011 001 10100 001 10101 00110110 00110111 四位二进制编码 0000 0001 0010 0011 0100 0101 0110 0111 数号字节吗? 羔± 奇数号 字节处理 N 弓享 字节合成 8 9 A 00111000 00111001 01000001 1000 1001 1010 B C D E 01000010 0100001 1 010001 00 01000101 1011 1100 1101 1110 一N 图2改进后的半字节压缩算法框图 4半字节压缩算法的实现_3 l实现半字节压缩算法程序的关键问题之一是利用 缓冲区将一个数字串中的每两个数字压缩到一个字节 F 01000110 1111 再者,数据采集的输出数据采用的是ASCII码, 里。显然要达到这个目的,应将每个数字的高四位去 掉,只保留了低四位。然后把它们放到一个字节中。使 以单点为例,数据为:F1 5F 12 CD。包含的文本字符 有:“0~9”10个数字符号,“A”、“B”、“C”、“D”、“E”“F” 6个英文大写字母,共16个符号。而四位二进制编码 刚好可区分16种状态,则压缩数据编码表如表1所 示。由表2知,实现半字节压缩算法需要解决两个问 题:首先是压缩对象的计数;其次是如何把两个数字 的低位合并到一个字节中。后一个问题只要规定好压 用C语言中的位操作命令可以较容易的实现这个功 能。我们设chl、ch2和ch3是三个字符型变量,分别存 放数据流中的两个字符和压缩后的代码。savech是存 —放数据流的缓冲区。cunter是计数器,maskl是用来屏 蔽低四位的屏蔽字,其值为“11110000”,mask2是用来 屏蔽高四位的屏蔽宇,其值是“00001111”。如下的程序 段完成了把两个数宇的低四位放人一个字节的工作: ch1=save缩后的字节中奇数号字符的四位编码与偶数号字符 的四位编码的存放次序即可,程序的实现非常简单, 在此我们规定编号是奇数的字符放在高四位,编号为 偶数的字符的编码放在低四位。半字节压缩中需要解 决的首要问题是压缩对象的计数问题,解决此问题的 方法有两种:一种是半字节计数器fHalf—Byte ch counter]; chl=saveeh[counter+1]; chl=ch1<<4: chl=ehl&mask1; ch2=eh2&mask2; ch3=ch 1 Ich2; Counter),另一种是全字节计数器(Full—Byte Counter) 不管那一种方法,它们都要占用字节,再加上压缩标 识也要占用字节,所以要影响数据的压缩比。改进后 的半字节压缩算法完全解决了此问题,因为采集数据 的数据长度是固定的字节长,不是动态可变的.所以 5 结 论 信息时代使得嵌入式产品获得了巨大的发展机 遇,也为嵌入式市场展现了美好的前景,同时也对嵌入 式系统的开发者提出了新的挑战。嵌入式系统一般体 积较小,无存储量大的硬盘等设备,还要存储系统程序 和应用程序,因此,在开发嵌入式系统的软件产品时必 须将软件所占的存储空间在一定的范围内。嵌入 式系统的压缩是不需要人为干涉、而自动实时完成的. 不需要解决压缩对象的计数问题。压缩的半字节压缩 算法框图见图2。 表2半字节压缩格式 具体的实现方法是通过驻留内存f单任务操作系统中. 如Dos)或作为一个后台任务(在多任务操作系统中,如 Windows中)对数据完成实时压缩或解压缩。具体的数 (下转第87页) ・85. 维普资讯 http://www.cqvip.com

第6期(总第99期) 机械管理开发 2007年12月 (ClS1)P(S1)+P(Cl/S2)P(S2):0.7x0.6+0.3x0.4: 果184—10:174万为 不开发 0.54,同理求得P(C1):0.16、P(C3)=0.30;P(S1/C1): 最大收益值。本问题 P(Cl/S1)P(S1)/P(C1):0.7x0.6/0.54:O.78,P(S2/C1) 的最优决策是:先勘 =1一P(Sl/C1):0.22,同理求得P(Sl/C2)=0.75、P(S2/ 测:当勘测结果为“结 C2):0.25、P(Sl/C3)=0.20、P(S2/C3:0.80。在Excel表 构好”或“结构中等” 格单元格的相应位置输入公式.计算各数值;再按 时.选择“开发”方案: “Ctrl+ ’可以在计算公式和计算结果之间切换。第四 当勘测结果为“结构 步,构造决策树。如图1所示,“口”表示决策结点,引出 差”时.选择“不开发” 备选方案分支;“o”表示状态结点,引出概率分支;概 方案。期望收益值为 率结点末端为收益结点。概率分支上的数值是计算结 174万。 图1 石油开发问题的决策树 果。其计算公式在图中相应单元格输入。按“Ctrl+一’切 3 结 论 换到公式输入。第五步.计算各方案的期望收益并进行 计算抽样信息的价值EVSI:184—160=24万元. 决策。决策树中各方案的期望收益从右向左进行。在地 而获取勘测信息的成本为10万元.所以选择做勘测实 质“结构好”的分支.“开发”方案其收益是不确定的.只 验是值得的。计算完全信息价值EVPI=240—160=80 有就计算期望收益值=400xO.78+(一200)x0.22=267 万,进一步计算信息的效率24/80×100%:30%.可见 万,与“不开发”方案比较.max(267,0)=267万,这时把 抽样信息可以为企业带来24—10=14万的净利润。上 “不开发”这一分支剪去.同时标志“结构好”的期望收 述过程可以在Excel表格进行.在单元格输入计算公 益267万。同理“结构中等”时选择“开发”方案.期望收 式可以得到相应计算结果。用电子表格可以方便快捷 益250万,“结构差”时,选择“不开发”方案,期望收益 地完成贝叶斯决策,并对决策进行有效的分析,为决策 值为0。退到上一级“不开发”收益为0:“不勘测就开 者提供有用的决策信息。 发”期望收益为则输入相应的计算公式,得到结果为 (收稿日期:2007—03—19) 160万;“勘测”活动存在成本.所以应用计算出来的结 (修回日期:2007—09—18) Using the Excel Worksheet to Perform Bayes Decision in DSS Zhang Wei Guo Shaosheng (Information and Technology Academy,Qingdao University of Science and Technology,Qingdao 266042,Shandong,China) [Abstract Modeling and decision analysis are emphasized in DSS.Excel2006 is one of the most popular modelling tools and an ideal developing tools.It can analyze the problems about DSS accurately and effectively.Using the example of“Oil Field Devel。枷 枷枷刎。 枷刎。枷刎。oping Problem”and Excel2006 expl ains the processing and conclusion of Bayes Decision. Key words3 DSS;Excel worksheet;Bayes decision;Decision tree ,,,,,,,,,ml,,,,,,,lm,,,m,,,m,,,,,,,m,,,m,,,,,,,,,,,,,ml,,,,,,,l,,m,m,ml,,,,,l,,, (上接第85页) 据的压缩,要根据数据的特点。来进行对几种数据压 2002:29 ̄32. 缩算法或者对其进行改进。就能达到预计的效果。 【3】袁 玫,袁 文.数据压缩技术及其应用【M1.北京:电子工 参考文献 业出版社.1995:189—201. 【1】David Salomon著,吴乐南,等译,数据压缩原理及应用(第 『4]黄超,周绮丽.智能遥测终端中压缩数据的方法lJ1.测控 二版)【M】.北京:电子工业出版社,2003. 技术.1998(1):30—34. 『2】杨宏业,张跃.GPS定位数据压缩算法的设计与实现『M】. (收稿日期:2007—03—07)(修回日期:2007—08—15) Data Condensation Arithmetic Design of Data Collection System Lou Huaping Sun Yunqiang Yao Aiqin (North University of China,Taiyuan 03005 1,Shanxi,China) [Abstract3 Based on the characteristic of the data,improved condensation arithmetic from the half—bvte condensation arithmetic is brought forward to resolve the large data of the real—time data collection system.The problem of the large memory data collected can be resolved and remote data transmission rate can be improved by applying it to the embedded .system. [Key words 3 Data condensation;Embedded system;Half-byte condensation ・87・ 

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- huatuowenda.com 版权所有 湘ICP备2023022495号-1

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务