简介:本刊讯由谢长生、曹强、吴非、谭志虎、万继光、黄建忠等人组成的“进化海量存储系统关键技术与实现方法”项目组针对海量网络存储系统,在数据组织方式和组织策略上提出了多项发明技术。针对存储系统物理和逻辑的组织方式是一种静态组织结构,不能很好地刻画处于不断变化之中的系统,提出了一种进化存储系统及其进化方法、自适应数据存储优化分布和存储设备数据再生进化方法,获得3项发明专利;还提出了一种存储系统数据分布及互转换和一种基于连续度聚类和时间序列的IO区域预取的方法,申请2项发明专利。针对数据存储安全性,提出了一种在内核态文件系统层的加密读写和一种用于存储系统的全局缓存管理的方法,申请2项发明专利。以上技术都已投入使用,从多角度提高了网络存储系统的性能,提供了多种关键技术缓解I/O瓶颈的方法。采用部分上述技术和方法形成的“采用零拷贝技术的多协议磁盘阵列控制器”为国内首款具有自主知识产权的磁盘阵列硬件控制器,并已成功应用于军用加固磁盘阵列和民用磁盘阵列系统中。
简介:大数据分析是检查具有各种类型的大量数据并快速生成以识别隐藏模式、未知相关性和其他有用信息的过程。在现代汽车集团的研发中心,有许多类型的机器能够以前所未有的规模生成数据。作者开发了一种名为VDMS的车辆信号采集设备。这种类型的传感器每天在大数据系统上存储超过1TB的数据。因此,分析不断增加的数据量和高速流传感器数据的能力是必不可少的。本文研究了传感器数据的分析方法,首先,建立了从信号数据相关性分析到分类模型的分析过程,并开发了针对信号优化的分析方法。另外,提出了一种将异常信号数据形成图案并检测特定图案的方法。