学科分类
/ 25
500 个结果
  • 简介:摘要:在如今的 IDC机房中,大多数数据存储都是采用集中式存储设备,集中式存储设备采用的均是 RAID技术,虽然 RAID比较成熟,但是随着大数据时代的到来,传统的数据存储方式并不能满足现在的需要,难于对海量的数据进行安全、可靠、快速的存储,并且不同厂家存储在新能和兼容性存在较大差异。本文章首先分析传统存储技术,随后就分布存储的优缺点进行简要分析。

  • 标签: 分布式存储技术 RAID技术 存储虚拟化
  • 简介:摘要本文通过对存储数据的分类,分析了结构化数据、非结构化数据和半结构化数据存储技术,并介绍了相关的应用场景。帮助用户构建适合自己需求的分布存储系统。

  • 标签: 分布式 存储 结构化数据
  • 简介:摘要:随着互联网技术的迅猛发展,各类信息每天以井喷状态产生、传输和应用。为了适应信息时代信息管理的需求,分布数据库应运而生。在传统的集中式数据库时代,信息存储和信息用户较少,集中式存储库只能够满足基本的数据管理需求。而随着信息用户增多,对于信息存储、传输管理的要求不断提高,在信息管理方面更需要大容量和高效率的数据库技术来确保信息高品质、高效率的应用。分布数据库与集中式数据库相反,它将多个数据存储单元组合为同一个数据库,然后分存到不同的数据存储节点上,实现海量数据的超大容量存储和访问。研究分布存储数据技术在大数据中的应用对于解决现阶段数据库存储问题有着重要意义。

  • 标签: 分布式存储 数据 存储
  • 简介:摘要:在互联网技术蓬勃发展的时代背景下,尤其是移动互联网的推广和普及以及无数新应用的诞生和变化,互联网中产生的数据量呈现爆炸的增长,人们意识到海量的数据中存在着巨大的价值,大数据作为一个描述数据量的名词如今已经被广泛地使用,人工智能,机器学习,用户画像等新领域都离不开大数据的支撑。存储和管理大数据的技术同时也在不断发展,配合着云计算技术的发展,云存储技术也在不断地优化迭代。过去的云存储技术通常基于集群应用。在分布文件和网格技术的前提下,分布存储技术能够通过软件将网络中链接的各种存储设备建立联系,将用户数据分别存放于这些设备中,大大提升了用户访问数据的效率和便利性。

  • 标签: 大数据 分布式云存储 人工智能
  • 简介:

  • 标签:
  • 简介:

  • 标签:
  • 简介:传统的存储模式已经不能应对网络和应用的飞速发展,论述了近年来发展起来的一种新型数据存储技术,相对于传统方式有着明显的优势.对GlusterFS分布文件系统做了简要介绍,分析了此系统的架构,以及如何安装和正确地配置,并且在此系统上进行相应的测试,测试分为系统的自动冗余、由冗余带来的系统高可靠性(容错)、系统的在线文件同步、故障点恢复后的文件同步,测试的结果验证了此系统相对于传统存储模式的巨大优势.

  • 标签: 开源 分布式 文件系统 GlusterFS 冗余 存储
  • 简介:

  • 标签:
  • 简介:摘要:本文结合建筑工程项目,主要研究为利用模块型数据采集盒子与分布数据采集系统结构,进行多场景、多渠道监测、收集和管理实时数据分析;主要研制方法为利用互联网信息技术,设计分布数据采集装置的总体架构、数据采集盒原理、系统功能、系统实现方法等,利用Lora局域网连接数据采集盒子,分布协同数据处理工作站。

  • 标签: 分布式数据 储存技术 处理技术
  • 简介:CKV(CloudKeyValue)是腾讯自主研发的分布存储系统,服务于QQ空间、朋友网、相册、音乐等核心业务,日访问量超过万亿次。本刊3月期《腾讯CKV海量分布存储系统:日访问过万亿次背后的技术挑战》一文中,全面剖析7CKV的实现原理和技术挑战。本文则将从部署架构、质量、效率和成本四个方面来讲述CKV的运营实践。

  • 标签: 分布式存储系统 腾讯 运营 自主研发 QQ空间 核心业务
  • 简介:摘要云计算技术随着信息技术的发展而成为各行业信息化发展的重要应用领域,作为一种新型资源,应对分布存储数据的处理和储存的安全性加强。该文从云计算环境下分布存储技术的结构出发,进一步简述了云计算环境下几项关键的分布存储技术

  • 标签: 云计算 分布式存储 关键技术 需求 结构
  • 简介:摘要随着电网规模的不断扩大,电力系统电压以及功率等级的不断提升,电网的能量存储的容量也需不断的升级以及更新。本文选取了近些年新兴的电网领域的热点研究领域之一的分布电网的能量存储为研究方向,并进一步的选取了非电池的功率型能量存储方式作为具体研究对象,具体包括超导储能、超级电容储能、飞轮储能等。本文主要研究用于分布发电出力和微电网等场合的储能应用。

  • 标签: 分布式 储能 电网 专利分析
  • 简介:摘要介绍了常见的分布存储技术及目前国内外分布存储技术现状,针对基于国产服务器的分布存储目前存在的不足,即分布存储在面向低功耗多核处理器时的不足、面向高带宽内存时的不足,以及面向在面向异构存储时的不足,本文提出了一些优化的思路和解决方法。

  • 标签: 国产服务器 分布式存储 优化
  • 简介:摘要:云计算技术是一种密集型数据计算技术,其在数据存储、数据管理以及虚拟化技术等方面,均具备显著的技术优势。其关键技术包括分布存储技术、虚拟化技术以及可扩展性并行技术等。传统的海量信息存储是以集中的存储服务器作为数据存储,但是其存在海量信息存储限制和瓶颈。基于压缩感知的数据存储方法和基于SWIFT的海量数据存储方法为例:前者以压缩感知理论与数字模型相结合,完成数据存储,但是其在存储信息实行抽取使用时,信噪比较低;后者则是采用哈希过程以及优化步骤后,完成数据存储,但是该方法在对存储信息实行查询时效率较低。基于此,本文提出基于云计算技术的海量信息分布存储方法,具备可扩展性是分布存储的显著优势,其可将海量信息分散存储于多台服务器中,以此降低存储限制和瓶颈,同时,通过位置服务器的定位完成海量信息的存储,极大地提高了存储系统的存储效率和可靠性。

  • 标签: 云计算技术 海量信息 分布式存储
  • 简介:摘要:云计算作为当今信息技术领域的核心技术,已被各行各业广泛应用,分布存储作为云计算的核心基础设施,在云计算环境中起着至关重要的作用。虽然云计算能在一定程度上提升信息的安全性和保密性,但由于其存储和管理的数据量巨大,给云计算带来了诸多问题,成为制约云计算技术发展的瓶颈。在此基础上,分布储存方法的出现能够有效解决这一问题。

  • 标签: 技术分析 技术应用 中心结构 分布式存储
  • 简介:摘要视频监控系统一般具有监控点分布广、摄像头数量多、监控时间长等特点,采集数据的时间往往长达十几天或几十天。因此应用在视频监控系统中的存储设备在数据读写方式上具有与其他类型系统不同的特点,不同点主要表现在以下几个方面。编码器或采集服务器以流方式写入数据,实时存储监控点的实时图像和画面,存储的文件类型为流媒体文件,因此检索服务器也会以流方式读取已存储的视频文件。数据读写操作的持续时间长。由于摄像头一般都是7×24h工作的,即使采集后视频数据采用分段保存,写入操作的持续时间也有可能长达十几个小时,后期回放时也需要相同的时间。为了保证视频采集过程和回放过程中不会出现丢帧现象,存储系统必须要有足够的带宽。除了数据读写时间长外,由于视频采集过程中,视频文件格式一般都不会发生变化,且码率保持相对恒定,因此视频监控系统的读写操作还具有码率恒定,也就是带宽恒定的特点。视频监控系统对存储的读写方式与传统不同,与数据库系统存储和文件服务器存储采用的小数据块读写或文件传输读写方式有着根本的区别,大数据块、高并发的访问模式对存储系统有新的要求,因此视频监控系统不能采用数据库系统等常用的存储设备。容量巨大,视频监控系统一般具有摄像头数量多,视频图像存储时间长,在高清化的今天,数据量已经出现十几倍的增长,PB级数据量屡见不鲜。因此视频监控系统的存储必须支持超大容量,且容量具有高扩展性,满足长时间大容量视频图像存储的需求。数据量的规模爆发式增长对于存储设备和数据的管理都提出了新的挑战。既能高效存储、灵活调用,又要做到数据安全、统一管理,并且在和多种应用系统复用上和数据分享上也有进一步需求。近年来存储技术高速发展,存储设备价格不断下降,专业存储系统具备了在视频监控行业广泛应用的基础。但是在实际应用中采用何种存储技术和方案还要根据用户的实际情况,包括系统投资数量、系统规模、现有环境等诸多方面考虑

  • 标签: 分布式存储 集群存储架构 视频监控
  • 简介:摘要:针对大数据的特点及其对存储系统的海量、融合和高性能的存储需求,提出了一种融合分布存储系统,该系统基于本地物理存储介质构建统一的分布存储资源池,采用去中心化的软件定义存储架构,利用多台存储服务器分担存储负荷,提高存储系统性能;通过多副本、纠删码数据保护模式,提高数据可靠性;向上层应用提供文件存储、对象存储、块存储等融合存储服务,提供数据管理效率;系统采用可扩展的方案,实现动态扩展。本文对分布存储系统的系统架构、寻址方案、读写流程等设计要点进行研究,并给出了测试验证结果。

  • 标签: 大数据,分布式存储系统
  • 简介:摘要:本文对基于云计算的分布存储系统技术进行深入研究,并重点分析了其中的三个关键技术,包括分布存储技术、数据缓存技术和数据加密技术。针对每个技术,本文从实际问题出发,深入探讨了其原理、应用场景、挑战,为读者深入了解分布存储系统技术提供了参考。

  • 标签: 云计算 分布式存储 云存储系统 可靠性 安全性 性能。