清华大学|信息学院|国家实验室|English Version

【公示】异构统一云存储系统

一、项目名称:

异构统一云存储系统及服务保障技术

二、提名意见

提   名 者

湖北省

通讯地址

湖北省武汉市武昌水果湖南苑村52号

邮政编码

430071

联   系 人

向   玫

联系电话

027-87135877

电子邮箱

xiangm@hbstd.gov.cn

传    真

提名意见:

该项目提出了异构统一云存储系统架构并在服务保障等系列关键技术上取得突破,实现了异构统一云存储系统。经鉴定,该成果满足我国当前云存储产业发展技术需求,整体技术达到国际先进水平,其中数据去重技术达到国际领先水平。牵头制定国标、行标各1项,获得一批授权发明专利与软件著作版权。成果应用在海康威视、浪潮信息、中科蓝鲸等企业的云存储系统产品中,取得了显著的经济效益。成果2018年获湖北省科技进步一等奖。

提名该项目为国家科学技术进步奖   二 等奖。

 

三、项目简介

本项目属信息存储技术领域。

数据存储已从单纯的保存数据逐渐演变成一种存储服务,云存储作为云计算的核心部分已成为信息社会的重要基础设施。中国、美国、欧盟等均将其作为重点研究和发展方向。 针对当前云存储面临的数据高速增长带来的成本和管理挑战、用户需求复杂多样带来的服务质量保障挑战等,在973、863、工信部电子基金等项目支持下,围绕高性价比存储系统构建方法和服务质量保障等难题,本项目提出异构统一云存储系统架构,形成系列关键技术。主要创新如下:

(1)提出异构统一云存储系统架构及管理调度方法。对多个公有云和私有云统一管理调度形成云存储池,实现冷热数据自动迁移与移动缓存,性能接近池中云节点最高访问性能。

(2)降低带宽和容量需求的数据去重技术。发明局部性与相似性结合的数据去重索引方法、基于内容的非对称极值分块及历史感知重写算法,形成高效数据去重技术,通过减少数据量降低云存储传输带宽和系统容量需求,保持高数据去重率同时大幅度降低内存开销。

(3)存储服务质量保障技术。提出虚拟机端到端的服务等级多目标保障方法、大规模虚拟机集群的尾延时服务等级目标精确保障技术,保持高资源利用率同时实现I/O吞吐率、带宽等多性能指标的近似精确保障,误差小于1%。

(4)可靠安全性保障技术。提出基于有限域上矩阵和数据块乘积快速编码计算的通用功能性修复再生码GFR,减少云存储中数据修复产生的数据流量;提出一种无需可信第三方的云端数据安全删除方法,保障了用户数据安全性。

牵头制定国家标准1项、电子行业标准1项,获得一批授权发明专利和软件著作版权,发表SCI /EI论文100余篇,获得同行高度评价。专家鉴定认为“…整体技术达到国际先进水平,其中数据去重技术达到国际领先水平。”

成果应用在海康威视、浪潮信息、中科蓝鲸等企业的云存储系统产品中,取得了显著的经济效益,促进了自主品牌信息存储产业发展。培养了国家杰青、万人计划“中青年科技创新领军人才”等一批优秀人才。经济和社会效益重大。

 

四、客观评价

(1)检测报告

经国家电子计算机质量监督检验中心测试表明,与Azure/阿里云等公有云相比,HCloud在容忍单一云故障和提高数据可用性的基础上,……在相同条件下访问延迟可降为Azure/阿里云等的10%-52.4%;在多性能指标环境中,采用所提出的存储服务质量保障技术……各项性能均值误差控制在1%以内;采用了云端数据安全删除技术保证了用户的数据安全性;采用本项目的数据去重技术能够减少数据传输量37%-84.1%,减少35.2%-82.3%的上传时间,减少36.9%-83.3%的下载时间,显著改善访问性能。

(2)部分项目验收意见

完成的973项目项目于2015年11月通过潘云鹤院士等组成的专家组验收,验收意见为:“…,取得了重要的创新性研究成果,…,在数据去重,…,保障存储可靠性的自愈方法,等方面取得了技术突破,…,已在多个国家应用,促进了自主品牌海量存储产业发展。”

(3)代表性技术评价

提出的数据去重技术,被IEEE Fellow、EMC首席研究科学家Fred Douglis等在存储领域顶级会议FAST2017文章中5次引用,评价为“Fu等人[8]为容器维护参考计数以减少分段并获得更快的重新存储”;提出高效去重方法SiLo,发表于ATC‘11,总引用156次(Google Scholar),其中被EMC首席技术执行官(CTO)Windsor Hsu等在存储领域顶级期刊《ACM Trans. on Storage》(2012)中评价为“[Xia et al. 2011]…利用早期流数据的特征来设计有效的缓存策略”。

 

五、应用情况

本项目成果应用于海康威视视频云、浪潮信息统一存储和海量存储产品全线系列产品、中科蓝鲸集群文件系统和蓝鲸网络RAID系统等云存储系统产品中。主要应用见下表:

序号

单位名称

应用的技术

应用对象

及规模

应用起止时间

单位联系人/电话

1

杭州海康威视数字技术股份有限公司

分布式块存储技术、纠删码性能优化算法、负载分配模型等

DS-A71024R-CVS、DS-A71036R-CVS等视频云存储系统产品中

2015年1月至2018年12月

吕珊珊

17681880333

2

浪潮电子信息产业股份有限公司

异构统一云存储系统及服务保障技术

统一存储产品线和海量存储产品线全线系列产品

2015年至今

赵坤

18660810116

3

天津中科蓝鲸信息技术有限公司

异构统一云存储系统及服务保障技术

蓝鲸集群文件系统和蓝鲸网络RAID系统等云存储系统产品

2015年1月至今

郑丁杨
  010-62620770-1000

 

六、主要知识产权和标准规范等目录

知识产权类别

知识产权具体名称

授权号

权利人

发明人

授权日期

发明专利

基于服务质量的虚拟机资源调度方法

ZL201210104221.4

华中科技大学

冯丹 童薇 刘景宁 张文涛 王晓静 陈慧萍

2014/3/26

发明专利

一种基于重复数据删除的差量压缩方法

ZL201210303650.4

华中科技大学

冯丹 夏文 江泓 田磊 付忞

2014/12/31

发明专利

一种基于区域热度的缓存管理方法

ZL201510187454.9

华中科技大学

陈俭喜,冯丹,李洁琼,叶锋,梅林军,吴婵明,方雪娇

2017/9/29

发明专利

一种基于分布式文件系统的IO请求调度方法和系统

ZL201310175498.0

华中科技大学

谭支鹏 杜立 冯丹 崔捷 周炜 王芳

2016/4/13

 

发明专利

一种基于相似性的文件分类方法

ZL201210537471.7

华中科技大学

王芳 冯丹 陈俭喜 杜鑫 郑超

2015/6/10

发明专利

一种历史感知的数据去重碎片消除方法与系统

ZL201410249865.1

华中科技大学

冯丹、付忞、华宇、夏文、黄方亭、柳青

2017/4/26

发明专利

一种基于纠删码的数据块重建方法

ZL201410717059.2

华中科技大学

冯丹、柳青、施展、李剑、欧阳梦云

2017/10/31

发明专利

维护集群缓存一致性的方法及系统

ZL201110322252.2

中国科学院计算技术研究所,天津中科蓝鲸信息技术有限公司

司成祥,许鲁

2014/12/10

发明专利

一种RAID5数据转移的方法

 

ZL21210459325

 

浪潮电子信息产业股份有限公司

文中领,古世磊

2016/02/24

发明专利

图像存储方法及其装置

ZL201310398902.0

杭州海康威视数字技术股份有限公司

罗兵华,朱江,浦世亮

2017/11/10

 

 

七、主要完成人情况:

姓    名

冯丹

排    名

 1

行政职务

 计算机学院院长/武汉光电国家研究中心信息存储与光显示功能实验室主任

技术职务

    教授

工作单位

华中科技大学  武汉光电国家研究中心

完成单位

 华中科技大学

对本项目主要科技创新的创造性贡献(限300字)

提出总体思路与方案,申请立项和组织实施。提出总体架构,组织实施,解决其中的访问高效、服务保障、存储可靠性问题,对本项目主要创新点做出了贡献,参与了共计20余项发明专利的工作,占本人总工作量的90%。

 

姓    名

许鲁

排    名

2

行政职务

数据存储技术研究中心主任

技术职务

研究员

工作单位

中国科学院计算技术研究所

完成单位

中国科学院计算技术研究所

对本项目主要科技创新的创造性贡献(限300字)

研究了异构统一云存储体系架构及管理调度技术、可靠安全性保障技术和服务保障技术。在高可扩展、负载均衡、高性能的EB级元数据集群技术研发中,提出以大粒度元数据子卷为基本单位扩展和客户端目录授权的技术路线;提出基于副本缓存的数据聚集和异步RAID转换技术,分离数据存取和冗余处理的新IO模式;提出维护集群缓存一致性的方法及系统、磁盘阵列在线重构系统及方法,块级快照系统及基于该系统的用户读写方法等可靠性技术。

 

 

姓    名

陈俭喜

排    名

 3

行政职务

技术职务

    副教授

工作单位

华中科技大学武汉光电国家研究中心

完成单位

 华中科技大学

对本项目主要科技创新的创造性贡献(限300字)

负责存储可靠性及服务质量保障技术研究与开发工作,提出了基于固态盘阵列的数据快速重建方法以及高性能高可靠固态盘的实现方法,从存储组织架构和数据快速重建等方面为异构统一云存储系统提供可靠性保障。提出一种利用固态盘作为存储缓存的缓存管理方法以提高系统的IO响应速度,保障存储服务质量。对技术主要创新点做出了创新性贡献。

 

姓    名

邢春晓

排    名

4

行政职务

 清华大学信息技术研究院副院长

技术职务

 研究员 

工作单位

清华大学

完成单位

 清华大学

对本项目主要科技创新的创造性贡献(限300字)

研究云存储系统中的海量数据组织与资源共享方法,提出了基于集群存储的空间元数据分组方法、云环境下海量数据管理资源管理框架、区间持久性top-k查询的双哈希表关联检索方法、基于数据块的自适应数据存储管理方法及系统等管理调度技术。本人在该项目技术研发中投入的工作量占本人工作总量的80%。

 

 

姓    名

谭支鹏

排    名

5

行政职务

技术职务

    副教授

工作单位

华中科技大学

完成单位

 华中科技大学

对本项目主要科技创新的创造性贡献(限300字)

针对异构统一云存储系统架构及管理调度技术开展研究,提出一种对象数据服务器读写请求的调度方法和一种基于副本的动态元数据集群系统,提出访问倾向感知的数据布局策略,对主要技术创新点做出创造性贡献。

 

姓    名

浦世亮

排    名

6

行政职务

高级副总裁、研究院院长

技术职务

高级工程师

工作单位

 杭州海康威视数字技术股份有限公司

完成单位

杭州海康威视数字技术股份有限公司

对本项目主要科技创新的创造性贡献(限300字)

针对海康威视云存储产品在视频监控领域的实际需求,开发了一种图像存储方法及装置,并获得授权专利。该技术成果已经应用于海康威视视频云存储系统产品,实现视频功能、图片功能、系统管理及运维管理功能。所研发产品质量稳定,功能齐全,受到一致好评。负责本项目部分技术成果的应用推广。

 

 

姓    名

文中领

排    名

7

行政职务

 浪潮存储研发部副总经理

技术职务

   副高

工作单位

浪潮电子信息产业股份有限公司

完成单位

 浪潮电子信息产业股份有限公司

对本项目主要科技创新的创造性贡献(限300字)

对项目关键核心模块进行研究、设计和开发,提出一种主机端和存储端系统的IO调度方法、一种数据相关性并行处理方法,解决了IO在多控制器之间如何进行IO调度和并行处理的问题,提高了存储性能;提出一种RAID5数据转移方法,在硬盘即将故障之前,提前进行数据转移,降低了数据损坏或丢失,提高了系统可靠性。

 

姓      名

胡燏翀

排      名

 8

行政职务

技术职务

    副教授

工作单位

华中科技大学

完成单位

 华中科技大学

对本项目主要科技创新的创造性贡献(限300字)

针对私有云存储系统可靠性保障技术,设计面向数据中心的基于双层网络编码架构,该架构利用私有云机架内部充沛带宽资源快速恢复数据,从而降低传统恢复策略因耗费大量机架间带宽资源而恢复较慢的缺陷,该架构还适用于混合云间的带宽异构性,即利用私有云内部的充沛带宽和公有云之间的有限带宽之间的权衡,实现修复性能的提升,从而提高数据可靠性。

 

 

姓    名

谢雨来

排    名

9

行政职务

技术职务

    副教授

工作单位

华中科技大学

完成单位

 华中科技大学

对本项目主要科技创新的创造性贡献(限300字)

围绕溯源元数据的高效存储管理及利用溯源在数据的可靠性保障及分析入侵行为方面展开了深入研究:针对溯源占据大量存储空间的问题,提出结合web压缩和字典编码的混合压缩方法;针对传统数据重建方法在重建单个文件时的不足、不能设置重建文件优先级以及重建的并行性不高等问题,提出利用溯源来重建数据的方法;针对传统入侵检测方法误检率高、检测率低且不能准确分析出入侵路径的问题,提出一种采用溯源信息来分析入侵攻击的方法。

 

姓    名

 王芳

排    名

 10

行政职务

武汉光电国家研究中心信息存储与光显示功能实验室副主任

技术职务

    教授

工作单位

华中科技大学

完成单位

 华中科技大学

对本项目主要科技创新的创造性贡献(限300字)

针对系统可靠性问题、元数据管理、数据去重等开展研究工作,提出元数据访问优化技术,加快RAID数据重建恢复的算法等,参与了共计9项发明专利的工作。

 

 

八、主要完成单位及创新推广贡献:

单位名称

华中科技大学

排    名

1

法人代表

丁烈云

所在地

湖北武汉

单位性质

大专院校

传    真

027-87558731

联   系 人

陶端华

办公电话

027-87558732

移动电话

13307118227

通讯地址

武汉市洪山区珞喻路1037号 航空航天学院大楼407室

电子信箱

tto@mail.hust.edu.cn

邮政编码

430074

对本项目科技创新和推广应用支撑作用情况(限300字)

       组织973项目“面向复杂应用环境的数据存储系统理论与技术基础研究”的实施,承担“云计算关键支撑软件研发与产业化(云存储服务)”、“面向服务的大规模网络存储系统理论与方法”等多个项目研究工作,为项目顺利执行提供了必要的人员及实验平台等条件保证。开展“异构统一云存储系统及服务保障技术”研究,在异构统一云存储体系架构及管理调度、数据去重技术、可靠安全性保障技术、服务质量保障技术方面取得创新性成果。与多个企业合作共同推进本项目成果的产业化,取得了较好的社会效益和经济效益。

 

单位名称

中国科学院计算技术研究所

排      名

2

法人代表

孙凝晖

所在地

北京

单位性质

事业单位

传      真

010-62524586

联 系 人

许鲁

办公电话

010-62620770

移动电话

13301208881

通讯地址

北京海淀区中关村科学院南路6号

电子信箱

xuanchuanban@ict.ac.cn

邮政编码

100190

对本项目科技创新和推广应用支撑作用情况(限300字)

本单位围绕异构混合云存储系统及服务保障技术,研究智能化的存储服务组件堆叠技术,提出了一种可灵活提供多类型存储服务的存储系统模型;研究细粒度存储资源调配技术、基于稳定集大容量缓存技术、高可靠高性能RAID技术等;提出在多级缓存中以效用为目标的性能虚拟化机制和资源调节机制,实现了适合于存储服务有效区隔和QoS保障的应用存储行为分析和优化方法;完成可叠加的具有多元数据服务集群的高可扩展网络文件系统原型,提供多类型存储服务,具有优异小文件性能。并开展了技术和产品的应用推广工作。

 

单位名称

清华大学

排      名

3

法人代表

邱勇

所在地

北京

单位性质

大专院校

传      真

联 系 人

邢春晓

办公电话

010-62798998

移动电话

通讯地址

北京市海淀区清华大学fit大楼1-311

电子信箱

xingcx@tsinghua.edu.cn

邮政编码

100084

对本项目科技创新和推广应用支撑作用情况(限300字)

清华大学联合华中科技大学共同承担了973项目“面向复杂应用环境的数据存储系统理论与技术基础研究”,负责其中课题“海量数据组织与资源共享的方法研究”,重点研究了基于数据块的自适应数据存储管理方法及系统、云环境下海量数据管理资源管理框架、基于集群存储的空间元数据分组方法等,提出了区间持久性top-k查询的双哈希表关联检索方法提高系统效率和可扩展性。

 

 

 

单位名称

杭州海康威视数字技术股份有限公司

排      名

4

法人代表

陈宗年

所在地

浙江省杭州市

单位性质

国有企业

传      真

0571-86475625

联 系 人

吕珊珊

办公电话

0571-88075998

移动电话

17681880333

通讯地址

浙江省杭州市滨江区物联网街518号

电子信箱

lvshanshan5@hikvision.com

邮政编码

310051

对本项目科技创新和推广应用支撑作用情况(限300字)

  项目建设过程中,杭州海康威视数字技术股份有限公司与华中科技大学合作研发,形成具有自主知识产权的云存储核心技术,减少对国外技术和产品依赖,产业发展带动性强,将有助于整体安防监控行业的发展,带动科技进步,并明显在国民公共安全、人生安全等各方面提供保障。

 

单位名称

浪潮电子信息产业股份有限公司

排      名

5

法人代表

张磊

所在地

山东济南

单位性质

国有企业

传      真

0531-85106101

联 系 人

赵坤

办公电话

0531-86133376

移动电话

18660810116

通讯地址

山东省济南市浪潮路1036号

电子信箱

zhaokunbj@inspur.com

邮政编码

250101

对本项目科技创新和推广应用支撑作用情况(限300字)

 

对项目关键核心模块进行研究、设计和开发,对项目的研制成果进行测试、验证,保障产品质量、规格指标的达成,对项目成果进行成果转化,产品化、产业化和应用推广。

 

 

九、完成人合作关系说明:

(1)与中科院计算所合作关系说明

2011年-2015年共同承担国家科技973项目“面向复杂应用环境的数据存储系统理论与技术基础研究”(2011CB302300),完成人冯丹为项目负责人,许鲁为课题负责人之一。该项目于2015年顺利通过验收。

(2)与海康威视公司合作关系说明

华中科技大学与海康威视公司成立“海量信息存储联合实验室”进行长期科研合作并推进科研成果产业化。2014年至今,华中科技大学与杭州海康威视数字技术股份有限公司等合作制定国家标准《分布式异构存储管理规范》第一部分《信息技术 存储管理 第1部分:概述》,并于2018年颁布实施。完成人浦世亮作为海康威视公司高级副总裁、研究院院长负责与华中科技大学合作及产品推广应用。

(3)与浪潮信息公司合作关系说明

自2010年起与浪潮公司一起共同承担完成国家科技支撑计划课题“存储虚拟化软件开发及产业化”,并于2014年结题验收, 2014年至今,华中科技大学与浪潮(北京)电子信息产业有限公司等合作制定国家标准《分布式异构存储管理规范》第一部分《信息技术 存储管理 第1部分:概述》,并于2018年颁布实施。完成人文中领作为浪潮公司存储部技术负责人全程参与项目研发合作。

【发布时间:2018-12-20】【浏览次数:85】