硬核开源新势力 浪潮云海携开源社区同创新共发展
北京 2021年10月15日 /美通社/ -- 引言:Openinfra Days China 2021将至,浪潮云海技术军团将围绕容器存储卷弹性扩容、跨处理器架构容器集群中应用混合调度优化与实践、基于边缘虚拟化及容器技术的算网融合研究及实现等话题,对开源技术与应用进行深度剖析,并分享在开源生态建设方面的诸多构想,何等惊艳敬请期待。
如果软件可以定义未来世界,开源将引领软件未来于今年年初发布的“十四五”规划纲要中,“开源”作为一种新的软件生产方式被首次正式写入国策,即“支持数字技术开源社区等创新联合体发展,完善开源知识产权和法律体系,鼓励企业开放软件源代码、硬件设计和应用服务”等内容,为中国软件开源事业的发展提供强劲动力
一直以来,浪潮云海都秉承“源于开源、完善开源、反馈开源”的理念,在OpenStack社区技术、项目方面献策献力,对开源繁荣做出了重要贡献。例如在技术方面,浪潮云海积极为OpenStack新版本提供高质量关键代码,并于社区连续发布的几个版本中,凭借代码提交数、完成蓝图数、补丁修复数等方面的突出表现接连登顶中国第一,成为OpenStack全球重要技术引领者。
在项目方面,聚焦OpenStack开源技术架构的重要项目,例如Venus以及Nova、Cyborg、Manila、Ironic、关键中间件等核心项目,浪潮云海进行了大量的创新与开源社区生态协作,推动项目的持续优化和完善
此外,浪潮云海在开源项目贡献了大量的新特性的同时,还踊跃参与以Days China及黑客松(Hackathon)为代表的诸多开源顶会,为业界带来诸多前沿技术研究方向,积极推动国内开源生态的建设
盘一盘那些年来自云海的技术贡献
OpenStack被誉为全球最活跃的三大开源项目之一,不断优化完善的 OpenStack已然成为最成功的开源 IaaS解决方案之一,同样也是重要的云实施标准作为开源项目,完善的开源生态是OpenStack赖以发展壮大的核心,来自全球各个国家与地区的不同企业、开发者为社区源源不断地贡献新思想、新技术,促进了OpenStack技术的持续创新与不断成熟
以 OpenStack X版本为例,该版本在短短25周时间内接收到来自全球40多个国家、超过125个不同组织的680多名贡献者近15000项提交与此同时,在OpenStack的开源生态中,浪潮等中国厂商也正在扮演着愈发重要的硬核角色,其中来自中国的开源代码贡献量已经达到全球总量的40%左右
基于此,浪潮云海OS重点聚焦Nova、Cyborg、Manila、Ironic、关键中间件等核心项目,补足核心功能并进行大量的优化工作,有效完善并提高了OpenStack的成熟度。下面,就让我们一起盘点在 OpenStack 最新发布的X版本和U版本、V版本和W版本中,浪潮云海OS作出的重要贡献。
Xena版本(简称:X 版本)
在X版本中,浪潮不仅在Nova、Cyborg、Manila等核心项目中贡献突出,完成了大量的Commit和Bug修复同时浪潮云海OS技术团队在开源社区的官方项目中还独立培养了数名核心贡献者
- 核心贡献者层出不穷:浪潮云海OS技术团队中越来越多的工程师在OpenStack社区承担着重要角色,持续完善和维护开源社区核心项目。如浪潮数据研发工程师Alex Song成为Cyborg项目的核心贡献者,浪潮数据研发工程师Sam Su成为Watcher和Masakari 两个项目的核心贡献者。
- Venus项目成绩显著:Venus项目成为OpenStack社区官方项目已经尘埃落定,并在X版本中得到继续完善。浪潮云海OS Venus开发团队成员(Eric Zhang, Ziyu Bai etc.)也纷纷获得了OpenStack社区官方项目核心贡献者的荣誉。
- Cinder、Nova、Cyborg、Manila等核心项目持续优化:如在Cinder中,创建临时资源时优化用户配额的处理,在当前的存储后端driver支持更多新的功能;在Nova中,支持通过Cyborg管理的SmartNIC挂载Sriov设备端口,支持通用中介设备(Generic-mdevs)等。
Ussuri版本(简称:U版本)
在U版本中,浪潮聚焦Nova、Cyborg、Manila等核心组件进行了大量优化工作,促进了OpenStack不断成熟完善
- 易用性和数据安全性持续增强:浪潮在Nova项目中面向大规模场景增强易用性、安全性设计。例如增加虚拟机异常信息查询,增强大规模场景下对虚拟机运维的便捷性;增加控制台窗口设置密码,强化开源基础设施安全,帮助客户提高新技术、新应用下的访问安全。同时支持记录和查询虚拟机迁移信息,增强大规模场景虚拟机迁移管理能力。支持删除虚拟机时可保留挂载卷,提高管理平台操作的便捷性。
- 完善加速设备在AI、边缘、ML等方面的支持:浪潮从实际应用场景出发面向AI和边缘计算开发GPUTesla V100、FPGA、NVMe等硬件驱动,为AI训练、AI推理、AIstation提供硬件加速支持,为硬件设备在AI、边缘等方面性能加速提供了先决条件。同时与其他开发者联合,通过升级和重构Cyborg API共同完成了Nova和Cyborg交互功能。
- 实现文件存储类型属性调整,降低云平台运维复杂度:浪潮在U版本对Manila项目的易用性与兼容性进行了改进。支持修改文件存储类型名称、描述、与可见性,用户可以灵活调整文件存储类型的属性,极大程度提高了云平台的易用性。
- 优化镜像创建卷流程提高大规模场景工作效率:浪潮优化了镜像创建卷流程,自研智能镜像缓存淘汰算法,智能管理本地缓存目录,在有限的本地缓存空间内尽可能的提高镜像缓存命中率,提高用户在大规模场景下的工作效率。
Victoria 版本(简称:V版本)
对于2020年的最后一个OpenStack版本 -- Victoria 版本,浪潮云海主要针对Nova、Cinder、Cyborg、Vitrage、Manila等核心组件提交了如下贡献:
- 持续优化虚拟机的高级功能:完成了支持通过Cyborg管理的虚拟机的疏散和重建操作,并计划在Wallaby版本支持对通过Cyborg管理的虚拟机的搁置和取消搁置、挂起和恢复、挂载和卸载及迁移操作,增加GPU虚拟化管理、NVME SSD驱动等功能,提高Cyborg对加速资源的管理能力。
- 优化Vitrage服务 升查找预警智能化:根据实际应用场景在环境部署和完善功能方面对Vitrage服务进行了优化。例如增强环境部署能力,在Kolla和Kolla-ansible项目中增加Vitrage-Persistor容器化配置,完成Vitrage服务容器化自动部署配置。
- 完善卷数据拷贝机制 高拷贝效率:对Cinder项目中的卷数据拷贝机制进行了深度优化和技术创新,在卷中稀疏文件占比较大时降低拷贝时间,提高拷贝效率。
Wallaby版本(简称:W版本)
在2021年4月最新发布的W版本中,浪潮云海主要聚焦Nova、Cyborg、Manila、Ironic、关键中间件等核心项目,补足核心功能并进行大量的优化工作,有效完善并提高了OpenStack的成熟度
- 便捷实现智能硬件加速设备管理:浪潮在Cyborg项目引入了Inspur NVMe SSD 驱动,可以做到自动发现OpenStack平台上的Inspur NVMe SSD设备并自动上报到资源管理系统,用户在创建云主机时便可使用。
- 弥补加速器云主机的高级特性:浪潮在Nova项目中完善了对绑定加速器设备云主机的操作,完成了对加速器云主机的搁置和取消搁置功能,弥补了加速器云主机的高级特性。
- 有效应对云平台可能触发的故障场景:浪潮在Masakari项目中设计了针对云主机、关键进程和物理机等多层面故障检测、判断处理矩阵,能有效应对云平台可能触发的故障场景。
- 提高OpenStack云平台数据访问的安全性:浪潮针对memcached提出了SASL认证机制有效避免由于memcached认证机制缺失造成其他客户端可以随意访问memcached缓存数据的风险,提高OpenStack云平台数据访问的安全性。
- 优化快照回滚功能:浪潮通过对比多种存储,提炼了它们的公共特性,优化了云硬盘快照的恢复逻辑,在实现了任意快照回滚的同时确保了数据的安全性、快照功能的易用性。
理一理那些年来自云海的项目贡献
除此之外,浪潮还将Venus、Skyline等硬核项目的工作成果贡献给社区
浪潮统一日志管理项目Venus:该项目是国内首个智能运维领域的开源项目,可以为OpenStack云平台提供一站式日志采集、清洗、索引、分析、告警、可视化等能力,帮助运维人员快速检索问题,掌握平台的运行健康度,并在未来计划引用机器学习算法,快速定位IT故障及根因,提高运维效率以及平台管理的水平。
浪潮OpenStack管理界面Skyline:自开源至今,OpenStack常被诟病的一点是原生界面不太好用,进而导致各大厂商在使用OpenStack的同时,也都纷纷依照自身的使用场景专门开发各自的OpenStack管理界面。
Skyline是浪潮云海在OpenStack长期实践中开发的OpenStack界面,完整实现了nova计算、cinder块存储、manila文件存储、swift对象存储、glance镜像管理、neutron网络、keystone认证等基础模块功能,在易用性、页面性能等方面进行了深度优化,提供简单、易用、高效的OpenStack控制台
依托于深厚的技术积累,以及与开源社区的密切交流与互动,近年来,浪潮云海OS不断突破,在大规模集群部署、虚拟化性能、高可用以及扩展性等方面均已达到全球领先水平。2020年11月,浪潮云海成功完成全球最大规模OpenStack单一集群1000节点的云数智融合实践。
长期以来,浪潮作为OIF基金会创始黄金会员,积极投入开源社区建设,凭借硬核的技术研发和产品服务能力,取得了卓越的成就,并为社区活跃度的提升贡献最大的力量
未来,浪潮还将从自身的定位以及用户需求的角度出发,将社区贡献探索、行业落地实践与用户体验进行更好的结合,进而不断提升浪潮云海OS社区贡献的技术含金量以及整体技术实力,并同时为用户解决实践中所遇到的诸多技术问题,切实推动OpenStack的技术创新和社区繁荣发展