着计算机技术的飞速发展,高性能计算机的计算速度不断提高,高性能计算成为国家综合国力和信息化建设能力的重要体现。超级计算机“天河一号”“天河二号”“神威·太湖之光”的成功研制,代表了我国高性能计算资源建设能力已跃居国际领先地位,而高性能计算环境将解决如何用好这些超级计算机的问题,以服务的方式支持应用,构建新型国家信息基础设施,与超级计算机互相促进,相辅相成。高性能计算环境聚合多个不同组织机构的高性能计算集群资源,整合成为大型计算环境,以环境整体对用户提供统一的计算服务,屏蔽计算资源的异构性,优化对计算资源的使用。
国家863计划项目课题“高性能计算环境应用服务优化关键技术研究”在中国国家网格环境基础上,重点研究高性能计算环境的应用服务优化关键技术,进一步完善资源建设机制,建立具有新型运行机制和丰富应用资源、实用的高性能计算应用服务环境,并基于环境构建工业产品创新设计社区、新药创制社区、数字媒体和文化创意社区,为用户定制应用服务,降低高性能计算应用成本,全面提升高性能计算应用服务水平,环境最终实现“可管理、可运行、可使用”的目标。课题由中国科学院计算机网络信息中心、上海超级计算中心、山东大学等单位共同承担。
题构建的高性能计算环境聚合了包括天津、济南、长沙、深圳4个国家超级计算中心在内的15个国内优秀的超级计算中心的高性能计算资源,面向用户和社区提供统一的高性能计算服务。自系统上线运行以来环境整体可用率大于99%。
高性能计算环境主要采用中国科学院计算机网络信息中心自主研发的基础核心软件SCE构建。SCE是一套面向高性能计算的、轻量级的、可稳定运行的网格系统软件,由中国科学院超级计算中心自主研发,其目的是聚合多个超级计算机资源,屏蔽底层异构性,实现资源的统一管理和调度,使之作为一个整体面向用户提供便捷的计算服务。基于SCE中间件,课题优化了作业资源调度、应用服务共享等技术。除此之外,课题还开展了基于虚拟机的计算容器与高性能计算云服务的相关研究。
为了基于环境资源更好地满足不同学科领域的需求,提供多元化的终端软件,课题研究并实现了基于REST风格的科学计算环境WEB服务应用编程接口(API),称为SCEAPI,允许开发人员自由地选择他们喜欢开发工具和框架,构建更加灵活易用的科学计算终端服务。在SCEAPI中,使用HTTP协议的基本方法定义对SCE计算资源的操作类型,并使用层次化的方法区分不同的资源,不同的层次对应URI的不同路径。所有资源分为用户、计算资源、作业和数据、账号管理、统计等6个类别。同时,SCEAPI通过加密、签名等方式增强接口安全性。
为了更好地支持应用社区平台建设,基于环境整体的安全性考虑,课题基于开源软件CAS和OAuth2.0构建了统一认证和授权系统。
环境API,以及统一认证和授权系统,共同构成了通用的环境应用服务开发平台,成为高性能计算服务环境支撑应用社区建设的重要保障之一。
在高性能计算环境运行方面,运行支持平台、可持续交付技术,以及计算资源结算等技术,覆盖了高性能计算环境日常用户管理、资源管理、核心软件升级管理、资金结算等多元化需求,为高性能计算环境的运维工作提供全面技术支撑,并提高了各项运维工作的效率,构建了一个可管理、可运行、可使用的高性能计算环境。
题立足实用性,通过应用社区的建设尝试全新的服务模式和商业化运营模式。依托高性能计算环境资源,课题构建了工业产品创新、新药创制、数字媒体和文化创意3个应用服务社区,面向用户提供更加符合其业务特点和流程的个性化高性能计算服务,实现服务的多样化和专业化,全面提升用户体验和服务质量。
工业产品创新设计社区以工业领域用户的实际需求为导向,结合云计算的理念和模式,利用已有的成熟技术、标准和规范,支持资源的多样性、管理的复杂性、用户的多样性和商业运营,构建稳定、安全、高效、可扩展的工业社区。工业产品创新社区提供的特色服务包括仿真计算、优化设计、工业产品设计计算的前后处理、动态License共享等。工业产品创新设计社区目前用户数超过600个,覆盖汽车、航天航空、钢铁、核能等主要工业应用领域。
新药创制社区服务于新药筛选领域用户,探究资源建设和使用的新模式,利用先进的工作流信息技术全面打造生命科学领域的应用服务社区。新药创制社区举办20余次培训和推广活动,典型应用成果包括:
基于蛋白-蛋白相互作用识别肺腺癌驱动基因提供差异性分析,确定不同转录、翻译、调控水平下的种子基因;
利用虚拟筛选发现新型Menin-MLL抑制剂,构建具有较好的阳性分子筛选能力的两类模型,制定虚拟筛选策略;
利用虚拟筛选发现新型选择性PRMT5抑制剂,基于PRMT5底物结合口袋,进行对接虚拟筛选,得到活性化合物DC_P33;
利用打分函数发现和优化新型FGFR抑制剂,靶标特异性打分函数RTK-Score可有效区分活性化合物。
数字媒体与文化创意社区以数字媒体制作用户的实际需求为导向,以团队和项目为入口,以3D内容制作流程管理为主线,实现为项目找团队,为团队找项目,建立新的组织模式、新的工作流程,缩短制作周期,降低生产成本,将高性能计算引入文化传媒领域,促进产业发展。
题与欧洲核子研究组织ATLAS实验组合作,建成基于SCE的粒子物理模拟实验平台并投入运行,处理ATLAS实验生产性计算任务。ATLAS是2012年科学家发现希格斯玻色子的主要实验设备。这项创新性的工作是网格计算、云计算以及超级计算的首次融合。
课题与宝钢集团中央研究院开展合作,解决了宝钢在高性能计算资源建设过程中遇到的资源不断扩充、无法有效利用外部资源等问题;与海基盛元信息科技公司开展合作,基于互联网的方式为中小型企业或个人(如在校师生)提供高性能计算工具。此外,课题与山东新视觉科技有限公司合作承接多项渲染任务,以实际需求为主导,以社区为平台参与制作文化宣传作品。
今后,课题组将进一步建立超算资源评价体系和准入机制,优化环境资源管理;同时重视环境运维数据的保存和分析,通过用户行为分析指导环境资源推荐;重点梳理应用社区建设对环境资源的需求关系,实现并优化其中的共性需求,以支持更多行业的应用社区平台建设。
致谢:感谢国家863 计划项目课题“高性能计算环境应用服务优化关键技术研究”(课题编号:2014AA01A302)的支持。
迟学斌:中国科学院计算机网络信息中心副主任、研究员。
肖海力:中国科学院计算机网络信息中心业务室主任、项目研究员。
王小宁:中国科学院计算机网络信息中心副研究员。
>>>本文为原创,转载请回复。<<<