京东云产品全线升级，助推大模型服务千行百业

东坡数字经济产业园 2023-07-27 16:22 抢发第一评

性能强劲的数字基础设施，是建好大模型、用好大模型的前提。在近日举办的2023京东全球科技探索者大会-数字基础设施分论坛上，京东云推出大模型数字基础设施矩阵，包括言犀AI开发计算平台、混合多云操作系统云舰、高性能存储平台云海、软硬一体虚拟化引擎京刚、向量数据库等，助推大模型服务千行百业。

京东集团技术委员会主席、京东云事业部总裁曹鹏宣布，京东言犀AI开发计算平台将于8月上线。

中国信息通信研究院云计算与大数据研究所所长何宝宏在会上表示，云正在变成基础设施，强大的、便捷的算力服务，首先要考虑稳定性；其次要惠及更多的人、行业和应用，标准化、便利性的云基础设施有非常大的发展空间。

开发计算平台赋能行业 共享大模型技术红利

为了降低企业享受大模型技术红利的门槛，京东把大模型的底层能力解耦出来，推出了言犀AI开发计算平台。

将大模型能力迁移到产业领域，实现垂直行业的“智能涌现”，并非易事。高质量的行业知识作为稀缺要素，决定了大模型的“智商”。

言犀AI开发计算平台沉淀了京东在零售、物流、健康、金融等行业多年积累的知识，通过算法工具集成到平台，并部署了京东技术团队开发出的100多种训练和推理优化工具，结合低代码应用平台，为客户提供从数据建设到模型应用的一站式服务。不到一周时间，用户即可完成从数据准备、模型训练到模型部署的全流程；之前需要10余人的科学家团队工作，现在只需要1-2个算法人员；通过平台模型加速工具优化，节约90%的推理成本。

此外，京东丰富的业务场景，可以为平台上的基础大模型提供具体的行业应用场景，促进入驻企业加速基于大模型的商业化落地。

在高性能HPC方面，言犀大模型开发计算平台可提供GPU、CPU、IPU等各类型算力资源，可以针对推理速度、推理成本以及模型大小不同的业务需求，提供定制化解决方案。同时，平台还能为入驻企业提供大模型开发应用的各种硬件资源的支持。

数字基础设施 筑就大模型坚实底座

大模型训练与应用对数字基础设施提出了更高的要求，基于此，京东在会上展示了大模型数字基础设施全景图。

为了应对大模型训练对AI算力的迫切需求，京东云混合多云操作系统云舰3.0，通过创新的异构计算池化技术，实现GPU/NPU资源成本下降50%。

与传统平台不同，云舰3.0采用以应用为中心的云设计范式，数据适配算力和现有架构，实现更加敏捷高效的算力按需按时供给。在落地层面，对应多云多芯多活：云舰打通公有云、专有云、IDC和边缘节点，实现统一的运维运营和管理；全面兼容Intel、AMD、ARM架构的CPU，以及全栈国产化软硬件体系基础，实现生产级可用。

作为国内应用多活最高级别的云平台，云舰在现有的一云多芯云架构基础上，以单元化技术，实现同一应用跨芯片进行多活部署和调度，搭建最适合的平滑升级云环境，实现应用在国产化环境中真替真用。

大模型训练对存储能力的要求越来越高，全新的高性能存储平台云海2.0，可支持千亿级参数AI大模型，单集群每秒读写性能提升5倍，达到行业领先的千万级，多故障演练场景下1秒内恢复业务。

历经10余年京东自身复杂的场景历练，云海2.0不仅能满足各行业对云盘高性能、低延时的业务诉求，还通过存算分离技术架构，为客户节省整体基础设施成本超30%。

随着计算和存储密度的不断提升，网络带宽的不断增大，虚拟化的资源占用也随之提升，有时甚至占到服务器10%以上。基于此，京东云将虚拟化卸载到自研的智能网卡中进行加速，京东云京刚3.0将虚拟化损耗降至零，网络性能提升4倍，支持 100Gb VPC 网络，云硬盘单实例性能突破百万IOPS。

传统数据库面对大模型训练的图片、音频、视频等非结构化数据，显得捉襟见肘，此时，专门针对此类场景的向量数据库应运而生。京东从2019年开始自主研发向量数据库，目前，向量数据库Vearch已经实现大规模落地实践：平稳支撑京东百亿级向量数据高性能检索，延迟时长降低到毫秒级，降低60%存储成本降低和80%推理成本。与此同时，京东积极助力开源生态建设：作为白金捐赠人，Vearch已捐给中国首个开源软件基金会——开放原子基金会，助力国产数据库生态蓬勃发展。

目前，京东云已服务2048家大型企业、914家金融机构和超250万家中小微企业。未来，京东云作为“更懂产业的云”，还将面向千行百业，以融合开放、极致性价比、安全可控的新一代数字基础设施，为大模型提供澎湃算力，让跨越发生，抵达产业智能。