# Reference: 项目B-2024年某政务大模型管理平台项目-详细设计.docx - Source: 项目B-2024年某政务大模型管理平台项目-详细设计.docx - Type: .docx - Scope: G13 internal reference; one file may contain management, after-sales, and technical sections. - Conversion: Failed; source retained for manual review. ## Extracted content 政务大模型管理平台研发采购项目 详细设计 达闼机器人（广州）有限公司 概述 项目背景 随着政府数字化转型的加速，构建高效、智能的政务服务体系成为提升治理能力的关键。政务大模型作为支撑政务服务智能化的核心技术，其有效管理和高效利用显得尤为重要。 人工智能技术的快速发展，特别是大型语言模型（LLM）在政务领域的应用，为提升政务服务效率、增强民众满意度提供了新途径。 政府部门间数据孤岛、模型重复建设、资源分配不均等问题突出，亟需一个统一的政务大模型管理平台来整合资源、优化流程。 项目目标 构建统一平台：建立集模型开发、训练、部署、监控于一体的政务大模型管理平台。 提升效率与质量：通过自动化流程、智能化管理，提高模型开发效率和服务质量。 促进资源共享：打破数据孤岛，实现模型资源的跨部门共享与复用。 强化安全保障：确保政务数据的安全性和隐私保护，符合相关法律法规要求。 项目范围 功能范围：涵盖模型管理、数据管理、任务调度、性能监控、权限控制等功能模块。 技术范围：基于云计算、大数据、人工智能等先进技术构建。 时间范围：明确项目从概念设计到上线运行的预计时间框架。 用户范围：面向政府内部工作人员，特别是数据科学家、IT运维人员及业务决策者。 用户研究与分析 用户群体划分 数据科学家：负责模型的开发与优化。 IT运维人员：负责平台的日常运维与技术支持。 业务决策者：根据模型提供的分析结果进行决策。 普通公务员：可能作为模型的最终用户，通过界面获取服务或信息。 用户需求调研 访谈与问卷：收集用户对模型管理、数据访问、操作便捷性等方面的需求。 用例分析：构建典型用户场景，理解用户在不同情境下的行为和需求。 痛点识别：识别现有工作流程中的瓶颈和不满，如模型部署周期长、数据共享困难等。 系统架构 达闼基于“云-网-端”架构的云端机器人海睿云端大脑 HARIX，在云端汇聚强大的算力，算法和数据，构建机器人的云端大脑中枢，通过海睿AGI通用人工智能平台和机器人多模态大模型RobotGPT为机器人进行多模态AI赋能，提供实现复杂任务的思维链高级认知、环境主动探索与记忆、多模态人机对话、语音视觉导航、基于视反馈的物体操作、示教学习和技能生成等通用人工智能大脑，并通过独创实时数字孪生的端云智能协同技术，实现机器人在通用场景下的通才具身智能和自主进化。 海睿云端大脑通过5G安全高速神经网络，连接并控制机器人完成各种复杂任务，海睿云端大脑可连接和支持高并发、高可用、低延时、多功能的云端机器人商用服务。达闼在2022年获得了由国家科技部正式批复授予的“云端机器人国家新一代人工智能开放创新平台”，这是在云端智能机器人领域获得国家认证的唯一平台。 未来的通用人工智能（AGI）将迈向两个不同的方向：一是走向多模态，大模型不仅限于文本和视觉，还可能扩展到嗅觉和触觉等感官领域；二是走向具身智能，涵盖机器人、机械臂、无人车等物理实体，使通用人工智能进入物理世界。人类的生存环境和思考过程都是多模态的（图、文、声、光、电、影等），因此，未来真正的AGI必然是与人类相仿的，高效的多模态智能处理机。海睿AGI平台是海睿通用人工智能平台，面向不同类型的客户群体，通过打造多元化的平台服务和平台具，接并提供各种GPT服务，构建通用人工智能开放生态。 机器人多模态大模型RobotGPT是达闼基于海量机器人应用和数据，训练并发布的行业首个机器人多模态大模型 。RobotGPT是为实现机器人在复杂应用场景下的多模态行为而提供的交互生成型AI（Generative AI）大模型。它以多模态Transformer为基础，具备多模态（文本、语音、图片、视觉、运动、点云等）融合感知、认知、决策和行为生成能力，同时它基于人工反馈的强化学习完成并快速智能进化；它与机器人的具身智能相结合，实现机器人理解人类语言，自动分解、规划和执行任务，进行实时交互，完成复杂的场景应用，让云端机器人将成为通用人工智能的最佳载体。 云端大脑为云端机器人提供了基于云-网-端分布式计算的先进架构，基于数字孪生的开发、学习、训练和运行环境和海睿通用人工智能平台海睿AGI包括多模态大模型 RobotGPT。海睿AGI和RobotGPT构建多模态具身智能框架，驱动真实机器人和不同媒介的虚拟数字人，可以像人类一样感知和理解环境，通过自主强化学习，模仿学习和适应性行为来执行复杂任务，完成智能进化，为云端智能机器人和数字人提供了通用人工智能应用及运营生态技术底座。 行业大模型训练与推理层：是支持垂域行业大模型的基础，负责对输入数据进行预处理和后处理，将数据转换成模型可以接受的格式，并将模型的输出转换成可读性高的结果。支持多种数据格式和数据源，并且需要具备高效的数据处理能力。同时支持模型的训练过程管理及训练完成后的发布。同时训练推理层还负责管理NLP，多模态领域通用人工智能应用系统相关的模型库的管理、调度和监控等，确保模型的稳定性和可靠性。 智能服务层：服务层通用人工智能应用系统的核心能力，包含自然语言理解、自然语言生成、意图识别、视觉识别、语音识别以及语音合成、行为与控制等能力，同时也具备AI Agent智能体实现业务自动化运行能力，这些智能服务可以通过平台调用为前端应用层多种不同行业提供多模态的智能化能力。 应用层：应用层功能可以植入实体和虚拟机器人，并且在PC端、移动端以及实体机器人端等载体上实现多种功能功能如：多模态实时交互、图像理解、语音识别、运动控制、领域问答、文档问答、文档智能、文档出题、文档创作等功能。同时也可以根据不同垂直行业的需求快速搭建适合行业的功能应用。 系统设计 基础功能 可配置 1、数据可配置 根据客户定制化需求，预留可配置可扩展空间，保证不破坏整体数据结构。 2、功能可配置 遵循功能包设计高内聚、低耦合的原则，尽量减少功能包与功能包之间的依赖，使得各个功能包尽可能的独立进行操作。可为客户定制化需求，预留可配置可扩展功能包，保证不破坏功能包接口与交互方式，不破坏整体结构，方便根据使用场景和需求灵活扩展定制。 3、界面可配置 可根据客户的场景和使用喜好，界面组件化，布局与样式可灵活扩展定制。 高性能 系统基于H.264/VP8(/H.265)视频编码算法进行优化处理，根据网络带宽进行自适应编码和传输，能支持720P高清视频的低延时通信,总体性能目标如下： 在480P分辨率，音频编解码采用OPUS情况下，端到端音视频在4G网络不丢包条件下，最小延迟达到250ms； 满足用户实时语言对话需求，语义理解与信息查询的速度快，AI自主回答的端到端时间应该小于1.5s； 满足人工坐席实时介入需求，从AI切换至HI时，需携带上下文信息，并且音视频连接建立的时间应该小于2s； 满足用户使用简单快捷，信息查询的速度快，对基础数据的查询应当做到即时响应，连接建立的时间应该小于3s。 对于各种数据统计分析和多维展示的操作应该做到快速响应，非特别复杂的计算最多不超过10秒的时间内返回给用户以应答。 媒体服务器并发目标，在下面的硬件配置情况： Processor: Intel Core E5-2650 CPU @ 2.2 GHz x 2 Memory: 64 GB OS: Ubuntu 14.04 64-bit 单机支持1000路并发会话。 高可靠性 系统所有模块全部采用负载均衡模式，服务微服务化，自动注册，无单点故障。 系统模块采用冗余设计，具备高容错能力； 当系统发生故障时，可自动实现故障恢复； 具备数据备份能力； 系统跨数据中心部署，相互形成远程备份； 音视频通信系统支持能在8%丢包、200ms延迟、60ms抖动的弱网情况下保证视频通话质量，保障业务正常运行支撑； 音视频通信在用户网络切换或者短暂失去网络连接后或设备重启可以自动恢复。 可扩展 平台可在不调整代码或很少的改动的情况下，只通过硬件设备的水平或垂直扩展，满足整个系统处理能力的线性增长，实现高吞吐量和低延迟的高性能。具体目标： 系统容量设计支持百万级的机器人终端； 基于云架构设计，根据业务呼叫负载实现自动弹性扩展，平滑满足业务突发需求。 在三方机器人接入是可以灵活的通过扩展上层服务及坐席功能实现平滑的接入。 安全性 平台的安全性主要针对平台的登陆控制、访问控制、入侵检测、系统运行安全等方面。 应对登录操作系统和数据库系统的用户进行身份标识和鉴别。 应启用访问控制功能，依据安全策略控制用户对资源的访问。 应能够检测到对重要服务器进行入侵的行为。 应对系统中的设备运行状况、网络流量、用户行为等进行日志记录。 系统总体结构 系统总体结构逻辑图 / 各层简单说明如下： HARIX服务组件简述： HAIRX接入层，HARIX-RCU是连接机器人本体和云端大脑的标准控制器，实现上层应用（智能算法，应用程序）与底层硬件（机器人本体）的解耦。HAIRX-RCU 作为MMO引擎客户端，和MMO服务器端组成完整的UE MMO Client-Server架构。 HARIX 网络层，在机器人本体/智能体设备和云端大脑之间通过高速安全专网（VBN over 4G/5G），实现云-网-边-端的安全隔离体系；同时利用区块链共识安全机制IDoE（ID of Everything）实现接入安全、系统身份的统一认证，形成统一的可信安全体系。 HARI支撑层，为整个HARIX平台提供基本多媒体流和信令控制流的基础服务，主要包括：服务总线注册、AI/HI切换、多媒体流控制、媒体路由管理、媒体中继服务、推送服务和媒体处理等（也包括媒体切片存储，双向音视频通话，多路视频等）等功能。提供XaaS平台服务基础能力组件，包括微服务，数据库，中间件，数据加密和存储，通信协议等. HAIRX服务层，是由多模态AI 平台、HA人工增强 平台、HAIRX 应用框架，RDK 应用开发平台，大数据平台，数字孪生世界构成： AI 平台包括：智能运动(视觉控制，抓取，动作和移动), 智能视觉(人脸识别，2D/3D 物 体识别，文字识别，视觉定位与导航)，智能语音对话包括自动语音识别，自然语言理解和文字转语音)，智能交互操作；同时提供AI训练平台，采用深度学习、强化学习算法（比如对图片的视觉识别、对语音的ASR识别、以及机械臂对物品的抓取等），通过不断训练逐步增强技能 HA 人工增强平台(Robot Master) 是通过人工服务提供 AI 增强服务，主要包括：坐席客服系统、服务数据标注, 人工辅助任务和操作，人工辅助智能，人工示教，和 HA 数据收集和处理系统。 Harix World数字孪生大世界：采用人工智能和数字孪生技术，为海量物理智能体及物理世界构建实时映射的数字化平行虚拟世界，并具备自主学习，训练, 推理和智能增长。主要功能包括数据采集，建图，数据建模，云端渲染，虚实同步，模拟训练，场景推演等。 HARIX 应用框架，为HAIRX平台提供通用的应用技能集合和技能管理框架；Harix UI提供各类机器人任务的统一决策和调度管理和行为状态机，并为 HARIX OS/RDK 提供各类API和技能接口； HARIX RDK平台，为生态开发者提供机器人应用集成开发环境RDE和各种开发和仿真工具，提供机器人基本技能集合Skill Set, 数字资产管理和分享的开放社区生态 大数据平台：主要是对训练算法的数据集进行收集、存储，预处理、分析、统计分类 以及对数据进行自动标注，以及数据预测等功能。 HAIRX应用层，包括各类垂直行业应用程序（教育，医疗，酒店，农业，城市等）和应用生态 运营管理平台：包括设备管理平台ROC，内容管理平台CMS，业务监管平台CROSS，计费平台BOSS等。主要支持设备管理，软件和升级管理，运营监控，业务管理，计费，告警管理，日志管理，机器人远程操控等机器人运营的基本功能， 机器人统一门户Portal等. 流媒体处理 媒体数据采用google的Webrtc技术保证媒体的低延时、高可靠、高安全性等。WebRTC提供了视频会议的核心技术，包括音视频的采集、编解码、网络传输、显示等功能，并且还支持跨平台：windows，linux，mac，android。 信令控制和分发 HARI系统中存在多级数据传输，为了保证数据传输的可靠性、安全性、不同层级之间的存在协议的差异，为了保证不同协议的数据进行可靠的交换，需要实现协议交换系统，即Switch。系统采用Nodejs技术实现。 Node可以让JavaScript运行在浏览器之外的平台，它实现了诸如文件系统、模块、包、操作系统 API、网络通信等Core JavaScript没有或者不完善的功能。 微服务 系统采用Kubernetes基于容器技术的分布式架构方案，原则上对各种AI能力以分布式微服务的方式提供（如ASR Service, TTS Service 等），对各能力可以进行独立的开发，迭代和部署，从而降低系统耦合性，增加服务能力灵活性和系统容错性。各微服务能力的组合可以实现负责的场景应用。Kubernetes本身具有完备的集群管理能力，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的便捷性。 服务总线 系统提供新的基于gRPC和框架的API接口。。gRPC 由 google 开源的高性能、跨语言的远程过程调用(RPC)框架，基于HTTP2.0.gRPC 里客户端应用可以像调用本地对象一样直接调用另一台不同的机器上服务端应用的方法，能够更容易地创建分布式应用和服务。数据传送二进制可以节省传输流量，加快传送速度，基于http2的多路复用可以减少服务之间的连接次数，头压缩减少传输字节。 本系统中gRPC的同步异步通信方式，大原则是操作结果可检测，同步操作结果直接带错误码，异步操作提供查询结果. 考虑兼容性和逐步迭代，部分RESTful接口将继续保留 持续集成/交付 持续集成是一个开发的实践，需要开发人员定期集成代码到共享存储库。Jenkins是一个功能强大的应用程序，允许持续集成和持续交付项目，无论用的是什么平台。这是一个免费的源代码，可以处理任何类型的构建或持续集成。集成Jenkins可以用于一些测试和部署技术。 对象存储 基于云平台的机器人机器需要分布式、带冗余机制的存储集群，我们采用CEPH作为存储系统。 Ceph 是一个开源的分布式存储系统，包括对象存储、块设备、文件系统。它可靠性高、管理方便、伸缩性强，能够轻松应对PB、EB级别数据。Ceph 存储体系中，核心为 RADOS，它是一个高可用分布式对象存储，该模块负责对集群众多 OSD 的运行，保证存储系统的可用性。同时该模块通过 LIBRADOS 的公共库对外提供存储服务，如对象存储、块设备存储。 消息中间件 为了实现平台消息传输的可靠性及系统间的隔离，消息中间件是一个可靠的消息下发方案。平台采用Kafka作为消息中间件。 Apache Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。 MQTT（Message Queuing Telemetry Transport，消息队列遥测传输协议），是一种基于发布/订阅（publish/subscribe）模式的"轻量级"通讯协议，该协议构建于TCP/IP协议上。MQTT最大优点在于，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务。作为一种低开销、低带宽占用的即时通讯协议，使其在物联网、小型设备、移动应用等方面有较广泛的应用。 数据库 根据数据存储类型，平台采用MySQL和MangoDB两种数据库。 MongoDB还是MySQL都需要主键定义。MongoDB以key的方式定义主键，如果用户不主动为其分配一个主键的话，MongoDB会自动为其生成一个随机分配的值。MySQL中，主键的指定是在MySQL插入数据时指明PRIMARY KEY来定义的。当没有指定主键的时候，数据库索引当于替代了主键的功能。如果既没有指定主键也没有指定索引的话，MySQL会自动为数据创建一个。 数据库的平均插入速率：MongoDB不指定_id插入 > MySQL不指定主键插入 > MySQL指定主键插入 > MongoDB指定_id插入。 数据插入速度的差异主要由于MongoDB在不指定id的时候，系统会自动生成一个id,避免了冲突检测的查询开销 语言大模型 领域知识对话 功能描述 目前大规模预训练模型取得的一些共识，是通过一个预训练的模型，面向任务做小样本学习、零样本学习以及微调，可用于各行各业。通过对领域大模型的研究，有助于提高公司内相关人员的专业能力，为后续的领域细分模型部署提供技术支撑。通过对不同的业务领域进行少量的数据标注后，对大模型进行微调可以获得电力领域大模型，减少了以前单独训练专家模型的人力成本和时间成本。 通过对领域大模型部署，实现自动化处理，可以帮助自动化处理大量文本数据，完成文本数据全自动分析，提高识别时效性、应急处置的及时性、针对客服会话的全自动分析确定回复方案，结合用户需求要求进行数据资料收集，确定故障处理方案进行自动分析提醒。因为大模型含有丰富的世界知识和领域知识，当用户提出既有数据以外的问题，领域大模型可以很好的处理和应对，从而在保证服务有效性的前提下，提升用户的满意度。 功能实现 自然语言处理：使用基于大模型的自然语言处理技术，对用户输入的自然语言进行理解、解析和分析。 问题匹配：根据用户的输入，从已有的问题库中匹配最相关的问题。 答案检索：在已有的答案库中检索最相关的答案。 实体识别：通过实体识别技术，识别出问题中的关键实体，如人名、地名、时间等。 意图识别：通过意图识别技术，识别出用户的意图，帮助更好地理解用户的需求。 上下文理解：通过对话历史上下文的理解，理解用户提出的问题的具体背景，更好地回答用户的问题。 问答评估：通过对问答结果的评估，不断优化问答系统的性能，提高答案的准确性。 用户反馈：通过用户反馈，收集用户意见和建议，优化问答系统的功能和用户体验。 多轮对话：支持多轮对话，不仅能够回答单个问题，还能够通过上下文理解和对话历史，与用户进行更加复杂的对话。 文档问答 功能描述 支持用户上传txt，docx，doc，PDF格式的文档到RobotGPT，RobotGPT通过对文本理解、信息检索、信息抽取等能力，在一个或多个文档中找到对应答案。现下暂不支持对文档中含图片、水印或批注的解析，同时文件大小、字数均会影响文档上传、解析速度； 功能实现 本功能将能够支持用户上传不同格式的文档，并通过RobotGPT实现对文档内容的理解、信息检索和信息抽取，以找到对应的答案。用户上传文档后，RobotGPT将预处理文档，去除干扰元素，然后对文档进行深度理解，检索和抽取关键信息，并生成准确、简洁的答案。用户可以通过用户交互界面与RobotGPT进行交互，输入问题、查看答案等。通过性能优化，本方案将能够提高文档上传和解析速度，提高答案生成准确性，为用户提供更好的使用体验。 文档上传接口：开发一个用户友好的文档上传接口，支持用户上传txt、docx、doc和PDF等格式的文档。接口应具备文件大小和字数限制，以及文件格式检查功能，以确保上传的文档符合要求。 文档预处理：在上传接口中，增加一个文档预处理模块，用于去除文档中的图片、水印或批注等干扰元素。预处理模块应能够自动识别并删除这些元素，以提高文档的解析速度和准确性。 文本理解模块：RobotGPT将开发一个文本理解模块，用于对上传的文档进行深度理解。模块应具备文本分析、关键词抽取、语义理解等功能，以实现对文档内容和结构的理解。 信息检索模块：RobotGPT将开发一个信息检索模块，用于在文档中检索和抽取关键信息。模块应能够根据用户的问题，对文档进行搜索和匹配，找到对应的答案。 答案生成模块：RobotGPT将开发一个答案生成模块，用于生成准确、简洁的答案。模块应能够根据用户的问题和文档的内容，智能地生成答案，并确保答案的准确性和可读性。 用户交互界面：开发一个用户交互界面，用于显示上传的文档、问题和答案等信息。界面应具备文档浏览、问题输入、答案展示等功能，以便用户与RobotGPT进行交互。 性能优化：对RobotGPT进行性能优化，包括优化文档上传和解析速度，提高答案生成准确性等。优化方法可以包括采用多线程处理、优化算法和模型等。 文档智能 功能描述 用户上传各类格式文档，RobotGPT利用大模型能力快速对文档内容进行信息抽取 (关键词抽取、主题模型等)、文本分析 (词性标注、命名实体识别)；功能主要利用了RobotGPT强大的自然语言处理能力，这使得它能够理解、处理和生成自然语言，具备了对用户上传的各类格式文档进行信息抽取和文本分析的能力。 RobotGPT主要执行的任务包括关键词抽取、题目模型、词性标注和命名实体识别等。首先，RobotGPT会对文档进行预处理，包括分词、去停用词等操作。然后，它会利用其大模型能力，对文档中的关键词进行抽取。这些关键词包括主题词、热点词、专业词等，能够准确反映文档的主要内容。 功能实现 关键词抽取：RobotGPT首先对文档进行预处理，包括分词、去停用词等操作。然后利用其大模型能力，对文档中的关键词进行抽取。这里的关键词包括主题词、热点词、专业词等，能够准确反映文档的主要内容。最后，将抽取出的关键词返回给用户，并按照相关度进行排序，便于用户快速了解文档的主要观点。 题目模型：RobotGPT对文档进行预处理后，通过模型推理，生成文档的题目。题目要求简洁明了，能够准确反映文档的主要内容。此外，RobotGPT还可以根据文档的类型和领域，采用不同的题目生成策略，以提高题目的准确性和适应性。 词性标注：RobotGPT对文档中的每个单词进行词性标注，包括名词、动词、形容词等。这有助于用户更好地理解文档的内容，同时也有助于RobotGPT自身对文档的理解和分析。 命名实体识别：RobotGPT能够识别文档中的命名实体，如人名、地名、组织名等。这有助于用户更好地理解文档的内容，同时也有助于RobotGPT自身对文档的理解和分析。此外，RobotGPT还可以根据文档的类型和领域，采用不同的命名实体识别策略，以提高识别的准确性和适应性。 语义分析：RobotGPT对文档进行深度阅读和理解，分析文档中的主要观点、论据和论证方式，抽取文档的语义信息。这可以帮助用户更深入地理解文档的内容，同时也有助于RobotGPT自身对文档的理解和分析。 情感分析：RobotGPT可以对文档进行情感分析，判断文档的情感倾向和情感强度，帮助用户了解文档的情感色彩。这可以帮助用户更好地理解文档的意图和态度，同时也有助于RobotGPT自身对文档的理解和分析。 知识图谱构建：RobotGPT可以根据文档的内容，构建相应的知识图谱，将文档中的实体、事件、概念等知识元素进行关联和融合，形成一个完整的知识网络。这可以帮助用户更好地理解文档的内容，同时也有助于RobotGPT自身对文档的理解和分析。 多语言处理：RobotGPT支持多语言处理，可以对多种语言的文档进行信息抽取和文本分析，满足不同语言用户的需要。 人机交互：RobotGPT提供人性化的用户界面，用户可以通过图形化界面与RobotGPT进行交互，上传文档、查看结果、调整参数等，操作简单方便。 模型优化：RobotGPT不断进行模型优化，通过技术升级和算法改进，提高模型的性能和效果，满足用户不断变化的需求。 文档出题 功能描述 利用大型语言模型对文档内容进行分析和语义理解提取关键信息后生成问题，这过程涉及自然语言处理(命名实体识别、关键词提取等) 、机器学习和深度学习等技术。根据文档的主题、内容和结构，智能地生成各种类型的问题，帮助用户快速理解和掌握文栏的核心内容，提高学习效率和效果； 功能实现 自然语言处理：RobotGPT将应用自然语言处理技术对文档进行分析，包括命名实体识别、关键词提取等。这些技术能够帮助RobotGPT理解文档中的实体、概念和关键信息，从而为生成问题提供基础。 机器学习：RobotGPT将应用机器学习技术对文档进行深度分析，包括文本分类、情感分析等。这些技术能够帮助RobotGPT理解文档的主题、内容和结构，从而为生成问题提供更深入的依据。 深度学习：RobotGPT将应用深度学习技术对文档进行语义理解，包括语义角色标注、依存句法分析等。这些技术能够帮助RobotGPT理解文档的语义结构和关系，从而为生成问题提供更准确的依据。 问题生成：RobotGPT将根据文档的主题、内容和结构，智能地生成各种类型的问题。这些问题可以是事实性问题，也可以是推理性问题，或者是评价性问题等。通过这些问题，可以帮助用户快速理解和掌握文档的核心内容，提高学习效率和效果。 用户交互：RobotGPT将提供人性化的用户界面，用户可以通过图形化界面与RobotGPT进行交互，上传文档、查看结果、调整参数等，操作简单方便。 模型优化：RobotGPT将不断进行模型优化，通过技术升级和算法改进，提高模型的性能和效果，满足用户不断变化的需求。 文档创作 功能描述 RobotGPT利用大型语言模型对给定的标题、关键词、大纲编写公文或进行组合创作，实现文本自动生成。通过大量文本数据的收集、清洗，以提供给模型训练，学习文本数据的语义、语法规则。结合自然语言处理、机器学习等，能够根据给定的输入要求生文档创作成高质量、准确、有逻辑的文本，包括公文、报告或参考一篇文档风格输出类似文章等。帮助用户快速生成文档，提高工作效率和质量。同时，RobotGPT进行文档创作还可以根据用户的需求和输入，智能地调整文本的风格、语言、长度等，提供更加个性化的创作体验； 功能实现 本方案将能够实现文本自动生成，帮助用户快速生成文档，提高工作效率和质量。用户可以通过用户交互界面与RobotGPT进行交互，输入标题、关键词、大纲等，生成相应的文本。同时，用户还可以根据需求调整文本的风格、语言、长度等，获得更加个性化的创作体验。 数据收集与清洗：首先，需要收集大量的文本数据，包括公文、报告、文章等。这些数据将用于训练RobotGPT，帮助其学习文本数据的语义、语法规则。收集到的数据需要进行清洗，去除噪声、无关信息等，以保证数据的质量和有效性。 模型训练：利用收集到的清洗数据进行RobotGPT的模型训练。训练过程中，RobotGPT将学习文本数据的语义、语法规则，以及如何根据给定的输入要求生成高质量、准确、有逻辑的文本。 文档创作接口：开发一个文档创作接口，用于接收用户的输入，如标题、关键词、大纲等。接口应能够将这些输入转化为RobotGPT的输入，以生成相应的文本。 文本生成：RobotGPT根据用户的输入和要求，利用已学习到的语义、语法规则，生成高质量、准确、有逻辑的文本。生成的文本可以是公文、报告或参考一篇文档风格输出类似文章等。 文本调整：RobotGPT还能够根据用户的需求和输入，智能地调整文本的风格、语言、长度等，提供更加个性化的创作体验。 用户交互界面：开发一个用户交互界面，用于显示生成的文本，以及允许用户进行文本调整等操作。界面应具备文本浏览、编辑、保存等功能，以便用户与RobotGPT进行交互。 文生代码 功能描述 文生代码是一种基于人工智能的创新编程工具，它利用自然语言处理和深度学习技术，将自然语言描述转换为可执行的代码。文生代码的目标是简化编程过程，让非专业开发者也能够通过简单的文字描述，快速生成所需的代码。 文生代码具备强大的自然语言理解能力，能够理解用户的文字描述，并将其转化为编程语言中的指令和数据结构。它支持多种编程语言，如Python、Java、JavaScript等，满足不同用户的需求。此外，文生代码还提供编程辅助功能，如代码补全、语法提示等，帮助用户更快地编写代码，减少错误和调试时间。 功能实现 文生代码是一个创新的编程工具，它将自然语言处理和深度学习技术应用于编程领域，为用户提供了一种简单、高效的编程方式。它不仅能够帮助非专业开发者快速生成代码，还能够提供编程辅助和学习支持，促进编程技术的普及和应用。它的实现将通过以下过程实现： 自然语言处理（NLP）：这是实现文生代码的核心技术，它包括语言模型训练、语义理解、意图识别等。通过NLP技术，系统能够理解用户的自然语言描述，并将其转化为机器可理解的格式。 机器学习和深度学习：这些技术用于训练模型，使其能够从大量的数据中学习并提高其生成代码的准确性。例如，可以使用神经网络来训练语言模型，如Transformers，以生成更自然和准确的代码。 编程语言处理：这涉及到对编程语言的语法、语义和结构的理解。系统需要能够解析和生成不同编程语言的代码，这通常需要构建或使用现有的编程语言解析器和代码生成器。 代码分析和优化：这需要使用静态代码分析技术来检查代码的质量和性能。系统可以通过分析代码来识别潜在的错误和优化点，并提供改进建议。 视觉大模型 视觉大模型提供真实感和不同风格的2D图片和3D场景生成、3D语义识别、基于图片和视频的开发域VQA、动作行为识别、场景和巡检类识别、支持开放域的实例分割、3D感知和姿态估计、开放域分类等功能；支持100+的多模态视觉能力的场景应用。 视觉大模型包含达闼使用大量图片数据进行预训练的基础模型集群，目标功能包括图像分类、目标检测、语义分割等机器人视觉理解任务。达闼具有代表性的视觉大模型案例是开放域物体检测大模型，实现了图像与文本在同一个高维语义空间的交互式内在表示，具备开放域的视觉语义理解能力,能够根据用户输入的文本提示词从图像中自动找到用户关心的目标物体位置和大小等信息，比如有一幅图像里有张桌子，桌子上有一个苹果，将该图像和“桌子上的苹果”送个开放域检测大模型，大模型就能返回苹果在图像上的包围框以及置信度等信息。 基于该开放域检测基础大模型，开发者还可以在此基础上进行微调，使得在用户自己的场景获得更好的性能表现。 以文生图 功能描述 以文生图功能会对用户的需求描述进行细致入微的理解，挖掘其中的关键信息、场景设定、情感色彩等，为后续的图像生成奠定基础。接下来，通过对文本的深入分析，功能会提取出视觉概念，如人物角色、景物环境、动作姿态等，作为图像生成的核心素材。通过提取到的素材巧妙地融合在一起，结合色彩搭配、构图布局、细节描绘等技巧，构建出一幅与文本描述相符的图像。 功能实现 本方案将能够实现文本自动生成图片，帮助用户快速获取与之相匹配的图片，提高工作效率和质量。用户可以通过用户交互界面与RobotGPT进行交互，输入文本，生成相应的图片。同时，用户还可以根据需求调整图片的风格、颜色、尺寸等，获得更加个性化的图片生成服务。 数据收集与清洗：首先，需要收集大量的图片数据，包括电力行业中器械零件图片、设备图片等。这些数据将用于训练RobotGPT，帮助其学习图片的特征、语义等。收集到的数据需要进行清洗，去除噪声、无关信息等，以保证数据的质量和有效性。 模型训练：利用收集到的清洗数据进行RobotGPT的模型训练。训练过程中，RobotGPT将学习图片的特征、语义等，以及如何根据用户的输入文本生成与之相匹配的图片。 文本输入解析：开发一个文本输入解析模块，用于接收用户的输入文本，并将其转化为RobotGPT的输入，以生成相应的图片。 图片生成：RobotGPT根据用户的输入文本，利用已学习到的图片特征、语义等，生成与之相匹配的图片。生成的图片应具有丰富多样的风格，满足更多办公场景的需求。 图片调整：RobotGPT还能够根据用户的需求和输入，智能地调整图片的风格、颜色、尺寸等，提供更加个性化的图片生成服务。 用户交互界面：开发一个用户交互界面，用于显示生成的图片，以及允许用户进行图片调整等操作。界面应具备图片浏览、编辑、保存等功能，以便用户与RobotGPT进行交互。 开放域实例分割 利用开放域实例分割大模型解决小样本/零样本机器人抓取物品实例分割问题，比如任意家居日用品的实例分割 开放域分类 利用大模型常识解决小样本/零样本分类问题，例如小区开关门识别、西红柿串朝向识别、垃圾桶满溢识别等 3D感知 利用大模型常识解决小样本/零样本分类问题，例如小区开关门识别、西红柿串朝向识别、垃圾桶满溢识别等人体骨骼、行为、3D姿态估计；基于RGBD的语义感知理解和3D场景生成类别级物体6D姿态估计；通用物体6D抓取姿态估计 视觉VQA 基于给定图片，可以通过问答形式来获得所关心问题的答案，比如人机交互场景常见动/静态手势识别、人脸/人体属性识别、动作/行为识别；巡检/监控场景的缺陷识别、异常识别、积水识别、生锈、墙皮脱落等 部署方式 多模态大模型云端智能服务平台，具备完整的多模态感知，多模态认知，多模态决策和多模态行为的能力。 服务组件部署 基础层：基础层提供支撑整个系统的基础设施和环境，包括服务器、操作系统、网络、存储等。这些基础设施需要保证稳定、可靠、高效，并且能够满足多模态通用大模型的计算资源需求。此外，基础层还需要进行安全加固和监控，确保系统的安全性和稳定性。 资源层：资源层提供多模态通用大模型所需的计算资源，包括CPU、GPU、内存、存储等。根据模型的需求，可以选择不同类型的计算资源进行部署，例如使用GPU进行模型训练和推理，使用分布式计算进行大规模数据处理等。 服务层：服务层是整个系统的核心，提供多模态通用大模型的服务化部署。 及训练完成后的发布。 多层部署架构 / 平台部署架构 分布式存储引擎DUSE: 分布式存储系统，提供块存储、对象存储和文件存储等 基础安全云资源运营系统DCOS: 以容器化技术为主，抽象底层计算、存储和网络等资源，并向上层应用提供统一资源接口.包含中间件、镜像仓库等服务 机器训练平台PAI: 面向开发者和企业的机器学习/深度学习工程平台，提供包含模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务 AGI-CMP Service: RobotGPT服务、TTS、ASR和NLP服务，等AI服务的一体化运营管理系统 OpenAPI服务网关: 对外统一的API服务和用户身份认证服务 服务方式 大模型MASS服务 /RobotGPT 智能服务平台提供各种 AI 算法和大模型的能力调用服务，即Model As Service，可按照模型和接口的 token 调用量进行收费。 语言大模型和AI创作服务 领域知识对话 文档问答 文本类（文本分类，文本摘要） AI 创作（文档创作，以文生图，文生代码，文档出题等） 虚拟人（形象，服饰，表情等） 视觉类大模型 开放域目标检测 开发域实例分割 以文生图 以图生文 基于图片和视频VQA 多模态和具身智能服务 多模态人机交互 自动任务分解 自主技能规划和执行 视觉融合抓取 自主导航 自主动作和行为 应用示例 应用概要 对于央国企用户而言，数字办公系统沉淀了大量企业知识，是企业重要的数据资产之一。利用AI技术释放数据价值，实现人机协同，是企业用户最为重要的实践方向。同时，在宏观经济下行的趋势下，增收、降本的业务价值远远高于提效。因此，通过人机协同实现产能提升或劳动力优化，应当是央国企用户重点发力方向。 为此达闼深入分析央国企办公特点，发现央国企工作人员在处理问题或项目时，需要查找相关知识和信息，但这个过程常常耗费大量时间，因为知识分散、不易获取，导致工作效率低下。基层工作需要处理大量的公文编辑、会议记录、会议安排以及文件阅读等工作，这些任务耗费了大量的时间和精力。由于工作量庞大，工作人员难以集中精力处理更重要的事务，影响了工作质量和效率。基层工作负担主要表现在知识管理、日常办公和客户服务等方面存在问题，需要采取措施来改善工作环境和提高工作效率。因此基于HARIX RobotGPT做为大模型底座，达闼为央国企用户可以量身打造央国企智能办公大模型，以减轻基层工作人员的负担，提高工作质量和效率。 央国企智能办公大模型上线后则可以基于AI技术，通过文字或语音实现开放域对话、行业知识对话、文档智能、文档摘要、文档出题、文档创作、以文生图等功能，基于大模型能力提高了识别时效性、应急处置的及时性，从而在保证服务有效性的前提下，提升用户的满意度。 以下为央国企智能办公大模型各个办公应用场景示例： 文档办公场景 可在企业内部办公中发挥重要作用，大模型既可以通过"文档创作"功能实现文字或者语音等交互方式辅助央企用户进行编辑周报、日报和各种公文的撰写，高效地辅助用户完成写作任务，提高工作效率和质量。也可以对于长篇文档，多模态大模型可以自动生成摘要，帮助用户快速了解文档的主要内容。同时还可以自动识别文档的主题和类别，并对文档中的关键信息进行标注，便于用户检索和理解。 智能会议场景 会议可在会议中具有多种智能应用，如实时记录、智能摘要生成、语音识别与翻译、智能问题回答、会议助手等。这些应用有助于提高会议效率、促进沟通交流和实现会议目标。并且可以减轻基层在记录会议内容以及组织会议过程压力，提升会议组织及总结水平。 企业培训场景 依托平台“文档智能”、“文档出题”能力，通过分析文档内容，生成单选题、多选题、判断题、填空题、问答题等多种类型的题目，并计划根据文档内容生成包含上述题型的完整试卷，便于企业培训部门宣贯知识，及时对员工进行知识掌握情况的考察和培训，赋能企业教培。 智能企业助手场景 在央国企办公环境中，存在知识种类繁多，知识数量巨大的情况，所以在日常办公中企业用户均存在知识查询困难以及无法准确通过知识中关键字查找答案的情况，多模态大模型可以帮助企业建立智能内部客服助手，可以能够通过自然语言交互的方式实现文字、语音和图像等多模态方式与企业进行交流，提供24小时在线服务，并快速解答用户问题，提高企业内部服务效率及质量。 智能辅助决策场景 多模态大模型是一种结合了文本、图像、声音等多种数据类型的人工智能模型，它能够理解和处理复杂的信息，为央国企业提供智能辅助决策的支持。通过分析大量的数据，多模态大模型能够发现数据之间的隐藏关系，为企业提供深入的洞察和预测。同时，它可以理解和生成自然语言，与人类进行自然的交互，让企业决策者能够轻松地获取所需的信息。此外，多模态大模型还可以处理和分析图像和声音数据，帮助企业更好地理解和应对多媒体信息。总之，多模态大模型为央国企业提供了强大的智能辅助决策能力，帮助企业更准确、高效地做出决策。 机器人具身智能服务场景 接待和导航：服务机器人可以在办公室大厅或入口处迎接来访者，提供导航服务，引导他们到达目的地。 信息查询：员工或访客可以向服务机器人询问办公室内的信息，如会议室预定情况、员工联系方式、公司政策等。 会议支持：服务机器人可以在会议室内提供支持，例如记录会议笔记、提供会议议程、控制投影仪或屏幕等。 文件传递：服务机器人可以负责将文件从一个部门或办公室送到另一个部门，提高文件传递的效率。 办公用品补给：服务机器人可以定期巡逻办公室，检查办公用品的库存，并在需要时补充，如纸张、墨盒、文件夹等。 客户服务：服务机器人可以协助处理客户的咨询和问题，提供基本的客户服务支持，解答常见问题等。 安全巡检：服务机器人可以定期进行办公室的安全巡检，检查火灾报警器、监控摄像头等设备是否正常运作。 环境监测：服务机器人可以配备传感器，监测办公室的温度、湿度、空气质量等环境指标，并在异常情况下发出警报或通知相关人员。 员工健康监测：服务机器人可以帮助监测员工的健康状况，例如测量体温、检测心率等，并提醒员工注意健康问题。