OpenHarmony大语言模型应用平台 - 蓝目AI（LMU.AI）

OpenHarmony大语言模型应用平台 - 蓝目AI（LMU.AI）

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195054wh58bo2bog2nlnzy.png' height=120 width=318>

随着AIGC的极速发展，大语言模型在NLP（自然语言处理）方面取得了重要突破，为各种垂直行业提供了强大的支持。 与之同时，分布式操作系统在物联网、边缘计算等场景展现出巨大潜力。OpenHarmony作为一个开放的、面向全场景的操作系统，也为各类设备共同协作提供强大支持。 蓝目AI尝试将OpenHarmony的分布式特性，与大语言模型特性相结合，打造一个崭新的解决方案。

大语言模型的缺陷

媒体把chatGPT吹捧成AGI（通用人工智能）形态，似乎可以取代一切，监管机构从而如临大敌。 但其实大语言模型都存在着重大缺陷，与公众和企业高期待相距甚远。

缺陷	原因	影响
静态过时	大模型的数据集都是静态的 数据集仅在某个时间点是最新的， 无法收集训练之后发生的事件或信息	用户已习惯实时信息，很难接受过时的答案
平庸常规	虽接受过通用任务的培训，但缺乏特定领域的知识 它们也不能访问某公司的私有数据	回答专业问题过于贫乏充斥圆滑油腻的套话
虚假幻觉	有时会产生明显不真实或毫无根据的内容	很难追踪其引用的来源
高价低效	独立部署人力财力要求极高，巨头专属	中小企业无法承受

这些固有的缺陷，大大制约了大模型AI应用的普及。

蓝目AI的解决方案

• 技术栈领先：适配业界领先的OpenHarmony分布式操作系统、基于华为盘古、GPT等大语言模型，为用户提供最先进的解决方案。
• 行业针对性：通过深入了解各垂直行业需求，打造具有针对性和竞争力的行业应用服务。
• 模型准确性：

1. 整合检索增强生成（RAG）、向量数据库（Vector DB），在不修改底层模型本身的情况下，用目标信息优化大语言模型的输出。
2. 有针对性的信息可以比大语言模型更及时也更聚焦某一特定组织和行业，可为 Prompt 提供更适合上下文的答案，也可以根据最新的数据提供这些答案。 简而言之，蓝木AI可以给出更好的答案。

• 易于拓展：基于分布式架构和模块化设计，便于在不同设备、场景下进行快速拓展和集成。
• 零代码配置：允许用户以零代码方式配置出行业知识库，以低代码方式集成到OpenHarmony终端进行访问。

项目架构

• 分布式操作系统层：基于OpenHarmony构建底层分布式操作系统，实现设备间协同、互联和资源共享。
• 大语言模型层：部署业界领先的自然语言处理模型，实现多种垂直行业场景下的智能交互和知识获取。
• 应用服务层：根据不同行业需求定制开发多种应用服务，包括但不限于智能客服、文本生成、机器翻译等。
• 用户界面层：提供友好易用的API接口和可视化操作界面，便于用户在各种设备上接入和使用平台功能。

技术特性

• 分布式架构：基于OpenHarmony的分布式特性，实现跨设备、跨平台的无缝连接与协同。
• NLP(自然语言处理)能力：采用华为盘古、GPT4等先进大语言模型，实现高效准确的自然语言理解与生成。
• 行业定制化：根据不同垂直行业需求，定制开发具有行业特色的应用服务。
• 易用性：提供简洁友好的API接口和可视化操作界面，降低使用门槛。

市场前景

1. 随着物联网、边缘计算等技术的普及以及人工智能在各个领域的应用深入，OpenHarmony大语言模型应用平台具有广阔的市场前景。
2. 在智能家居、智能制造、智慧医疗、智能政务、智能教育等多个领域，蓝目AI都可以为企业和个人用户提供高效、便捷的应用服务，助力行业数字化转型。

OpenHarmony特性：一次开发，多端部署

支持App & 元服务形态，瀑布流入口赏心悦目

App首页

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195140z4xxtu9sst94fz95.png' height=440 width=215>

元服务首页

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195352k1l5odrr3lud262r.gif' height=440 width=215>

Dayu200上添加卡片

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195410oajb0jmh25aoohmc.png' height=440 width=240>

桌面卡片效果

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195426md0zpxxbf5vf9mb5.png' height=440 width=240>

热门提问

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195447bfrtegheuwgrz2ex.png' height=440 width=240>

卡片直达热门提问

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195500p0z80tig0i8qlvh0.gif' height=440 width=240>

横屏自适应布局

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195509tkq7vbzgy3knbp3k.gif' height=300 width=500>

Dayu200上的App首页

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195529a7q5zjj5c2qb1l5q.png' height=440 width=240>

丰富的应用入口

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195537y5w533qlwl59ak3p.png' height=440 width=240>

超强新手入门：覆盖4大AI应用场景，13款示范AI应用

蓝目AI平台Open Harmony版本为了AI开发者以最快最全面的入门， 提供了13款具有示范意义的全场景应用，覆盖4大应用场景，完美满足制作各种AI应用的需求。

以下是Open Harmony终端上的元服务首页界面，以及各应用的后台零代码配置管理界面：

AI应用入口

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195551k0l7ujlzvivi090d.gif' height=440 width=200>

零代码配置管理

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195601p597xqzyb5ztqqit.gif' height=440 width=200>

场景1：使用特定专业领域的文档

大模型天然适合代码生成，除了主流编程语言外，想训练一个新编程语言助手？

使用Open Harmony官方帮助文档训练的ArkUI代码小助手，经过初步的训练，具备生成相关代码的能力。

无需指定编程语言，使用ArkTS直接生成ArkUI代码：

提问： <b>写一个圆形进度条</b> 助手： <b>可以使用Progress组件创建一个圆形进度条。以下是一个示例代码：

Progress({ value: 50, total: 100, type:  ProgressType.Eclipse })
   .width(100)
  .height(100)

这个示例创建了一个圆形进度条，初始进度为50%，总进度为100。 你可以根据需要调整value和total的值来改变进度条的显示。</b> 本例子的完整交互动画：

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195616p3cm6pbcat3f6k3h.gif' height=440 width=215>

零代码配置ArkUI代码助手

• 从首页进入零代码配置管理页，在“应用” - ArkUI助手，配置其基底模型、提示词、限定词、专用知识库，通过设置提示词、关联知识库、数据管理、搜索测试，检查匹配，手工干预一共6个关键步骤，大大提升回答的精准性。

提示词配置（引导回答的专业方向）

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195638i1401u8pg646wa8z.png' height=350 width=200>

知识库（首选参考资料库）

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195646l4rfa7tw70rtsy7t.png' height=350 width=200>

数据管理（管理已训练的资料）

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195654i6sbb03bitihqqu4.png' height=350 width=200>

搜索测试（测试回答准确度）

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195703b0l6h03fqbpura0h.png' height=350 width=200>

搜索测试结果集（查看结果及匹配度）

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195711sb8h1wuhtwhtsibb.png' height=350 width=200>

结果手工优化（手工干预优化答案）

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195718cqe9vhhnqe7h8cbe.png' height=350 width=200>

凭借蓝木AI平台的6小步，您将在AI路上前进一大步。您获得了一个按需训练、还可控制输出的定制版助手，简直是手到擒来。 ArkUI助手完整配置视频 >>

• 如果您希望扩大助手能力，可以继续追加内容。<b>支持导入Open Harmony分布式设备上的文件</b>，格式支持txt、doc、docx、pdf、md等。

  <img src='https://forums-obs.openharmony.cn/forum/202312/01/195740bmm3pdq8mbenpemm.gif' height=350 width=200>

新内容定向测试

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195755pebddf7ip6hiluko.png' height=400 width=200>

相关提问结果

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195802sk1e5sshtxmt1emt.png' height=400 width=200>

场景2：使用高度专业的机构级大数据（金融赛道场景）

人人都遭遇过理财难题，金融又过于专业庞杂，有没有一个针对新手的解决方案？

理财小助手使用了超过6万条行业公开客户问询数据（QA对），经过蓝木平台的初步训练，可以回答各个层次的金融理财问题。

日常咨询

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195820kv4223qggwnzwxf5.png' height=480 width=230>

技术指标

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195835sh9j9spyp2r0phi4.png' height=480 width=240>

政策法规

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195846zfomxt05cms3hfhs.png' height=480 width=230>

收益计算

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195852t46enpn4equeemmg.png' height=480 width=230>

配置理财助手(支持导入Open Harmony分布式文件)

1. 从首页进入零代码配置管理页，在“应用” - 理财助手，配置其基底模型、提示词、限定词、专用知识库，其中可对知识库进行搜索测试，查看匹配程度，手工改善结果，从而提升准确性。

   <img src='https://forums-obs.openharmony.cn/forum/202312/01/213708u29nnjboowxncn92.png' height=300 width=200>

2. 可以导入本地文件系统的文件、<b>Open Harmony分布式文件（其他设备）</b>。支持txt，doc,doc,pdf,md格式。

   <img src='https://forums-obs.openharmony.cn/forum/202312/01/195934p2jhmhhtmqg1qix1.gif' height=350 width=200>

场景3：对接实时外部数据API（金融赛道场景）

有的场景只能使用最新的数据，以便获得快速决策建议这时可以基于蓝目AI系统与外部行情API对接

“币市AI预测"通过对接ccxt api从而获取外部交易所实时的币市行情数据，然后使用大模型底座准确分析数字货币市场走势，为用户提供可靠的预测信息，助力投资决策。

BTC分析

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195945lii5r6dpad1iqq7i.png' height=440 width=215>

ETH操作建议

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195951nxxfjwxx2brvbr5n.png' height=440 width=215>

提示词配置

<img src='https://forums-obs.openharmony.cn/forum/202312/01/195958glcgmjrdmitg1rzt.png' height=440 width=215>

场景4：最新版本的文书替换

此场景依赖新版本的法律法规文书，此时导入新资料即可。

劳动法和车管所助手切换到训练好的最新内容，帮助机构实现自动化答疑，降本增效同时提升了服务质量，一举多得。

车管所助手

<img src='https://forums-obs.openharmony.cn/forum/202312/01/200016aq3rchdz9zcc9963.png' height=440 width=215>

车管知识库

<img src='https://forums-obs.openharmony.cn/forum/202312/01/200027p0t0q99hz8lz88w9.png' height=440 width=215>

劳动法助手

<img src='https://forums-obs.openharmony.cn/forum/202312/01/200038j3fffrwzfdyffafs.png' height=440 width=215>

劳动法知识库

<img src='https://forums-obs.openharmony.cn/forum/202312/01/200046e8kx0zvk9700xxfg.png' height=440 width=215>

场景5：精巧的提示词

很多场景不需要附加专业内容或实时数据，只需从大模型已有数据集中筛选。可以通过设计精巧的提示词，就可以获得最贴切的回答。

无需专业或最新知识，就可以满足用户需求的AI应用场景众多，以下示范应用供参考。

语言检测器

<img src='https://forums-obs.openharmony.cn/forum/202312/01/200056lcqzrujxjyn4vxcu.png' height=270 width=215>

对应的提示词

<img src='https://forums-obs.openharmony.cn/forum/202312/01/200102nsbuttorgtz03bjj.png' height=440 width=215>

心理咨询师

<img src='https://forums-obs.openharmony.cn/forum/202312/01/200123ua554c553ivzd55a.png' height=450 width=215>

对应的提示词

<img src='https://forums-obs.openharmony.cn/forum/202312/01/200129hz7ttzmo7stbqs4m.png' height=450 width=215>

AI医生

<img src='https://forums-obs.openharmony.cn/forum/202312/01/200135rg88n2r926pprn24.png' height=450 width=215>

对应的提示词

<img src='https://forums-obs.openharmony.cn/forum/202312/01/200143wc5xjvwvwbcmbmc9.png' height=450 width=215>

小红书写手

<img src='https://forums-obs.openharmony.cn/forum/202312/01/200150p5ps5x2a6yxay666.png' height=450 width=215>

对应的提示词

<img src='https://forums-obs.openharmony.cn/forum/202312/01/200157hw0x22ypxubupthc.png' height=450 width=215>

One More Thing - Voice Clone(实验版)

丝般柔顺的AI配音？Yes, We can!

Voice Clone支持：汉语普通话、英语、西班牙语、法语、德语、意大利语、葡萄牙语、波兰语土耳其语、俄语、荷兰语、捷克语、阿拉伯语、日语、匈牙利语、韩语

首页最后一个应用

<img src='https://forums-obs.openharmony.cn/forum/202312/01/200209uukde7zogmg3a7u5.png' height=440 width=215>

上传视频和选择语言

<img src='https://forums-obs.openharmony.cn/forum/202312/01/200214hkohu7ee7jjbeoou.png' height=440 width=215>

Voice Clone 中文到英文案例 >>

演示视频集(51CTO链接)

• 首页-AI应用列表
• AI应用交互案例：向ArkUI助手提问
• AI应用后台管理

• （手持拍摄）从App首页进入应用
• （手持拍摄）从卡片进入应用

ArkUI助手-桌面卡片进热门搜索 ArkUI助手-后台提示词、知识库、搜索测试、人工优化 ArkUI助手-导入新内容

理财助手-后台提示词、知识库、搜索测试、人工优化 理财助手-导入新内容

币市AI预测交互案例：询问btc操作建议

Voice Clone中英文对比视频

测试终端

操作系统：Open Harmony 3.2 硬件设备：润和 DAYU200

编译环境

本项目采用ArkTS语言和Stage模型(API 9)，在DevEco Studio 3.1.1 Release下编译通过。

项目源码、hap包

完整代码库>>，APACHE-2.0协议授权。 代码库根目录下的entry-default-signed.hap、entry-default-unsigned.hap