中文

LLM端侧运行

本章节将以Qwen3-1.7B模型为例，为您介绍该模型的端侧运行流程。此流程适用于量化后模型直接上板运行的场景，请您先阅读端侧运行准备章节做好端侧运行准备并了解模型和示例的对应关系。

示例文件说明

在oellm_runtime目录中，LLM示例使用到的文件和文件夹如下所示：

.
├── configs                            # Tokenizer文件
│   ├── DeepSeek_R1_Distill_Qwen_1.5B_config
│   └── Qwen3_config
├── examples
│   └── llm_demo
│       ├── build_llm.sh               # 交叉编译脚本
│       ├── llm_demo.cc                # 可执行文件源码
│       ├── CMakeLists.txt
│       ├── llm                        # 可执行文件
│       ├── run_llm.sh                 # 端侧运行脚本
│       ├── qwen3_0.6b_config.json     # 端侧运行配置文件
│       ├── qwen3_1.7b_config.json
│       ├── qwen3_4b_config.json
│       ├── qwen3_8b_config.json
│       └── deepseek_1.5b_config.json
├── include
├── lib
└── model
    ├── Qwen3_1.7B
    │   └── Qwen3-1.7B_language_chunk_512_cache_4096_w4_nash-p_corenum_4_4.hbm
    └── resolve_model_nash-p.md        ## 端侧模型下载方式

配置文件说明

端侧运行配置文件{model}_config.json可配置参数及说明：

参数名称	参数说明	可选/必选
`hbm_path`	参数描述：板端模型路径参数类型：`string`	必选
`bpu_core`	参数描述：模型使用的bpu核，设定多个值时按照`[0,1,2,3]`填写参数类型：`[int]`	必选
`tokenizer_dir`	参数描述：Tokenizer配置文件路径参数类型：`string`	必选
`model_type`	参数描述：模型类别参数类型：`int` 取值范围：`1`：deepseek，`9`：qwen3	必选
`enable_multi_turn`	参数描述：是否启用多轮对话功能参数类型：`bool` 取值范围：`true`，`false` 默认配置：`false`	可选
`enable_thinking`	参数描述：是否启用`think`模式参数类型：`bool` 取值范围：`true`，`false` 默认配置：`true`	可选

qwen3_1.7b_config.json参考配置示例：

{
  "hbm_path": "../../model/Qwen3_1.7B/Qwen3-1.7B_language_chunk_512_cache_4096_w4_nash-p_corenum_4_4.hbm",
  "bpu_core": [
    0,1,2,3
  ],
  "tokenizer_dir": "../../configs/Qwen3_config/",
  "model_type": 9,
  "enable_multi_turn": false,
  "enable_thinking": true
}

端侧运行说明

示例提供一键运行脚本run_llm.sh，运行指令参考：

cd /userdata/oellm_runtime/examples/llm_demo/
bash run_llm.sh

该脚本内容如下：

export LD_LIBRARY_PATH=../../lib:$LD_LIBRARY_PATH   # 指定动态库
export HB_DNN_USER_DEFINED_L2M_SIZES=6:6:6:6        # 为BPU分配L2M大小

./llm -c qwen3_1.7b_config.json

可执行文件的参数信息：

Usage:
  ./llm --config_path <config_path> [options]

Options:
  -c, --config_path <config_path>   Path to the llm config file (required)
  -h, --help                        Show this help message

Examples:
  ./llm --config_path ./qwen3_1.7b_config.json

会话控制指令说明：

指令	说明
`<prompt>`	输入文本，提供用户prompt信息
`regen`	重新生成本次对话结果
`reset`	清除缓存，用于清除多轮对话历史信息
`exit`	退出程序

运行结果展示

开启think

您好，我是板端大模型对话交互demo
- 输入文本：<prompt>
- 重新生成：regen
- 清除缓存：reset
- 退出程序：exit
[User] <<< 简单介绍人工智能的未来发展
[Assistant] >>> <think>
嗯，用户问的是简单介绍人工智能的未来发展。首先，我需要确定用户的需求是什么。可能他们对AI的近期趋势感兴趣，或者想了解科技界对AI的展望。

接下来，我得考虑用户可能的背景。可能是学生、研究人员，或者对AI有兴趣的一般用户。需要保持内容通俗易懂，避免太技术性的术语。

然后，思考未来发展的几个关键点。比如，深度学习、自然语言处理、机器人技术、伦理问题，还有量子计算的影响。这些方面都能涵盖到。

还要注意用户可能关心的方面，比如AI在医疗、交通、教育等领域的应用，以及可能的挑战，比如数据隐私、算法偏见。这些内容需要简要说明。

另外，用户可能希望了解技术进步的驱动力，比如算力提升、数据增长，还有跨学科融合，比如AI与生物技术结合。

最后，确保结构清晰，分点说明，同时保持语言简洁。避免使用复杂句子，让内容易于理解。可能需要检查有没有遗漏的重要趋势，比如AI伦理、法规制定，以及全球合作的重要性。
</think>

人工智能（AI）的未来发展将围绕技术突破、应用场景深化、伦理规范和全球协作展开，主要体现在以下几个方面：

1. **技术突破**
   - **深度学习**：神经网络算法将更高效，结合量子计算和算力提升，推动图像识别、自然语言处理等能力更强大。
   - **多模态融合**：AI将同时处理文本、图像、声音等多维度数据，实现更精准的跨领域应用。

2. **应用场景拓展**
   - **医疗领域**：AI辅助诊断、药物研发、个性化治疗方案设计，提升医疗效率和精准度。
   - **交通出行**：自动驾驶、智能交通管理系统，优化城市交通流量和安全。
   - **教育创新**：个性化学习推荐、虚拟教师、AI辅助的考试评估等，提升教育公平性。

3. **伦理与监管**
   - **伦理框架**：AI决策需符合公平、透明、可解释性原则，避免算法偏见和隐私泄露。
   - **法规制定**：全球各国将制定AI伦理准则和法律框架，明确责任边界和使用规范。

4. **全球合作**
   - **跨国协作**：AI技术共享、标准统一，推动全球共同应对气候变化、疫情等挑战。
   - **技术普惠**：通过开源技术、政策支持，让AI成果惠及更多国家和地区。

5. **挑战与机遇**
   - **技术挑战**：数据安全、算法可解释性、AI与人类的伦理边界等仍需突破。
   - **机遇**：AI将重塑就业结构、推动可持续发展，成为解决全球问题的重要工具。

**总结**：人工智能的未来将更加智能、高效、安全，但需在技术、伦理、法规的多重维度持续演进，实现人类与AI的良性互动。
Performance prefill: 4266.67tokens/s    decode: 74.59tokens/s

关闭think

您好，我是板端大模型对话交互demo
- 输入文本：<prompt>
- 重新生成：regen
- 清除缓存：reset
- 退出程序：exit
[User] <<< 简单介绍人工智能的未来发展
[Assistant] >>>
</think>

人工智能的未来发展将呈现出以下几个关键趋势：

1. **更强大的计算能力**：随着量子计算和芯片技术的发展，AI将能够处理更复杂的数据和任务，提升计算效率和准确性。

2. **结合多模态学习**：AI将能同时处理文本、图像、声音等多种信息，实现更全面的感知和理解能力。

3. **伦理和安全**：AI将更加注重伦理规范和安全机制，确保技术应用符合社会价值观，避免滥用。

4. **普及化和应用深化**：AI将更深入到医疗、教育、交通等领域，提升社会效率和生活质量。

5. **自主决策能力**：AI将具备更强的自我学习和决策能力，适应更复杂的环境和需求。

6. **跨领域融合**：AI将与其他技术（如物联网、区块链）结合，形成更紧密的生态系统。

这些趋势将推动人工智能在更多领域发挥重要作用，同时也要关注其对社会的影响和伦理问题。
Performance prefill: 4376.07tokens/s    decode: 73.51tokens/s

开启多轮对话

您好，我是板端大模型对话交互demo
- 输入文本：<prompt>
- 重新生成：regen
- 清除缓存：reset
- 退出程序：exit
[User] <<< 简单介绍AI技术
[Assistant] >>> ：

</think>

AI技术是指利用人工智能（Artificial Intelligence）技术来实现智能化的处理和决策能力。AI技术主要包括机器学习、深度学习、自然语言处理、计算机视觉等核心技术。这些技术通过算法和大数据，使计算机能够自动识别、分析和处理信息，从而实现自动化、智能化的运作。

AI技术的应用非常广泛，包括语音识别、图像识别、自动驾驶、推荐系统、智能客服等。随着技术的不断发展，AI在各行各业的渗透率越来越高，成为推动社会进步的重要力量。

简而言之，AI技术是通过计算机科学和人工智能技术的结合，实现智能化、自动化处理和决策能力的科学技术。
Performance prefill: 4376.07tokens/s    decode: 73.28tokens/s

[User] <<< 简短说明这项技术如何与机器人结合
[Assistant] >>>

</think>

AI技术与机器人结合，主要通过赋予机器人智能感知、决策和执行能力，使机器人能够自主完成任务。例如，通过机器学习算法，机器人可以识别环境、理解指令，并执行相应的动作。同时，AI技术还能提升机器人的灵活性和适应性，使其在复杂环境下更好地运作。这种结合使机器人具备类似人类的智能水平，从而在工业、服务、医疗等领域发挥重要作用。
Performance prefill: 5626.37tokens/s    decode: 73.19tokens/s

关闭多轮对话

您好，我是板端大模型对话交互demo
- 输入文本：<prompt>
- 重新生成：regen
- 清除缓存：reset
- 退出程序：exit
[User] <<< 简单介绍篮球运动
[Assistant] >>> :

</think>

篮球运动是一种团队竞技体育，通常在球场上进行，由两名队伍进行对抗。比赛的目标是将球放入对方的篮筐中，得分越高越好。篮球运动的规则包括投篮、传球、防守等，玩家需要具备良好的身体素质、团队协作能力和战术意识。篮球运动在全球范围内都非常流行，尤其在北美和亚洲地区，拥有大量的粉丝和爱好者。
Performance prefill: 4376.07tokens/s    decode: 72.92tokens/s

[User] <<< 这项运动的正规比赛需要几个人
[Assistant] >>>
</think>

这项运动的正规比赛通常需要 **2人** 或 **更多人**，具体取决于运动的规则和类型。例如：

- **乒乓球**：通常需要 2人对战，但有些比赛可能有 4人制。
- **网球**：通常需要 2人对战，但有些比赛可能有 4人制。
- **足球**：通常需要 11人参加比赛，但有些比赛可能有 10人制。

具体人数需根据具体运动的规则和比赛形式确定。如果有特定运动，可以告诉我，我可以更详细地回答。
Performance prefill: 5688.89tokens/s    decode: 73.50tokens/s

页面目录

LLM开发指南

VLM开发指南

VLA开发指南

ASR开发指南

附录

接口详细说明

LLM端侧运行

示例文件说明

配置文件说明

端侧运行说明

运行结果展示

开启think

关闭think

开启多轮对话

关闭多轮对话

#LLM端侧运行

#示例文件说明

#配置文件说明

#端侧运行说明

#运行结果展示

#开启think

#关闭think

#开启多轮对话

#关闭多轮对话

LLM端侧运行

示例文件说明

配置文件说明

端侧运行说明

运行结果展示

开启think

关闭think

开启多轮对话

关闭多轮对话