x86环境配置
如果不做模型量化编译，直接使用地瓜编译好的模型快速体验端侧功能，可跳过该章节。
若您有自行量化编译大模型的需求，请联系地瓜机器人技术支持获取相关资料。
推荐硬件配置
| 硬件 | 要求 |
|---|
| CPU | Intel(R) Core(TM) i9-14900K 32核 |
| GPU | NVIDIA RTX 3090 |
| DDR | 128G |
开发包准备
下载我们提供的 D-Robotics_LLM_S600_{version}.tar.gz 安装包并正确解压到x86开发机。
安装Conda环境
为了方便进行Python环境的管理，我们推荐使用Miniforge3作为Python的包管理工具。
-
下载Miniforge3安装包：
wget -c https://mirrors.bfsu.edu.cn/github-release/conda-forge/miniforge/LatestRelease/Miniforge3-Linux-x86_64.sh
-
安装Miniforge3：
chmod 777 Miniforge3-Linux-x86_64.sh
sh Miniforge3-Linux-x86_64.sh
设置Conda环境
-
进入Conda base环境中，参考如下命令：
# ~/miniforge3为Miniforge3默认安装路径，根据实际情况选择
source ~/miniforge3/bin/activate
(base) xxx@xxx:~$
-
创建并进入python3.10的环境，参考如下：
conda create -n oellm python=3.10
conda activate oellm
# (oellm) xxx@xxx:~$
安装必要的python环境：
# D-Robotics_LLM_S600_{version}路径下
pip install -r ./oellm_build/requirements.txt
安装开发包内其他文件
Conda环境设置完成后，需要继续安装LLM开发包内的模型量化转换和编译工具包，参考如下命令：
pip install ./oellm_build/hbdk4_compiler-{version}-cp310-cp310-manylinux_2_17_x86_64.whl
pip install ./oellm_build/hbdk4_runtime_aarch64_unknown_linux_gnu_nash-{version}-py3-none-any.whl
pip install ./oellm_build/leap_llm-{version}-py310-none-any.whl
至此，我们完成了x86开发机模型量化编译环境的部署。
交叉编译工具链配置
在LLM开发包内我们提供了交叉编译工具链的安装包，用于在x86平台交叉编译arm程序。您可在x86创建目录并解压安装包，参考如下命令：
sudo mkdir -p /opt/aarch64/
sudo tar -xvf arm-gnu-toolchain-13.2.rel1-x86_64-aarch64-none-linux-gnu.tar.xz -C /opt/aarch64/
解压至/opt目录需要root权限，您也可以选择解压至其他目录。解压完成后，需要配置交叉编译工具链的环境变量，参考如下命令：
export LINARO_GCC_ROOT=/opt/aarch64/arm-gnu-toolchain-13.2.Rel1-x86_64-aarch64-none-linux-gnu
至此，您可以在x86平台交叉编译arm可执行程序，例如oellm_runtime的示例demo。
