构建 ExecuTorch Android 演示应用程序¶

这是从 PyTorch Android Demo App 分叉而来的。

本指南介绍了如何使用演示应用程序设置 ExecuTorch for Android。该应用程序使用 DeepLab v3 模型执行图像分割任务。使用 XNNPACK FP32 后端将模型导出到 ExecuTorch。

您将学到什么

如何为 Android arm64-v8a 设置构建目标
如何使用适用于 Android 的 JNI 包装器构建所需的 ExecuTorch 运行时
如何使用所需的 JNI 库和模型文件构建应用程序

先决条件

参考设置 ExecuTorch 来设置仓库和开发环境。
下载并安装 Android Studio 和 SDK。
支持的主机操作系统： CentOS、macOS Ventura （M1/x86_64）。有关 Qualcomm HTP 的具体要求，请参阅下文。
仅限 Qualcomm HTP1：要在 Qualcomm 的 AI Engine Direct 上构建和运行，请按照使用 Qualcomm AI Engine Direct 后端构建和运行 ExecuTorch 了解硬件和软件先决条件。我们在本教程中使用的版本是 2.19。我们用于本教程的芯片是 SM8450。

注意

此演示应用程序和教程仅经过 arm64-v8a ABI 验证。

建¶

提前¶

我们在 Android Demo App 中为 ExecuTorch 运行时生成模型文件。

XNNPACK 委派¶

要将 DeepLab v3 委托给 XNNPACK 后端，请执行以下操作以导出模型：

python3 -m examples.xnnpack.aot_compiler --model_name="dl3" --delegate
mkdir -p examples/demo-apps/android/ExecuTorchDemo/app/src/main/assets/
cp dl3_xnnpack_fp32.pte examples/demo-apps/android/ExecuTorchDemo/app/src/main/assets/

有关降低到 XNNPACK 的更详细教程，请参见 XNNPACK 后端。

高通 Hexagon NPU¶

要委托给 Qualcomm Hexagon NPU，请按照此处的教程进行操作。

生成模型后，将模型复制到目录下。assets

python -m examples.qualcomm.scripts.deeplab_v3 -b build-android -m SM8450 -s <adb_connected_device_serial>
cp deeplab_v3/dlv3_qnn.pte examples/demo-apps/android/ExecuTorchDemo/app/src/main/assets/

运行¶

我们构建所需的 ExecuTorch 运行时库来运行模型。

XNNPACK 包装¶

使用 XNNPACK 后端为库构建 CMake 目标：

export ANDROID_NDK=<path-to-android-ndk>
export ANDROID_ABI=arm64-v8a

rm -rf cmake-android-out && mkdir cmake-android-out

# Build the core executorch library
cmake . -DCMAKE_INSTALL_PREFIX=cmake-android-out \
  -DCMAKE_TOOLCHAIN_FILE="${ANDROID_NDK}/build/cmake/android.toolchain.cmake" \
  -DANDROID_ABI="${ANDROID_ABI}" \
  -DEXECUTORCH_BUILD_XNNPACK=ON \
  -DEXECUTORCH_BUILD_EXTENSION_DATA_LOADER=ON \
  -DEXECUTORCH_BUILD_EXTENSION_MODULE=ON \
  -DEXECUTORCH_BUILD_EXTENSION_RUNNER_UTIL=ON \
  -DEXECUTORCH_BUILD_EXTENSION_TENSOR=ON \
  -Bcmake-android-out

cmake --build cmake-android-out -j16 --target install

当我们设置时，我们将构建目标，该目标又通过 CMake 链接到 libexecutorch_jni 中。EXECUTORCH_BUILD_XNNPACK=ON

构建 Android 扩展：

# Build the android extension
cmake extension/android \
  -DCMAKE_TOOLCHAIN_FILE="${ANDROID_NDK}"/build/cmake/android.toolchain.cmake \
  -DANDROID_ABI="${ANDROID_ABI}" \
  -DCMAKE_INSTALL_PREFIX=cmake-android-out \
  -Bcmake-android-out/extension/android

cmake --build cmake-android-out/extension/android -j16

libexecutorch_jni.so包装了所需的 XNNPACK 后端运行时库，并使用 fbjni 添加了一个额外的 JNI 层。这稍后将公开给 Java 应用程序。xnnpack_backend

高通 Hexagon NPU¶

使用 Qualcomm Hexagon NPU （HTP）后端（也包括 XNNPACK）为库构建 CMake 目标：

export ANDROID_NDK=<path-to-android-ndk>
export ANDROID_ABI=arm64-v8a
export QNN_SDK_ROOT=<path-to-qnn-sdk>

rm -rf cmake-android-out && mkdir cmake-android-out && cd cmake-android-out
cmake . -DCMAKE_INSTALL_PREFIX=cmake-android-out \
    -DCMAKE_TOOLCHAIN_FILE="${ANDROID_NDK}/build/cmake/android.toolchain.cmake" \
    -DANDROID_ABI="${ANDROID_ABI}" \
    -DEXECUTORCH_BUILD_XNNPACK=ON \
    -DEXECUTORCH_BUILD_QNN=ON \
    -DQNN_SDK_ROOT="${QNN_SDK_ROOT}" \
    -DEXECUTORCH_BUILD_EXTENSION_DATA_LOADER=ON \
    -DEXECUTORCH_BUILD_EXTENSION_MODULE=ON \
    -DEXECUTORCH_BUILD_EXTENSION_RUNNER_UTIL=ON \
    -DEXECUTORCH_BUILD_EXTENSION_TENSOR=ON \
    -Bcmake-android-out

cmake --build cmake-android-out -j16 --target install

与 XNNPACK 库类似，通过此设置，我们进行编译，但它添加了一个额外的静态库，该库包装了 Qualcomm HTP 运行时库并注册了 Qualcomm HTP 后端。这稍后将公开给 Java 应用程序。libexecutorch_jni.soqnn_executorch_backend

qnn_executorch_backend在我们打开 CMake 选项时构建。它将包括来自 backends/qualcomm 的 CMakeLists.txt，其中我们 .EXECUTORCH_BUILD_QNNadd_library(qnn_executorch_backend STATIC)

构建 Android 扩展：

cmake extension/android \
  -DCMAKE_TOOLCHAIN_FILE="${ANDROID_NDK}"/build/cmake/android.toolchain.cmake \
  -DANDROID_ABI="${ANDROID_ABI}" \
  -DCMAKE_INSTALL_PREFIX=cmake-android-out \
  -Bcmake-android-out/extension/android

cmake --build cmake-android-out/extension/android -j16

通过 Demo App 在设备上部署¶

通过 XNNPACK 部署模型的步骤¶

mkdir -p examples/demo-apps/android/ExecuTorchDemo/app/src/main/jniLibs/arm64-v8a
cp cmake-android-out/extension/android/libexecutorch_jni.so \
   examples/demo-apps/android/ExecuTorchDemo/app/src/main/jniLibs/arm64-v8a/libexecutorch.so

这允许 Android 应用程序将带有 XNNPACK 后端的 ExecuTorch 运行时加载为 JNI 库。稍后，此共享库将由 Java 代码加载。NativePeer.java

通过 Qualcomm 的 AI Engine Direct 部署模型的步骤¶

mkdir -p ../examples/demo-apps/android/ExecuTorchDemo/app/src/main/jniLibs/arm64-v8a

我们需要将一些额外的 Qualcomm HTP 后端库推送到应用程序。请在此处参阅 Qualcomm 文档。

cp ${QNN_SDK_ROOT}/lib/aarch64-android/libQnnHtp.so ${QNN_SDK_ROOT}/lib/hexagon-v69/unsigned/libQnnHtpV69Skel.so ${QNN_SDK_ROOT}/lib/aarch64-android/libQnnHtpV69Stub.so ${QNN_SDK_ROOT}/lib/aarch64-android/libQnnSystem.so \
   examples/demo-apps/android/ExecuTorchDemo/app/src/main/jniLibs/arm64-v8a

复制核心库：

cp cmake-android-out/extension/android/libexecutorch_jni.so \
   examples/demo-apps/android/ExecuTorchDemo/app/src/main/jniLibs/arm64-v8a/libexecutorch.so
cp cmake-android-out/lib/libqnn_executorch_backend.so \
   examples/demo-apps/android/ExecuTorchDemo/app/src/main/jniLibs/arm64-v8a/libqnn_executorch_backend.so

运行应用程序¶

使用 Android Studio 打开项目。examples/demo-apps/android/ExecuTorchDemo
运行应用程序（^R）。

Android Studio 视图

在手机或仿真器上，您可以尝试运行该模型： Android 演示

要点¶

通过本教程，我们学习了如何使用 XNNPACK（或 Qualcomm HTP）后端构建 ExecuTorch 运行时库，并将其公开给 JNI 层以构建运行分段模型的 Android 应用程序。

报告问题¶

如果您在本教程后遇到任何错误或问题，请在 Github 上提交错误/问题。

1: 仅当应用程序中需要 Qualcomm HTP Backend 时，此部分才适用。这同样适用于带有标题的章节。Qualcomm Hexagon NPU

构建 ExecuTorch Android 演示应用程序¶

建¶

提前¶

XNNPACK 委派¶

高通 Hexagon NPU¶

运行¶

XNNPACK 包装¶

高通 Hexagon NPU¶

通过 Demo App 在设备上部署¶

通过 XNNPACK 部署模型的步骤¶

通过 Qualcomm 的 AI Engine Direct 部署模型的步骤¶

运行应用程序¶

要点¶

报告问题¶

文档

教程

资源