1# rknn_internal_mem_reuse_demo 2 3## 说明 4 5本工程主要用于**RKNN_FLAG_MEM_ALLOC_OUTSIDE** 及 **rknn_set_internal_mem**的使用演示。 6 7RKNN_FLAG_MEM_ALLOC_OUTSIDE：主要有两方面的作用: 8- 所有内存均是用户自行分配，便于对整个系统内存进行统筹安排 9- 用于内存复用，特别是针对RV1103/RV1106这种内存极为紧张的情况。 10 11 12假设有模型A、B 两个模型，这两个模型在设计上串行运行的，那么这两个模型的中间tensor的内存就可以复用。示例代码如下： 13``` 14rknn_context ctx_a, ctx_b; 15 16rknn_init(&ctx_a, model_path_a, 0, RKNN_FLAG_MEM_ALLOC_OUTSIDE, NULL); 17rknn_query(ctx_a, RKNN_QUERY_MEM_SIZE, &mem_size_a, sizeof(mem_size_a)); 18 19rknn_init(&ctx_b, model_path_b, 0, RKNN_FLAG_MEM_ALLOC_OUTSIDE, NULL); 20rknn_query(ctx_b, RKNN_QUERY_MEM_SIZE, &mem_size_b, sizeof(mem_size_b)); 21 22max_internal_size = MAX(mem_size_a.total_internal_size, mem_size_b.total_internal_size); 23internal_mem_max = rknn_create_mem(ctx_a, max_internal_size); 24 25internal_mem_a = rknn_create_mem_from_fd(ctx_a, internal_mem_max->fd, 26 internal_mem_max->virt_addr, mem_size_a.total_internal_size, 0); 27rknn_set_internal_mem(ctx_a, internal_mem_a); 28 29internal_mem_b = rknn_create_mem_from_fd(ctx_b, internal_mem_max->fd, 30 internal_mem_max->virt_addr, mem_size_a.total_internal_size, 0); 31rknn_set_internal_mem(ctx_b, internal_mem_b); 32``` 33 34 35 36注意：本工程使用了上级目录的rknn_mobilenet_demo及rknn_yolov5_demo两个工程的rknn模型，编译之前请确保其存在。 37 38## Android Demo 39 40### 编译 41 42根据指定平台修改 `build-android_<TARGET_PLATFORM>.sh`中的Android NDK的路径 `ANDROID_NDK_PATH`，<TARGET_PLATFORM>可以是RK356X或RK3588 例如修改成： 43 44```sh 45ANDROID_NDK_PATH=~/opt/tool_chain/android-ndk-r17 46``` 47 48然后执行： 49 50```sh 51./build-android_<TARGET_PLATFORM>.sh 52``` 53 54### 推送执行文件到板子 55 56连接板子的usb口到PC,将整个demo目录到 `/data`: 57 58```sh 59adb root 60adb remount 61adb push install/rknn_internal_mem_reuse_demo_Android /data/ 62``` 63 64### 运行 65 66```sh 67adb shell 68cd /data/rknn_internal_mem_reuse_demo_Android/ 69 70export LD_LIBRARY_PATH=./lib 71./rknn_internal_mem_reuse_demo model/<TARGET_PLATFORM>/yolov5s-640-640.rknn model/bus.jpg model/<TARGET_PLATFORM>/mobilenet_v1.rknn model/cat_224x224.jpg 72``` 73 74## Aarch64 Linux Demo 75 76### 编译 77 78根据指定平台修改 `build-linux_<TARGET_PLATFORM>.sh`中的交叉编译器所在目录的路径 `GCC_COMPILER`，例如修改成 79 80```sh 81export GCC_COMPILER=prebuilts/gcc/linux-x86/aarch64/gcc-buildroot-9.3.0-2020.03-x86_64_aarch64-rockchip-linux-gnu/bin/aarch64-linux 82``` 83 84然后执行： 85 86```sh 87./build-linux_<TARGET_PLATFORM>.sh 88``` 89 90### 推送执行文件到板子 91 92 93将 install/rknn_internal_mem_reuse_demo_Linux 拷贝到板子的/userdata/目录. 94 95- 如果使用rockchip的EVB板子，可以使用adb将文件推到板子上： 96 97``` 98adb push install/rknn_internal_mem_reuse_demo_Linux /userdata/ 99``` 100 101- 如果使用其他板子，可以使用scp等方式将install/rknn_internal_mem_reuse_demo_Linux拷贝到板子的/userdata/目录 102 103### 运行 104 105```sh 106adb shell 107cd /userdata/rknn_internal_mem_reuse_demo_Linux/ 108 109export LD_LIBRARY_PATH=./lib 110./rknn_internal_mem_reuse_demo model/<TARGET_PLATFORM>/yolov5s-640-640.rknn model/bus.jpg model/<TARGET_PLATFORM>/mobilenet_v1.rknn model/cat_224x224.jpg 111``` 112 113
