README.md
1# rknn_internal_mem_reuse_demo
2
3## 说明
4
5本工程主要用于**RKNN_FLAG_MEM_ALLOC_OUTSIDE** 及 **rknn_set_internal_mem**的使用演示。
6
7RKNN_FLAG_MEM_ALLOC_OUTSIDE：主要有两方面的作用:
8- 所有内存均是用户自行分配，便于对整个系统内存进行统筹安排
9- 用于内存复用，特别是针对RV1103/RV1106这种内存极为紧张的情况。
10
11
12假设有模型A、B 两个模型，这两个模型在设计上串行运行的，那么这两个模型的中间tensor的内存就可以复用。示例代码如下：
13```
14rknn_context ctx_a, ctx_b;
15
16rknn_init(&ctx_a, model_path_a, 0, RKNN_FLAG_MEM_ALLOC_OUTSIDE, NULL);
17rknn_query(ctx_a, RKNN_QUERY_MEM_SIZE, &mem_size_a, sizeof(mem_size_a));
18
19rknn_init(&ctx_b, model_path_b, 0, RKNN_FLAG_MEM_ALLOC_OUTSIDE, NULL);
20rknn_query(ctx_b, RKNN_QUERY_MEM_SIZE, &mem_size_b, sizeof(mem_size_b));
21
22max_internal_size = MAX(mem_size_a.total_internal_size, mem_size_b.total_internal_size);
23internal_mem_max = rknn_create_mem(ctx_a, max_internal_size);
24
25internal_mem_a = rknn_create_mem_from_fd(ctx_a, internal_mem_max->fd,
26 internal_mem_max->virt_addr, mem_size_a.total_internal_size, 0);
27rknn_set_internal_mem(ctx_a, internal_mem_a);
28
29internal_mem_b = rknn_create_mem_from_fd(ctx_b, internal_mem_max->fd,
30 internal_mem_max->virt_addr, mem_size_a.total_internal_size, 0);
31rknn_set_internal_mem(ctx_b, internal_mem_b);
32```
33
34
35
36注意：本工程使用了上级目录的rknn_mobilenet_demo及rknn_yolov5_demo两个工程的rknn模型，编译之前请确保其存在。
37
38## Android Demo
39
40### 编译
41
42根据指定平台修改 `build-android_<TARGET_PLATFORM>.sh`中的Android NDK的路径 `ANDROID_NDK_PATH`，<TARGET_PLATFORM>可以是RK356X或RK3588 例如修改成：
43
44```sh
45ANDROID_NDK_PATH=~/opt/tool_chain/android-ndk-r17
46```
47
48然后执行：
49
50```sh
51./build-android_<TARGET_PLATFORM>.sh
52```
53
54### 推送执行文件到板子
55
56连接板子的usb口到PC,将整个demo目录到 `/data`:
57
58```sh
59adb root
60adb remount
61adb push install/rknn_internal_mem_reuse_demo_Android /data/
62```
63
64### 运行
65
66```sh
67adb shell
68cd /data/rknn_internal_mem_reuse_demo_Android/
69
70export LD_LIBRARY_PATH=./lib
71./rknn_internal_mem_reuse_demo model/<TARGET_PLATFORM>/yolov5s-640-640.rknn model/bus.jpg model/<TARGET_PLATFORM>/mobilenet_v1.rknn model/cat_224x224.jpg
72```
73
74## Aarch64 Linux Demo
75
76### 编译
77
78根据指定平台修改 `build-linux_<TARGET_PLATFORM>.sh`中的交叉编译器所在目录的路径 `GCC_COMPILER`，例如修改成
79
80```sh
81export GCC_COMPILER=prebuilts/gcc/linux-x86/aarch64/gcc-buildroot-9.3.0-2020.03-x86_64_aarch64-rockchip-linux-gnu/bin/aarch64-linux
82```
83
84然后执行：
85
86```sh
87./build-linux_<TARGET_PLATFORM>.sh
88```
89
90### 推送执行文件到板子
91
92
93将 install/rknn_internal_mem_reuse_demo_Linux 拷贝到板子的/userdata/目录.
94
95- 如果使用rockchip的EVB板子，可以使用adb将文件推到板子上：
96
97```
98adb push install/rknn_internal_mem_reuse_demo_Linux /userdata/
99```
100
101- 如果使用其他板子，可以使用scp等方式将install/rknn_internal_mem_reuse_demo_Linux拷贝到板子的/userdata/目录
102
103### 运行
104
105```sh
106adb shell
107cd /userdata/rknn_internal_mem_reuse_demo_Linux/
108
109export LD_LIBRARY_PATH=./lib
110./rknn_internal_mem_reuse_demo model/<TARGET_PLATFORM>/yolov5s-640-640.rknn model/bus.jpg model/<TARGET_PLATFORM>/mobilenet_v1.rknn model/cat_224x224.jpg
111```
112
113
