xref: /optee_os/core/kernel/asan.c (revision c9c847d592f02c29bc61c1a94810eb7d8735986b)
11bb92983SJerome Forissier // SPDX-License-Identifier: BSD-2-Clause
21d171f95SJens Wiklander /*
31d171f95SJens Wiklander  * Copyright (c) 2016, Linaro Limited
41d171f95SJens Wiklander  */
51d171f95SJens Wiklander 
61d171f95SJens Wiklander #include <assert.h>
71d171f95SJens Wiklander #include <compiler.h>
80b1d6bacSJens Wiklander #include <keep.h>
91d171f95SJens Wiklander #include <kernel/asan.h>
100b1d6bacSJens Wiklander #include <kernel/panic.h>
11*c9c847d5SAleksandr Iashchenko #include <printk.h>
121d171f95SJens Wiklander #include <string.h>
130b1d6bacSJens Wiklander #include <trace.h>
141d171f95SJens Wiklander #include <types_ext.h>
151d171f95SJens Wiklander #include <util.h>
161d171f95SJens Wiklander 
1757cf66e1SJens Wiklander #if __GCC_VERSION >= 70000
1857cf66e1SJens Wiklander #define ASAN_ABI_VERSION 7
1957cf66e1SJens Wiklander #else
2057cf66e1SJens Wiklander #define ASAN_ABI_VERSION 6
2157cf66e1SJens Wiklander #endif
2257cf66e1SJens Wiklander 
231d171f95SJens Wiklander struct asan_source_location {
241d171f95SJens Wiklander 	const char *file_name;
251d171f95SJens Wiklander 	int line_no;
261d171f95SJens Wiklander 	int column_no;
271d171f95SJens Wiklander };
281d171f95SJens Wiklander 
291d171f95SJens Wiklander struct asan_global {
301d171f95SJens Wiklander 	uintptr_t beg;
311d171f95SJens Wiklander 	uintptr_t size;
321d171f95SJens Wiklander 	uintptr_t size_with_redzone;
331d171f95SJens Wiklander 	const char *name;
341d171f95SJens Wiklander 	const char *module_name;
351d171f95SJens Wiklander 	uintptr_t has_dynamic_init;
361d171f95SJens Wiklander 	struct asan_source_location *location;
3757cf66e1SJens Wiklander #if ASAN_ABI_VERSION >= 7
3857cf66e1SJens Wiklander 	uintptr_t odr_indicator;
3957cf66e1SJens Wiklander #endif
401d171f95SJens Wiklander };
411d171f95SJens Wiklander 
421d171f95SJens Wiklander static vaddr_t asan_va_base;
431d171f95SJens Wiklander static size_t asan_va_size;
441d171f95SJens Wiklander static bool asan_active;
45*c9c847d5SAleksandr Iashchenko static asan_panic_cb_t asan_panic_cb = asan_panic;
461d171f95SJens Wiklander 
47bce4951cSJens Wiklander static int8_t *va_to_shadow(const void *va)
481d171f95SJens Wiklander {
491d171f95SJens Wiklander 	vaddr_t sa = ((vaddr_t)va / ASAN_BLOCK_SIZE) + CFG_ASAN_SHADOW_OFFSET;
501d171f95SJens Wiklander 
511d171f95SJens Wiklander 	return (int8_t *)sa;
521d171f95SJens Wiklander }
531d171f95SJens Wiklander 
54bce4951cSJens Wiklander static size_t va_range_to_shadow_size(const void *begin, const void *end)
551d171f95SJens Wiklander {
561d171f95SJens Wiklander 	return ((vaddr_t)end - (vaddr_t)begin) / ASAN_BLOCK_SIZE;
571d171f95SJens Wiklander }
581d171f95SJens Wiklander 
59bce4951cSJens Wiklander static bool va_range_inside_shadow(const void *begin, const void *end)
601d171f95SJens Wiklander {
611d171f95SJens Wiklander 	vaddr_t b = (vaddr_t)begin;
621d171f95SJens Wiklander 	vaddr_t e = (vaddr_t)end;
631d171f95SJens Wiklander 
641d171f95SJens Wiklander 	if (b >= e)
651d171f95SJens Wiklander 		return false;
661d171f95SJens Wiklander 	return (b >= asan_va_base) && (e <= (asan_va_base + asan_va_size));
671d171f95SJens Wiklander }
681d171f95SJens Wiklander 
69bce4951cSJens Wiklander static bool va_range_outside_shadow(const void *begin, const void *end)
701d171f95SJens Wiklander {
711d171f95SJens Wiklander 	vaddr_t b = (vaddr_t)begin;
721d171f95SJens Wiklander 	vaddr_t e = (vaddr_t)end;
731d171f95SJens Wiklander 
741d171f95SJens Wiklander 	if (b >= e)
751d171f95SJens Wiklander 		return false;
761d171f95SJens Wiklander 	return (e <= asan_va_base) || (b >= (asan_va_base + asan_va_size));
771d171f95SJens Wiklander }
781d171f95SJens Wiklander 
79bce4951cSJens Wiklander static size_t va_misalignment(const void *va)
801d171f95SJens Wiklander {
811d171f95SJens Wiklander 	return (vaddr_t)va & ASAN_BLOCK_MASK;
821d171f95SJens Wiklander }
831d171f95SJens Wiklander 
84bce4951cSJens Wiklander static bool va_is_well_aligned(const void *va)
851d171f95SJens Wiklander {
861d171f95SJens Wiklander 	return !va_misalignment(va);
871d171f95SJens Wiklander }
881d171f95SJens Wiklander 
89bce4951cSJens Wiklander void asan_set_shadowed(const void *begin, const void *end)
901d171f95SJens Wiklander {
911d171f95SJens Wiklander 	vaddr_t b = (vaddr_t)begin;
921d171f95SJens Wiklander 	vaddr_t e = (vaddr_t)end;
931d171f95SJens Wiklander 
941d171f95SJens Wiklander 	assert(!asan_va_base);
951d171f95SJens Wiklander 	assert(va_is_well_aligned(begin));
961d171f95SJens Wiklander 	assert(va_is_well_aligned(end));
971d171f95SJens Wiklander 	assert(b < e);
981d171f95SJens Wiklander 
991d171f95SJens Wiklander 	asan_va_base = b;
1001d171f95SJens Wiklander 	asan_va_size = e - b;
1011d171f95SJens Wiklander }
1021d171f95SJens Wiklander 
103bce4951cSJens Wiklander void asan_tag_no_access(const void *begin, const void *end)
1041d171f95SJens Wiklander {
1051d171f95SJens Wiklander 	assert(va_is_well_aligned(begin));
1061d171f95SJens Wiklander 	assert(va_is_well_aligned(end));
1071d171f95SJens Wiklander 	assert(va_range_inside_shadow(begin, end));
1081d171f95SJens Wiklander 
109abccd909SJens Wiklander 	asan_memset_unchecked(va_to_shadow(begin), ASAN_DATA_RED_ZONE,
1101d171f95SJens Wiklander 			      va_range_to_shadow_size(begin, end));
1111d171f95SJens Wiklander }
1121d171f95SJens Wiklander 
113bce4951cSJens Wiklander void asan_tag_access(const void *begin, const void *end)
1141d171f95SJens Wiklander {
11524fe8015SJens Wiklander 	if (!asan_va_base || (begin == end))
1161d171f95SJens Wiklander 		return;
1171d171f95SJens Wiklander 
1181d171f95SJens Wiklander 	assert(va_range_inside_shadow(begin, end));
1191d171f95SJens Wiklander 	assert(va_is_well_aligned(begin));
1201d171f95SJens Wiklander 
121abccd909SJens Wiklander 	asan_memset_unchecked(va_to_shadow(begin), 0,
122abccd909SJens Wiklander 			      va_range_to_shadow_size(begin, end));
1231d171f95SJens Wiklander 	if (!va_is_well_aligned(end))
1241d171f95SJens Wiklander 		*va_to_shadow(end) = ASAN_BLOCK_SIZE - va_misalignment(end);
1251d171f95SJens Wiklander }
1261d171f95SJens Wiklander 
127bce4951cSJens Wiklander void asan_tag_heap_free(const void *begin, const void *end)
1281d171f95SJens Wiklander {
1291d171f95SJens Wiklander 	if (!asan_va_base)
1301d171f95SJens Wiklander 		return;
1311d171f95SJens Wiklander 
1321d171f95SJens Wiklander 	assert(va_range_inside_shadow(begin, end));
1331d171f95SJens Wiklander 	assert(va_is_well_aligned(begin));
1341d171f95SJens Wiklander 	assert(va_is_well_aligned(end));
1351d171f95SJens Wiklander 
136abccd909SJens Wiklander 	asan_memset_unchecked(va_to_shadow(begin), ASAN_HEAP_RED_ZONE,
1371d171f95SJens Wiklander 			      va_range_to_shadow_size(begin, end));
1381d171f95SJens Wiklander }
1391d171f95SJens Wiklander 
1405bea6aedSJerome Forissier __inhibit_loop_to_libcall void *asan_memset_unchecked(void *s, int c, size_t n)
141abccd909SJens Wiklander {
142abccd909SJens Wiklander 	uint8_t *b = s;
143abccd909SJens Wiklander 	size_t m;
144abccd909SJens Wiklander 
145abccd909SJens Wiklander 	for (m = 0; m < n; m++)
146abccd909SJens Wiklander 		b[m] = c;
147abccd909SJens Wiklander 
148abccd909SJens Wiklander 	return s;
149abccd909SJens Wiklander }
150abccd909SJens Wiklander 
1515bea6aedSJerome Forissier __inhibit_loop_to_libcall
15206fe4216SJens Wiklander void *asan_memcpy_unchecked(void *__restrict dst, const void *__restrict src,
15306fe4216SJens Wiklander 			    size_t len)
15406fe4216SJens Wiklander {
15506fe4216SJens Wiklander 	uint8_t *__restrict d = dst;
15606fe4216SJens Wiklander 	const uint8_t *__restrict s = src;
15706fe4216SJens Wiklander 	size_t n;
15806fe4216SJens Wiklander 
15906fe4216SJens Wiklander 	for (n = 0; n < len; n++)
16006fe4216SJens Wiklander 		d[n] = s[n];
16106fe4216SJens Wiklander 
16206fe4216SJens Wiklander 	return dst;
16306fe4216SJens Wiklander }
16406fe4216SJens Wiklander 
1651d171f95SJens Wiklander void asan_start(void)
1661d171f95SJens Wiklander {
1671d171f95SJens Wiklander 	assert(asan_va_base && !asan_active);
1681d171f95SJens Wiklander 	asan_active = true;
1691d171f95SJens Wiklander }
1701d171f95SJens Wiklander 
171*c9c847d5SAleksandr Iashchenko void __noreturn asan_panic(void)
172*c9c847d5SAleksandr Iashchenko {
173*c9c847d5SAleksandr Iashchenko 	panic();
174*c9c847d5SAleksandr Iashchenko }
175*c9c847d5SAleksandr Iashchenko 
176*c9c847d5SAleksandr Iashchenko void asan_set_panic_cb(asan_panic_cb_t panic_cb)
177*c9c847d5SAleksandr Iashchenko {
178*c9c847d5SAleksandr Iashchenko 	asan_panic_cb = panic_cb;
179*c9c847d5SAleksandr Iashchenko }
180*c9c847d5SAleksandr Iashchenko 
181*c9c847d5SAleksandr Iashchenko static void asan_report(vaddr_t addr, size_t size)
182*c9c847d5SAleksandr Iashchenko {
183*c9c847d5SAleksandr Iashchenko #ifdef KASAN_DUMP_SHADOW
184*c9c847d5SAleksandr Iashchenko 	char buf[128] = {0};
185*c9c847d5SAleksandr Iashchenko 	int r = 0, rc = 0;
186*c9c847d5SAleksandr Iashchenko 	vaddr_t b = 0, e = 0, saddr = 0;
187*c9c847d5SAleksandr Iashchenko 
188*c9c847d5SAleksandr Iashchenko 	b = ROUNDDOWN(addr, ASAN_BLOCK_SIZE) - ASAN_BLOCK_SIZE;
189*c9c847d5SAleksandr Iashchenko 	e = ROUNDDOWN(addr, ASAN_BLOCK_SIZE) + ASAN_BLOCK_SIZE;
190*c9c847d5SAleksandr Iashchenko 
191*c9c847d5SAleksandr Iashchenko 	/* Print shadow map nearby */
192*c9c847d5SAleksandr Iashchenko 	if (va_range_inside_shadow((void *)b, (void *)e)) {
193*c9c847d5SAleksandr Iashchenko 		rc = snprintk(buf + r, sizeof(buf) - r, "%lx: ", b);
194*c9c847d5SAleksandr Iashchenko 		assert(rc > 0);
195*c9c847d5SAleksandr Iashchenko 		r += rc;
196*c9c847d5SAleksandr Iashchenko 		for (saddr = b; saddr <= e; saddr += ASAN_BLOCK_SIZE) {
197*c9c847d5SAleksandr Iashchenko 			int8_t *sbyte = va_to_shadow((void *)saddr);
198*c9c847d5SAleksandr Iashchenko 
199*c9c847d5SAleksandr Iashchenko 			rc = snprintk(buf + r, sizeof(buf) - r,
200*c9c847d5SAleksandr Iashchenko 				      "0x%02x ", (uint8_t)*sbyte);
201*c9c847d5SAleksandr Iashchenko 			assert(rc > 0);
202*c9c847d5SAleksandr Iashchenko 			r += rc;
203*c9c847d5SAleksandr Iashchenko 		}
204*c9c847d5SAleksandr Iashchenko 		EMSG("%s", buf);
205*c9c847d5SAleksandr Iashchenko 	}
206*c9c847d5SAleksandr Iashchenko #endif
207*c9c847d5SAleksandr Iashchenko 	EMSG("[ASAN]: access violation, addr: %lx size: %zu\n",
208*c9c847d5SAleksandr Iashchenko 	     addr, size);
209*c9c847d5SAleksandr Iashchenko 
210*c9c847d5SAleksandr Iashchenko 	asan_panic_cb();
211*c9c847d5SAleksandr Iashchenko }
212*c9c847d5SAleksandr Iashchenko 
2131d171f95SJens Wiklander static void check_access(vaddr_t addr, size_t size)
2141d171f95SJens Wiklander {
2151d171f95SJens Wiklander 	void *begin = (void *)addr;
2161d171f95SJens Wiklander 	void *end = (void *)(addr + size);
2171d171f95SJens Wiklander 	int8_t *a;
2181d171f95SJens Wiklander 	int8_t *e;
2191d171f95SJens Wiklander 
2201d171f95SJens Wiklander 	if (!asan_active || !size)
2211d171f95SJens Wiklander 		return;
2221d171f95SJens Wiklander 	if (va_range_outside_shadow(begin, end))
2231d171f95SJens Wiklander 		return;
2241d171f95SJens Wiklander 	/*
2251d171f95SJens Wiklander 	 * If it isn't outside it has to be completely inside or there's a
2261d171f95SJens Wiklander 	 * problem.
2271d171f95SJens Wiklander 	 */
2281d171f95SJens Wiklander 	if (!va_range_inside_shadow(begin, end))
2291d171f95SJens Wiklander 		panic();
2301d171f95SJens Wiklander 
231726ce13eSJens Wiklander 	e = va_to_shadow((void *)(addr + size - 1));
232726ce13eSJens Wiklander 	for (a = va_to_shadow(begin); a <= e; a++)
2331d171f95SJens Wiklander 		if (*a < 0)
234*c9c847d5SAleksandr Iashchenko 			asan_report(addr, size);
2351d171f95SJens Wiklander 
2361d171f95SJens Wiklander 	if (!va_is_well_aligned(end) &&
2371d171f95SJens Wiklander 	    va_misalignment(end) > (size_t)(*e - ASAN_BLOCK_SIZE))
238*c9c847d5SAleksandr Iashchenko 		asan_report(addr, size);
2391d171f95SJens Wiklander }
2401d171f95SJens Wiklander 
2411d171f95SJens Wiklander static void check_load(vaddr_t addr, size_t size)
2421d171f95SJens Wiklander {
2431d171f95SJens Wiklander 	check_access(addr, size);
2441d171f95SJens Wiklander }
2451d171f95SJens Wiklander 
2461d171f95SJens Wiklander static void check_store(vaddr_t addr, size_t size)
2471d171f95SJens Wiklander {
2481d171f95SJens Wiklander 	check_access(addr, size);
2491d171f95SJens Wiklander }
2501d171f95SJens Wiklander 
2511d171f95SJens Wiklander static void __noreturn report_load(vaddr_t addr __unused, size_t size __unused)
2521d171f95SJens Wiklander {
2531d171f95SJens Wiklander 	panic();
2541d171f95SJens Wiklander }
2551d171f95SJens Wiklander 
2561d171f95SJens Wiklander static void __noreturn report_store(vaddr_t addr __unused, size_t size __unused)
2571d171f95SJens Wiklander {
2581d171f95SJens Wiklander 	panic();
2591d171f95SJens Wiklander }
2601d171f95SJens Wiklander 
2611d171f95SJens Wiklander 
2621d171f95SJens Wiklander 
2631d171f95SJens Wiklander #define DEFINE_ASAN_FUNC(type, size)				\
2641d171f95SJens Wiklander 	void __asan_##type##size(vaddr_t addr);			\
2651d171f95SJens Wiklander 	void __asan_##type##size(vaddr_t addr)			\
2661d171f95SJens Wiklander 	{ check_##type(addr, size); }				\
2671d171f95SJens Wiklander 	void __asan_##type##size##_noabort(vaddr_t addr);	\
2681d171f95SJens Wiklander 	void __asan_##type##size##_noabort(vaddr_t addr)	\
2691d171f95SJens Wiklander 	{ check_##type(addr, size); }				\
2701d171f95SJens Wiklander 	void __asan_report_##type##size##_noabort(vaddr_t addr);\
2711d171f95SJens Wiklander 	void __noreturn __asan_report_##type##size##_noabort(vaddr_t addr) \
2721d171f95SJens Wiklander 	{ report_##type(addr, size); }
2731d171f95SJens Wiklander 
2741d171f95SJens Wiklander DEFINE_ASAN_FUNC(load, 1)
2751d171f95SJens Wiklander DEFINE_ASAN_FUNC(load, 2)
2761d171f95SJens Wiklander DEFINE_ASAN_FUNC(load, 4)
2771d171f95SJens Wiklander DEFINE_ASAN_FUNC(load, 8)
2781d171f95SJens Wiklander DEFINE_ASAN_FUNC(load, 16)
2791d171f95SJens Wiklander DEFINE_ASAN_FUNC(store, 1)
2801d171f95SJens Wiklander DEFINE_ASAN_FUNC(store, 2)
2811d171f95SJens Wiklander DEFINE_ASAN_FUNC(store, 4)
2821d171f95SJens Wiklander DEFINE_ASAN_FUNC(store, 8)
2831d171f95SJens Wiklander DEFINE_ASAN_FUNC(store, 16)
2841d171f95SJens Wiklander 
2851d171f95SJens Wiklander void __asan_loadN_noabort(vaddr_t addr, size_t size);
2861d171f95SJens Wiklander void __asan_loadN_noabort(vaddr_t addr, size_t size)
2871d171f95SJens Wiklander {
2881d171f95SJens Wiklander 	check_load(addr, size);
2891d171f95SJens Wiklander }
2901d171f95SJens Wiklander 
2911d171f95SJens Wiklander void __asan_storeN_noabort(vaddr_t addr, size_t size);
2921d171f95SJens Wiklander void __asan_storeN_noabort(vaddr_t addr, size_t size)
2931d171f95SJens Wiklander {
2941d171f95SJens Wiklander 	check_store(addr, size);
2951d171f95SJens Wiklander }
2961d171f95SJens Wiklander 
2971d171f95SJens Wiklander void __asan_report_load_n_noabort(vaddr_t addr, size_t size);
2981d171f95SJens Wiklander void __noreturn __asan_report_load_n_noabort(vaddr_t addr, size_t size)
2991d171f95SJens Wiklander {
3001d171f95SJens Wiklander 	report_load(addr, size);
3011d171f95SJens Wiklander }
3021d171f95SJens Wiklander 
3031d171f95SJens Wiklander void __asan_report_store_n_noabort(vaddr_t addr, size_t size);
3041d171f95SJens Wiklander void __noreturn __asan_report_store_n_noabort(vaddr_t addr, size_t size)
3051d171f95SJens Wiklander {
3061d171f95SJens Wiklander 	report_store(addr, size);
3071d171f95SJens Wiklander }
3081d171f95SJens Wiklander 
3091d171f95SJens Wiklander void __asan_handle_no_return(void);
310ce553c81SJens Wiklander void __asan_handle_no_return(void)
3111d171f95SJens Wiklander {
3121d171f95SJens Wiklander }
3131d171f95SJens Wiklander 
3141d171f95SJens Wiklander void __asan_register_globals(struct asan_global *globals, size_t size);
3151d171f95SJens Wiklander void __asan_register_globals(struct asan_global *globals, size_t size)
3161d171f95SJens Wiklander {
3171d171f95SJens Wiklander 	size_t n;
3181d171f95SJens Wiklander 
3191d171f95SJens Wiklander 	for (n = 0; n < size; n++)
3201d171f95SJens Wiklander 		asan_tag_access((void *)globals[n].beg,
3211d171f95SJens Wiklander 				(void *)(globals[n].beg + globals[n].size));
3221d171f95SJens Wiklander }
3233639b55fSJerome Forissier DECLARE_KEEP_INIT(__asan_register_globals);
3241d171f95SJens Wiklander 
3251d171f95SJens Wiklander void __asan_unregister_globals(struct asan_global *globals, size_t size);
3261d171f95SJens Wiklander void __asan_unregister_globals(struct asan_global *globals __unused,
3271d171f95SJens Wiklander 			       size_t size __unused)
3281d171f95SJens Wiklander {
3291d171f95SJens Wiklander }
330