xref: /optee_os/core/kernel/asan.c (revision 3639b55f101b2c3bba33740ec7bf5440b3125efc)
11bb92983SJerome Forissier // SPDX-License-Identifier: BSD-2-Clause
21d171f95SJens Wiklander /*
31d171f95SJens Wiklander  * Copyright (c) 2016, Linaro Limited
41d171f95SJens Wiklander  */
51d171f95SJens Wiklander 
61d171f95SJens Wiklander #include <assert.h>
71d171f95SJens Wiklander #include <compiler.h>
80b1d6bacSJens Wiklander #include <keep.h>
91d171f95SJens Wiklander #include <kernel/asan.h>
100b1d6bacSJens Wiklander #include <kernel/panic.h>
111d171f95SJens Wiklander #include <string.h>
120b1d6bacSJens Wiklander #include <trace.h>
131d171f95SJens Wiklander #include <types_ext.h>
141d171f95SJens Wiklander #include <util.h>
151d171f95SJens Wiklander 
1657cf66e1SJens Wiklander #if __GCC_VERSION >= 70000
1757cf66e1SJens Wiklander #define ASAN_ABI_VERSION 7
1857cf66e1SJens Wiklander #else
1957cf66e1SJens Wiklander #define ASAN_ABI_VERSION 6
2057cf66e1SJens Wiklander #endif
2157cf66e1SJens Wiklander 
221d171f95SJens Wiklander struct asan_source_location {
231d171f95SJens Wiklander 	const char *file_name;
241d171f95SJens Wiklander 	int line_no;
251d171f95SJens Wiklander 	int column_no;
261d171f95SJens Wiklander };
271d171f95SJens Wiklander 
281d171f95SJens Wiklander struct asan_global {
291d171f95SJens Wiklander 	uintptr_t beg;
301d171f95SJens Wiklander 	uintptr_t size;
311d171f95SJens Wiklander 	uintptr_t size_with_redzone;
321d171f95SJens Wiklander 	const char *name;
331d171f95SJens Wiklander 	const char *module_name;
341d171f95SJens Wiklander 	uintptr_t has_dynamic_init;
351d171f95SJens Wiklander 	struct asan_source_location *location;
3657cf66e1SJens Wiklander #if ASAN_ABI_VERSION >= 7
3757cf66e1SJens Wiklander 	uintptr_t odr_indicator;
3857cf66e1SJens Wiklander #endif
391d171f95SJens Wiklander };
401d171f95SJens Wiklander 
411d171f95SJens Wiklander static vaddr_t asan_va_base;
421d171f95SJens Wiklander static size_t asan_va_size;
431d171f95SJens Wiklander static bool asan_active;
441d171f95SJens Wiklander 
45bce4951cSJens Wiklander static int8_t *va_to_shadow(const void *va)
461d171f95SJens Wiklander {
471d171f95SJens Wiklander 	vaddr_t sa = ((vaddr_t)va / ASAN_BLOCK_SIZE) + CFG_ASAN_SHADOW_OFFSET;
481d171f95SJens Wiklander 
491d171f95SJens Wiklander 	return (int8_t *)sa;
501d171f95SJens Wiklander }
511d171f95SJens Wiklander 
52bce4951cSJens Wiklander static size_t va_range_to_shadow_size(const void *begin, const void *end)
531d171f95SJens Wiklander {
541d171f95SJens Wiklander 	return ((vaddr_t)end - (vaddr_t)begin) / ASAN_BLOCK_SIZE;
551d171f95SJens Wiklander }
561d171f95SJens Wiklander 
57bce4951cSJens Wiklander static bool va_range_inside_shadow(const void *begin, const void *end)
581d171f95SJens Wiklander {
591d171f95SJens Wiklander 	vaddr_t b = (vaddr_t)begin;
601d171f95SJens Wiklander 	vaddr_t e = (vaddr_t)end;
611d171f95SJens Wiklander 
621d171f95SJens Wiklander 	if (b >= e)
631d171f95SJens Wiklander 		return false;
641d171f95SJens Wiklander 	return (b >= asan_va_base) && (e <= (asan_va_base + asan_va_size));
651d171f95SJens Wiklander }
661d171f95SJens Wiklander 
67bce4951cSJens Wiklander static bool va_range_outside_shadow(const void *begin, const void *end)
681d171f95SJens Wiklander {
691d171f95SJens Wiklander 	vaddr_t b = (vaddr_t)begin;
701d171f95SJens Wiklander 	vaddr_t e = (vaddr_t)end;
711d171f95SJens Wiklander 
721d171f95SJens Wiklander 	if (b >= e)
731d171f95SJens Wiklander 		return false;
741d171f95SJens Wiklander 	return (e <= asan_va_base) || (b >= (asan_va_base + asan_va_size));
751d171f95SJens Wiklander }
761d171f95SJens Wiklander 
77bce4951cSJens Wiklander static size_t va_misalignment(const void *va)
781d171f95SJens Wiklander {
791d171f95SJens Wiklander 	return (vaddr_t)va & ASAN_BLOCK_MASK;
801d171f95SJens Wiklander }
811d171f95SJens Wiklander 
82bce4951cSJens Wiklander static bool va_is_well_aligned(const void *va)
831d171f95SJens Wiklander {
841d171f95SJens Wiklander 	return !va_misalignment(va);
851d171f95SJens Wiklander }
861d171f95SJens Wiklander 
87bce4951cSJens Wiklander void asan_set_shadowed(const void *begin, const void *end)
881d171f95SJens Wiklander {
891d171f95SJens Wiklander 	vaddr_t b = (vaddr_t)begin;
901d171f95SJens Wiklander 	vaddr_t e = (vaddr_t)end;
911d171f95SJens Wiklander 
921d171f95SJens Wiklander 	assert(!asan_va_base);
931d171f95SJens Wiklander 	assert(va_is_well_aligned(begin));
941d171f95SJens Wiklander 	assert(va_is_well_aligned(end));
951d171f95SJens Wiklander 	assert(b < e);
961d171f95SJens Wiklander 
971d171f95SJens Wiklander 	asan_va_base = b;
981d171f95SJens Wiklander 	asan_va_size = e - b;
991d171f95SJens Wiklander }
1001d171f95SJens Wiklander 
101bce4951cSJens Wiklander void asan_tag_no_access(const void *begin, const void *end)
1021d171f95SJens Wiklander {
1031d171f95SJens Wiklander 	assert(va_is_well_aligned(begin));
1041d171f95SJens Wiklander 	assert(va_is_well_aligned(end));
1051d171f95SJens Wiklander 	assert(va_range_inside_shadow(begin, end));
1061d171f95SJens Wiklander 
107abccd909SJens Wiklander 	asan_memset_unchecked(va_to_shadow(begin), ASAN_DATA_RED_ZONE,
1081d171f95SJens Wiklander 			      va_range_to_shadow_size(begin, end));
1091d171f95SJens Wiklander }
1101d171f95SJens Wiklander 
111bce4951cSJens Wiklander void asan_tag_access(const void *begin, const void *end)
1121d171f95SJens Wiklander {
11324fe8015SJens Wiklander 	if (!asan_va_base || (begin == end))
1141d171f95SJens Wiklander 		return;
1151d171f95SJens Wiklander 
1161d171f95SJens Wiklander 	assert(va_range_inside_shadow(begin, end));
1171d171f95SJens Wiklander 	assert(va_is_well_aligned(begin));
1181d171f95SJens Wiklander 
119abccd909SJens Wiklander 	asan_memset_unchecked(va_to_shadow(begin), 0,
120abccd909SJens Wiklander 			      va_range_to_shadow_size(begin, end));
1211d171f95SJens Wiklander 	if (!va_is_well_aligned(end))
1221d171f95SJens Wiklander 		*va_to_shadow(end) = ASAN_BLOCK_SIZE - va_misalignment(end);
1231d171f95SJens Wiklander }
1241d171f95SJens Wiklander 
125bce4951cSJens Wiklander void asan_tag_heap_free(const void *begin, const void *end)
1261d171f95SJens Wiklander {
1271d171f95SJens Wiklander 	if (!asan_va_base)
1281d171f95SJens Wiklander 		return;
1291d171f95SJens Wiklander 
1301d171f95SJens Wiklander 	assert(va_range_inside_shadow(begin, end));
1311d171f95SJens Wiklander 	assert(va_is_well_aligned(begin));
1321d171f95SJens Wiklander 	assert(va_is_well_aligned(end));
1331d171f95SJens Wiklander 
134abccd909SJens Wiklander 	asan_memset_unchecked(va_to_shadow(begin), ASAN_HEAP_RED_ZONE,
1351d171f95SJens Wiklander 			      va_range_to_shadow_size(begin, end));
1361d171f95SJens Wiklander }
1371d171f95SJens Wiklander 
138abccd909SJens Wiklander void *asan_memset_unchecked(void *s, int c, size_t n)
139abccd909SJens Wiklander {
140abccd909SJens Wiklander 	uint8_t *b = s;
141abccd909SJens Wiklander 	size_t m;
142abccd909SJens Wiklander 
143abccd909SJens Wiklander 	for (m = 0; m < n; m++)
144abccd909SJens Wiklander 		b[m] = c;
145abccd909SJens Wiklander 
146abccd909SJens Wiklander 	return s;
147abccd909SJens Wiklander }
148abccd909SJens Wiklander 
14906fe4216SJens Wiklander void *asan_memcpy_unchecked(void *__restrict dst, const void *__restrict src,
15006fe4216SJens Wiklander 			    size_t len)
15106fe4216SJens Wiklander {
15206fe4216SJens Wiklander 	uint8_t *__restrict d = dst;
15306fe4216SJens Wiklander 	const uint8_t *__restrict s = src;
15406fe4216SJens Wiklander 	size_t n;
15506fe4216SJens Wiklander 
15606fe4216SJens Wiklander 	for (n = 0; n < len; n++)
15706fe4216SJens Wiklander 		d[n] = s[n];
15806fe4216SJens Wiklander 
15906fe4216SJens Wiklander 	return dst;
16006fe4216SJens Wiklander }
16106fe4216SJens Wiklander 
1621d171f95SJens Wiklander void asan_start(void)
1631d171f95SJens Wiklander {
1641d171f95SJens Wiklander 	assert(asan_va_base && !asan_active);
1651d171f95SJens Wiklander 	asan_active = true;
1661d171f95SJens Wiklander }
1671d171f95SJens Wiklander 
1681d171f95SJens Wiklander static void check_access(vaddr_t addr, size_t size)
1691d171f95SJens Wiklander {
1701d171f95SJens Wiklander 	void *begin = (void *)addr;
1711d171f95SJens Wiklander 	void *end = (void *)(addr + size);
1721d171f95SJens Wiklander 	int8_t *a;
1731d171f95SJens Wiklander 	int8_t *e;
1741d171f95SJens Wiklander 
1751d171f95SJens Wiklander 	if (!asan_active || !size)
1761d171f95SJens Wiklander 		return;
1771d171f95SJens Wiklander 	if (va_range_outside_shadow(begin, end))
1781d171f95SJens Wiklander 		return;
1791d171f95SJens Wiklander 	/*
1801d171f95SJens Wiklander 	 * If it isn't outside it has to be completely inside or there's a
1811d171f95SJens Wiklander 	 * problem.
1821d171f95SJens Wiklander 	 */
1831d171f95SJens Wiklander 	if (!va_range_inside_shadow(begin, end))
1841d171f95SJens Wiklander 		panic();
1851d171f95SJens Wiklander 
186726ce13eSJens Wiklander 	e = va_to_shadow((void *)(addr + size - 1));
187726ce13eSJens Wiklander 	for (a = va_to_shadow(begin); a <= e; a++)
1881d171f95SJens Wiklander 		if (*a < 0)
1891d171f95SJens Wiklander 			panic();
1901d171f95SJens Wiklander 
1911d171f95SJens Wiklander 	if (!va_is_well_aligned(end) &&
1921d171f95SJens Wiklander 	    va_misalignment(end) > (size_t)(*e - ASAN_BLOCK_SIZE))
1931d171f95SJens Wiklander 		panic();
1941d171f95SJens Wiklander }
1951d171f95SJens Wiklander 
1961d171f95SJens Wiklander static void check_load(vaddr_t addr, size_t size)
1971d171f95SJens Wiklander {
1981d171f95SJens Wiklander 	check_access(addr, size);
1991d171f95SJens Wiklander }
2001d171f95SJens Wiklander 
2011d171f95SJens Wiklander static void check_store(vaddr_t addr, size_t size)
2021d171f95SJens Wiklander {
2031d171f95SJens Wiklander 	check_access(addr, size);
2041d171f95SJens Wiklander }
2051d171f95SJens Wiklander 
2061d171f95SJens Wiklander static void __noreturn report_load(vaddr_t addr __unused, size_t size __unused)
2071d171f95SJens Wiklander {
2081d171f95SJens Wiklander 	panic();
2091d171f95SJens Wiklander }
2101d171f95SJens Wiklander 
2111d171f95SJens Wiklander static void __noreturn report_store(vaddr_t addr __unused, size_t size __unused)
2121d171f95SJens Wiklander {
2131d171f95SJens Wiklander 	panic();
2141d171f95SJens Wiklander }
2151d171f95SJens Wiklander 
2161d171f95SJens Wiklander 
2171d171f95SJens Wiklander 
2181d171f95SJens Wiklander #define DEFINE_ASAN_FUNC(type, size)				\
2191d171f95SJens Wiklander 	void __asan_##type##size(vaddr_t addr);			\
2201d171f95SJens Wiklander 	void __asan_##type##size(vaddr_t addr)			\
2211d171f95SJens Wiklander 	{ check_##type(addr, size); }				\
2221d171f95SJens Wiklander 	void __asan_##type##size##_noabort(vaddr_t addr);	\
2231d171f95SJens Wiklander 	void __asan_##type##size##_noabort(vaddr_t addr)	\
2241d171f95SJens Wiklander 	{ check_##type(addr, size); }				\
2251d171f95SJens Wiklander 	void __asan_report_##type##size##_noabort(vaddr_t addr);\
2261d171f95SJens Wiklander 	void __noreturn __asan_report_##type##size##_noabort(vaddr_t addr) \
2271d171f95SJens Wiklander 	{ report_##type(addr, size); }
2281d171f95SJens Wiklander 
2291d171f95SJens Wiklander DEFINE_ASAN_FUNC(load, 1)
2301d171f95SJens Wiklander DEFINE_ASAN_FUNC(load, 2)
2311d171f95SJens Wiklander DEFINE_ASAN_FUNC(load, 4)
2321d171f95SJens Wiklander DEFINE_ASAN_FUNC(load, 8)
2331d171f95SJens Wiklander DEFINE_ASAN_FUNC(load, 16)
2341d171f95SJens Wiklander DEFINE_ASAN_FUNC(store, 1)
2351d171f95SJens Wiklander DEFINE_ASAN_FUNC(store, 2)
2361d171f95SJens Wiklander DEFINE_ASAN_FUNC(store, 4)
2371d171f95SJens Wiklander DEFINE_ASAN_FUNC(store, 8)
2381d171f95SJens Wiklander DEFINE_ASAN_FUNC(store, 16)
2391d171f95SJens Wiklander 
2401d171f95SJens Wiklander void __asan_loadN_noabort(vaddr_t addr, size_t size);
2411d171f95SJens Wiklander void __asan_loadN_noabort(vaddr_t addr, size_t size)
2421d171f95SJens Wiklander {
2431d171f95SJens Wiklander 	check_load(addr, size);
2441d171f95SJens Wiklander }
2451d171f95SJens Wiklander 
2461d171f95SJens Wiklander void __asan_storeN_noabort(vaddr_t addr, size_t size);
2471d171f95SJens Wiklander void __asan_storeN_noabort(vaddr_t addr, size_t size)
2481d171f95SJens Wiklander {
2491d171f95SJens Wiklander 	check_store(addr, size);
2501d171f95SJens Wiklander }
2511d171f95SJens Wiklander 
2521d171f95SJens Wiklander void __asan_report_load_n_noabort(vaddr_t addr, size_t size);
2531d171f95SJens Wiklander void __noreturn __asan_report_load_n_noabort(vaddr_t addr, size_t size)
2541d171f95SJens Wiklander {
2551d171f95SJens Wiklander 	report_load(addr, size);
2561d171f95SJens Wiklander }
2571d171f95SJens Wiklander 
2581d171f95SJens Wiklander void __asan_report_store_n_noabort(vaddr_t addr, size_t size);
2591d171f95SJens Wiklander void __noreturn __asan_report_store_n_noabort(vaddr_t addr, size_t size)
2601d171f95SJens Wiklander {
2611d171f95SJens Wiklander 	report_store(addr, size);
2621d171f95SJens Wiklander }
2631d171f95SJens Wiklander 
2641d171f95SJens Wiklander void __asan_handle_no_return(void);
265ce553c81SJens Wiklander void __asan_handle_no_return(void)
2661d171f95SJens Wiklander {
2671d171f95SJens Wiklander }
2681d171f95SJens Wiklander 
2691d171f95SJens Wiklander void __asan_register_globals(struct asan_global *globals, size_t size);
2701d171f95SJens Wiklander void __asan_register_globals(struct asan_global *globals, size_t size)
2711d171f95SJens Wiklander {
2721d171f95SJens Wiklander 	size_t n;
2731d171f95SJens Wiklander 
2741d171f95SJens Wiklander 	for (n = 0; n < size; n++)
2751d171f95SJens Wiklander 		asan_tag_access((void *)globals[n].beg,
2761d171f95SJens Wiklander 				(void *)(globals[n].beg + globals[n].size));
2771d171f95SJens Wiklander }
278*3639b55fSJerome Forissier DECLARE_KEEP_INIT(__asan_register_globals);
2791d171f95SJens Wiklander 
2801d171f95SJens Wiklander void __asan_unregister_globals(struct asan_global *globals, size_t size);
2811d171f95SJens Wiklander void __asan_unregister_globals(struct asan_global *globals __unused,
2821d171f95SJens Wiklander 			       size_t size __unused)
2831d171f95SJens Wiklander {
2841d171f95SJens Wiklander }
285