xref: /rk3399_ARM-atf/include/arch/aarch64/arch_helpers.h (revision b86048c40cb7d9ccd7aeac1681945676a6dc36ff)
1f5478dedSAntonio Nino Diaz /*
22559b2c8SAntonio Nino Diaz  * Copyright (c) 2013-2019, ARM Limited and Contributors. All rights reserved.
3f5478dedSAntonio Nino Diaz  *
4f5478dedSAntonio Nino Diaz  * SPDX-License-Identifier: BSD-3-Clause
5f5478dedSAntonio Nino Diaz  */
6f5478dedSAntonio Nino Diaz 
7f5478dedSAntonio Nino Diaz #ifndef ARCH_HELPERS_H
8f5478dedSAntonio Nino Diaz #define ARCH_HELPERS_H
9f5478dedSAntonio Nino Diaz 
10f5478dedSAntonio Nino Diaz #include <cdefs.h>
11f5478dedSAntonio Nino Diaz #include <stdbool.h>
12f5478dedSAntonio Nino Diaz #include <stdint.h>
13f5478dedSAntonio Nino Diaz #include <string.h>
14f5478dedSAntonio Nino Diaz 
1509d40e0eSAntonio Nino Diaz #include <arch.h>
1609d40e0eSAntonio Nino Diaz 
17f5478dedSAntonio Nino Diaz /**********************************************************************
18f5478dedSAntonio Nino Diaz  * Macros which create inline functions to read or write CPU system
19f5478dedSAntonio Nino Diaz  * registers
20f5478dedSAntonio Nino Diaz  *********************************************************************/
21f5478dedSAntonio Nino Diaz 
22f5478dedSAntonio Nino Diaz #define _DEFINE_SYSREG_READ_FUNC(_name, _reg_name)		\
23f5478dedSAntonio Nino Diaz static inline u_register_t read_ ## _name(void)			\
24f5478dedSAntonio Nino Diaz {								\
25f5478dedSAntonio Nino Diaz 	u_register_t v;						\
26f5478dedSAntonio Nino Diaz 	__asm__ volatile ("mrs %0, " #_reg_name : "=r" (v));	\
27f5478dedSAntonio Nino Diaz 	return v;						\
28f5478dedSAntonio Nino Diaz }
29f5478dedSAntonio Nino Diaz 
30f5478dedSAntonio Nino Diaz #define _DEFINE_SYSREG_WRITE_FUNC(_name, _reg_name)			\
31f5478dedSAntonio Nino Diaz static inline void write_ ## _name(u_register_t v)			\
32f5478dedSAntonio Nino Diaz {									\
33f5478dedSAntonio Nino Diaz 	__asm__ volatile ("msr " #_reg_name ", %0" : : "r" (v));	\
34f5478dedSAntonio Nino Diaz }
35f5478dedSAntonio Nino Diaz 
36f5478dedSAntonio Nino Diaz #define SYSREG_WRITE_CONST(reg_name, v)				\
37f5478dedSAntonio Nino Diaz 	__asm__ volatile ("msr " #reg_name ", %0" : : "i" (v))
38f5478dedSAntonio Nino Diaz 
39f5478dedSAntonio Nino Diaz /* Define read function for system register */
40f5478dedSAntonio Nino Diaz #define DEFINE_SYSREG_READ_FUNC(_name) 			\
41f5478dedSAntonio Nino Diaz 	_DEFINE_SYSREG_READ_FUNC(_name, _name)
42f5478dedSAntonio Nino Diaz 
43f5478dedSAntonio Nino Diaz /* Define read & write function for system register */
44f5478dedSAntonio Nino Diaz #define DEFINE_SYSREG_RW_FUNCS(_name)			\
45f5478dedSAntonio Nino Diaz 	_DEFINE_SYSREG_READ_FUNC(_name, _name)		\
46f5478dedSAntonio Nino Diaz 	_DEFINE_SYSREG_WRITE_FUNC(_name, _name)
47f5478dedSAntonio Nino Diaz 
48f5478dedSAntonio Nino Diaz /* Define read & write function for renamed system register */
49f5478dedSAntonio Nino Diaz #define DEFINE_RENAME_SYSREG_RW_FUNCS(_name, _reg_name)	\
50f5478dedSAntonio Nino Diaz 	_DEFINE_SYSREG_READ_FUNC(_name, _reg_name)	\
51f5478dedSAntonio Nino Diaz 	_DEFINE_SYSREG_WRITE_FUNC(_name, _reg_name)
52f5478dedSAntonio Nino Diaz 
53f5478dedSAntonio Nino Diaz /* Define read function for renamed system register */
54f5478dedSAntonio Nino Diaz #define DEFINE_RENAME_SYSREG_READ_FUNC(_name, _reg_name)	\
55f5478dedSAntonio Nino Diaz 	_DEFINE_SYSREG_READ_FUNC(_name, _reg_name)
56f5478dedSAntonio Nino Diaz 
57f5478dedSAntonio Nino Diaz /* Define write function for renamed system register */
58f5478dedSAntonio Nino Diaz #define DEFINE_RENAME_SYSREG_WRITE_FUNC(_name, _reg_name)	\
59f5478dedSAntonio Nino Diaz 	_DEFINE_SYSREG_WRITE_FUNC(_name, _reg_name)
60f5478dedSAntonio Nino Diaz 
61f5478dedSAntonio Nino Diaz /**********************************************************************
62f5478dedSAntonio Nino Diaz  * Macros to create inline functions for system instructions
63f5478dedSAntonio Nino Diaz  *********************************************************************/
64f5478dedSAntonio Nino Diaz 
65f5478dedSAntonio Nino Diaz /* Define function for simple system instruction */
66f5478dedSAntonio Nino Diaz #define DEFINE_SYSOP_FUNC(_op)				\
67f5478dedSAntonio Nino Diaz static inline void _op(void)				\
68f5478dedSAntonio Nino Diaz {							\
69f5478dedSAntonio Nino Diaz 	__asm__ (#_op);					\
70f5478dedSAntonio Nino Diaz }
71f5478dedSAntonio Nino Diaz 
72f5478dedSAntonio Nino Diaz /* Define function for system instruction with type specifier */
73f5478dedSAntonio Nino Diaz #define DEFINE_SYSOP_TYPE_FUNC(_op, _type)		\
74f5478dedSAntonio Nino Diaz static inline void _op ## _type(void)			\
75f5478dedSAntonio Nino Diaz {							\
76f5478dedSAntonio Nino Diaz 	__asm__ (#_op " " #_type);			\
77f5478dedSAntonio Nino Diaz }
78f5478dedSAntonio Nino Diaz 
79f5478dedSAntonio Nino Diaz /* Define function for system instruction with register parameter */
80f5478dedSAntonio Nino Diaz #define DEFINE_SYSOP_TYPE_PARAM_FUNC(_op, _type)	\
81f5478dedSAntonio Nino Diaz static inline void _op ## _type(uint64_t v)		\
82f5478dedSAntonio Nino Diaz {							\
83f5478dedSAntonio Nino Diaz 	 __asm__ (#_op " " #_type ", %0" : : "r" (v));	\
84f5478dedSAntonio Nino Diaz }
85f5478dedSAntonio Nino Diaz 
86f5478dedSAntonio Nino Diaz /*******************************************************************************
87f5478dedSAntonio Nino Diaz  * TLB maintenance accessor prototypes
88f5478dedSAntonio Nino Diaz  ******************************************************************************/
89f5478dedSAntonio Nino Diaz 
90f5478dedSAntonio Nino Diaz #if ERRATA_A57_813419
91f5478dedSAntonio Nino Diaz /*
92f5478dedSAntonio Nino Diaz  * Define function for TLBI instruction with type specifier that implements
93f5478dedSAntonio Nino Diaz  * the workaround for errata 813419 of Cortex-A57.
94f5478dedSAntonio Nino Diaz  */
95f5478dedSAntonio Nino Diaz #define DEFINE_TLBIOP_ERRATA_A57_813419_TYPE_FUNC(_type)\
96f5478dedSAntonio Nino Diaz static inline void tlbi ## _type(void)			\
97f5478dedSAntonio Nino Diaz {							\
98f5478dedSAntonio Nino Diaz 	__asm__("tlbi " #_type "\n"			\
99f5478dedSAntonio Nino Diaz 		"dsb ish\n"				\
100f5478dedSAntonio Nino Diaz 		"tlbi " #_type);			\
101f5478dedSAntonio Nino Diaz }
102f5478dedSAntonio Nino Diaz 
103f5478dedSAntonio Nino Diaz /*
104f5478dedSAntonio Nino Diaz  * Define function for TLBI instruction with register parameter that implements
105f5478dedSAntonio Nino Diaz  * the workaround for errata 813419 of Cortex-A57.
106f5478dedSAntonio Nino Diaz  */
107f5478dedSAntonio Nino Diaz #define DEFINE_TLBIOP_ERRATA_A57_813419_TYPE_PARAM_FUNC(_type)	\
108f5478dedSAntonio Nino Diaz static inline void tlbi ## _type(uint64_t v)			\
109f5478dedSAntonio Nino Diaz {								\
110f5478dedSAntonio Nino Diaz 	__asm__("tlbi " #_type ", %0\n"				\
111f5478dedSAntonio Nino Diaz 		"dsb ish\n"					\
112f5478dedSAntonio Nino Diaz 		"tlbi " #_type ", %0" : : "r" (v));		\
113f5478dedSAntonio Nino Diaz }
114f5478dedSAntonio Nino Diaz #endif /* ERRATA_A57_813419 */
115f5478dedSAntonio Nino Diaz 
116f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(tlbi, alle1)
117f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(tlbi, alle1is)
118f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(tlbi, alle2)
119f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(tlbi, alle2is)
120f5478dedSAntonio Nino Diaz #if ERRATA_A57_813419
121f5478dedSAntonio Nino Diaz DEFINE_TLBIOP_ERRATA_A57_813419_TYPE_FUNC(alle3)
122f5478dedSAntonio Nino Diaz DEFINE_TLBIOP_ERRATA_A57_813419_TYPE_FUNC(alle3is)
123f5478dedSAntonio Nino Diaz #else
124f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(tlbi, alle3)
125f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(tlbi, alle3is)
126f5478dedSAntonio Nino Diaz #endif
127f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(tlbi, vmalle1)
128f5478dedSAntonio Nino Diaz 
129f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(tlbi, vaae1is)
130f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(tlbi, vaale1is)
131f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(tlbi, vae2is)
132f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(tlbi, vale2is)
133f5478dedSAntonio Nino Diaz #if ERRATA_A57_813419
134f5478dedSAntonio Nino Diaz DEFINE_TLBIOP_ERRATA_A57_813419_TYPE_PARAM_FUNC(vae3is)
135f5478dedSAntonio Nino Diaz DEFINE_TLBIOP_ERRATA_A57_813419_TYPE_PARAM_FUNC(vale3is)
136f5478dedSAntonio Nino Diaz #else
137f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(tlbi, vae3is)
138f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(tlbi, vale3is)
139f5478dedSAntonio Nino Diaz #endif
140f5478dedSAntonio Nino Diaz 
141f5478dedSAntonio Nino Diaz /*******************************************************************************
142f5478dedSAntonio Nino Diaz  * Cache maintenance accessor prototypes
143f5478dedSAntonio Nino Diaz  ******************************************************************************/
144f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(dc, isw)
145f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(dc, cisw)
146f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(dc, csw)
147f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(dc, cvac)
148f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(dc, ivac)
149f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(dc, civac)
150f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(dc, cvau)
151f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(dc, zva)
152f5478dedSAntonio Nino Diaz 
153f5478dedSAntonio Nino Diaz /*******************************************************************************
154f5478dedSAntonio Nino Diaz  * Address translation accessor prototypes
155f5478dedSAntonio Nino Diaz  ******************************************************************************/
156f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(at, s12e1r)
157f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(at, s12e1w)
158f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(at, s12e0r)
159f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(at, s12e0w)
160f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(at, s1e1r)
161f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(at, s1e2r)
162f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_PARAM_FUNC(at, s1e3r)
163f5478dedSAntonio Nino Diaz 
164f5478dedSAntonio Nino Diaz void flush_dcache_range(uintptr_t addr, size_t size);
165f5478dedSAntonio Nino Diaz void clean_dcache_range(uintptr_t addr, size_t size);
166f5478dedSAntonio Nino Diaz void inv_dcache_range(uintptr_t addr, size_t size);
167f5478dedSAntonio Nino Diaz 
168f5478dedSAntonio Nino Diaz void dcsw_op_louis(u_register_t op_type);
169f5478dedSAntonio Nino Diaz void dcsw_op_all(u_register_t op_type);
170f5478dedSAntonio Nino Diaz 
171f5478dedSAntonio Nino Diaz void disable_mmu_el1(void);
172f5478dedSAntonio Nino Diaz void disable_mmu_el3(void);
173f5478dedSAntonio Nino Diaz void disable_mmu_icache_el1(void);
174f5478dedSAntonio Nino Diaz void disable_mmu_icache_el3(void);
175f5478dedSAntonio Nino Diaz 
176f5478dedSAntonio Nino Diaz /*******************************************************************************
177f5478dedSAntonio Nino Diaz  * Misc. accessor prototypes
178f5478dedSAntonio Nino Diaz  ******************************************************************************/
179f5478dedSAntonio Nino Diaz 
180f5478dedSAntonio Nino Diaz #define write_daifclr(val) SYSREG_WRITE_CONST(daifclr, val)
181f5478dedSAntonio Nino Diaz #define write_daifset(val) SYSREG_WRITE_CONST(daifset, val)
182f5478dedSAntonio Nino Diaz 
183f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(par_el1)
184f5478dedSAntonio Nino Diaz DEFINE_SYSREG_READ_FUNC(id_pfr1_el1)
185f5478dedSAntonio Nino Diaz DEFINE_SYSREG_READ_FUNC(id_aa64isar1_el1)
186f5478dedSAntonio Nino Diaz DEFINE_SYSREG_READ_FUNC(id_aa64pfr0_el1)
187f5478dedSAntonio Nino Diaz DEFINE_SYSREG_READ_FUNC(id_aa64dfr0_el1)
188e4e97f1dSVarun Wadekar DEFINE_SYSREG_READ_FUNC(id_afr0_el1)
189f5478dedSAntonio Nino Diaz DEFINE_SYSREG_READ_FUNC(CurrentEl)
190f5478dedSAntonio Nino Diaz DEFINE_SYSREG_READ_FUNC(ctr_el0)
191f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(daif)
192f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(spsr_el1)
193f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(spsr_el2)
194f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(spsr_el3)
195f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(elr_el1)
196f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(elr_el2)
197f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(elr_el3)
198f5478dedSAntonio Nino Diaz 
199f5478dedSAntonio Nino Diaz DEFINE_SYSOP_FUNC(wfi)
200f5478dedSAntonio Nino Diaz DEFINE_SYSOP_FUNC(wfe)
201f5478dedSAntonio Nino Diaz DEFINE_SYSOP_FUNC(sev)
202f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(dsb, sy)
203f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(dmb, sy)
204f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(dmb, st)
205f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(dmb, ld)
206f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(dsb, ish)
207f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(dsb, nsh)
208f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(dsb, ishst)
209f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(dmb, oshld)
210f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(dmb, oshst)
211f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(dmb, osh)
212f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(dmb, nshld)
213f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(dmb, nshst)
214f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(dmb, nsh)
215f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(dmb, ishld)
216f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(dmb, ishst)
217f5478dedSAntonio Nino Diaz DEFINE_SYSOP_TYPE_FUNC(dmb, ish)
218f5478dedSAntonio Nino Diaz DEFINE_SYSOP_FUNC(isb)
219f5478dedSAntonio Nino Diaz 
220f5478dedSAntonio Nino Diaz static inline void enable_irq(void)
221f5478dedSAntonio Nino Diaz {
222f5478dedSAntonio Nino Diaz 	/*
223f5478dedSAntonio Nino Diaz 	 * The compiler memory barrier will prevent the compiler from
224f5478dedSAntonio Nino Diaz 	 * scheduling non-volatile memory access after the write to the
225f5478dedSAntonio Nino Diaz 	 * register.
226f5478dedSAntonio Nino Diaz 	 *
227f5478dedSAntonio Nino Diaz 	 * This could happen if some initialization code issues non-volatile
228f5478dedSAntonio Nino Diaz 	 * accesses to an area used by an interrupt handler, in the assumption
229f5478dedSAntonio Nino Diaz 	 * that it is safe as the interrupts are disabled at the time it does
230f5478dedSAntonio Nino Diaz 	 * that (according to program order). However, non-volatile accesses
231f5478dedSAntonio Nino Diaz 	 * are not necessarily in program order relatively with volatile inline
232f5478dedSAntonio Nino Diaz 	 * assembly statements (and volatile accesses).
233f5478dedSAntonio Nino Diaz 	 */
234f5478dedSAntonio Nino Diaz 	COMPILER_BARRIER();
235f5478dedSAntonio Nino Diaz 	write_daifclr(DAIF_IRQ_BIT);
236f5478dedSAntonio Nino Diaz 	isb();
237f5478dedSAntonio Nino Diaz }
238f5478dedSAntonio Nino Diaz 
239f5478dedSAntonio Nino Diaz static inline void enable_fiq(void)
240f5478dedSAntonio Nino Diaz {
241f5478dedSAntonio Nino Diaz 	COMPILER_BARRIER();
242f5478dedSAntonio Nino Diaz 	write_daifclr(DAIF_FIQ_BIT);
243f5478dedSAntonio Nino Diaz 	isb();
244f5478dedSAntonio Nino Diaz }
245f5478dedSAntonio Nino Diaz 
246f5478dedSAntonio Nino Diaz static inline void enable_serror(void)
247f5478dedSAntonio Nino Diaz {
248f5478dedSAntonio Nino Diaz 	COMPILER_BARRIER();
249f5478dedSAntonio Nino Diaz 	write_daifclr(DAIF_ABT_BIT);
250f5478dedSAntonio Nino Diaz 	isb();
251f5478dedSAntonio Nino Diaz }
252f5478dedSAntonio Nino Diaz 
253f5478dedSAntonio Nino Diaz static inline void enable_debug_exceptions(void)
254f5478dedSAntonio Nino Diaz {
255f5478dedSAntonio Nino Diaz 	COMPILER_BARRIER();
256f5478dedSAntonio Nino Diaz 	write_daifclr(DAIF_DBG_BIT);
257f5478dedSAntonio Nino Diaz 	isb();
258f5478dedSAntonio Nino Diaz }
259f5478dedSAntonio Nino Diaz 
260f5478dedSAntonio Nino Diaz static inline void disable_irq(void)
261f5478dedSAntonio Nino Diaz {
262f5478dedSAntonio Nino Diaz 	COMPILER_BARRIER();
263f5478dedSAntonio Nino Diaz 	write_daifset(DAIF_IRQ_BIT);
264f5478dedSAntonio Nino Diaz 	isb();
265f5478dedSAntonio Nino Diaz }
266f5478dedSAntonio Nino Diaz 
267f5478dedSAntonio Nino Diaz static inline void disable_fiq(void)
268f5478dedSAntonio Nino Diaz {
269f5478dedSAntonio Nino Diaz 	COMPILER_BARRIER();
270f5478dedSAntonio Nino Diaz 	write_daifset(DAIF_FIQ_BIT);
271f5478dedSAntonio Nino Diaz 	isb();
272f5478dedSAntonio Nino Diaz }
273f5478dedSAntonio Nino Diaz 
274f5478dedSAntonio Nino Diaz static inline void disable_serror(void)
275f5478dedSAntonio Nino Diaz {
276f5478dedSAntonio Nino Diaz 	COMPILER_BARRIER();
277f5478dedSAntonio Nino Diaz 	write_daifset(DAIF_ABT_BIT);
278f5478dedSAntonio Nino Diaz 	isb();
279f5478dedSAntonio Nino Diaz }
280f5478dedSAntonio Nino Diaz 
281f5478dedSAntonio Nino Diaz static inline void disable_debug_exceptions(void)
282f5478dedSAntonio Nino Diaz {
283f5478dedSAntonio Nino Diaz 	COMPILER_BARRIER();
284f5478dedSAntonio Nino Diaz 	write_daifset(DAIF_DBG_BIT);
285f5478dedSAntonio Nino Diaz 	isb();
286f5478dedSAntonio Nino Diaz }
287f5478dedSAntonio Nino Diaz 
288f5478dedSAntonio Nino Diaz #if !ERROR_DEPRECATED
289f5478dedSAntonio Nino Diaz uint32_t get_afflvl_shift(uint32_t);
290f5478dedSAntonio Nino Diaz uint32_t mpidr_mask_lower_afflvls(uint64_t, uint32_t);
291f5478dedSAntonio Nino Diaz 
292f5478dedSAntonio Nino Diaz void __dead2 eret(uint64_t x0, uint64_t x1, uint64_t x2, uint64_t x3,
293f5478dedSAntonio Nino Diaz 		  uint64_t x4, uint64_t x5, uint64_t x6, uint64_t x7);
294f5478dedSAntonio Nino Diaz #endif
295f5478dedSAntonio Nino Diaz void __dead2 smc(uint64_t x0, uint64_t x1, uint64_t x2, uint64_t x3,
296f5478dedSAntonio Nino Diaz 		 uint64_t x4, uint64_t x5, uint64_t x6, uint64_t x7);
297f5478dedSAntonio Nino Diaz 
298f5478dedSAntonio Nino Diaz /*******************************************************************************
299f5478dedSAntonio Nino Diaz  * System register accessor prototypes
300f5478dedSAntonio Nino Diaz  ******************************************************************************/
301f5478dedSAntonio Nino Diaz DEFINE_SYSREG_READ_FUNC(midr_el1)
302f5478dedSAntonio Nino Diaz DEFINE_SYSREG_READ_FUNC(mpidr_el1)
303f5478dedSAntonio Nino Diaz DEFINE_SYSREG_READ_FUNC(id_aa64mmfr0_el1)
304f5478dedSAntonio Nino Diaz 
305f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(scr_el3)
306f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(hcr_el2)
307f5478dedSAntonio Nino Diaz 
308f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(vbar_el1)
309f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(vbar_el2)
310f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(vbar_el3)
311f5478dedSAntonio Nino Diaz 
312f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(sctlr_el1)
313f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(sctlr_el2)
314f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(sctlr_el3)
315f5478dedSAntonio Nino Diaz 
316f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(actlr_el1)
317f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(actlr_el2)
318f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(actlr_el3)
319f5478dedSAntonio Nino Diaz 
320f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(esr_el1)
321f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(esr_el2)
322f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(esr_el3)
323f5478dedSAntonio Nino Diaz 
324f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(afsr0_el1)
325f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(afsr0_el2)
326f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(afsr0_el3)
327f5478dedSAntonio Nino Diaz 
328f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(afsr1_el1)
329f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(afsr1_el2)
330f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(afsr1_el3)
331f5478dedSAntonio Nino Diaz 
332f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(far_el1)
333f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(far_el2)
334f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(far_el3)
335f5478dedSAntonio Nino Diaz 
336f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(mair_el1)
337f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(mair_el2)
338f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(mair_el3)
339f5478dedSAntonio Nino Diaz 
340f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(amair_el1)
341f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(amair_el2)
342f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(amair_el3)
343f5478dedSAntonio Nino Diaz 
344f5478dedSAntonio Nino Diaz DEFINE_SYSREG_READ_FUNC(rvbar_el1)
345f5478dedSAntonio Nino Diaz DEFINE_SYSREG_READ_FUNC(rvbar_el2)
346f5478dedSAntonio Nino Diaz DEFINE_SYSREG_READ_FUNC(rvbar_el3)
347f5478dedSAntonio Nino Diaz 
348f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(rmr_el1)
349f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(rmr_el2)
350f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(rmr_el3)
351f5478dedSAntonio Nino Diaz 
352f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(tcr_el1)
353f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(tcr_el2)
354f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(tcr_el3)
355f5478dedSAntonio Nino Diaz 
356f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(ttbr0_el1)
357f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(ttbr0_el2)
358f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(ttbr0_el3)
359f5478dedSAntonio Nino Diaz 
360f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(ttbr1_el1)
361f5478dedSAntonio Nino Diaz 
362f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(vttbr_el2)
363f5478dedSAntonio Nino Diaz 
364f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(cptr_el2)
365f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(cptr_el3)
366f5478dedSAntonio Nino Diaz 
367f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(cpacr_el1)
368f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(cntfrq_el0)
369f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(cnthp_ctl_el2)
370f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(cnthp_tval_el2)
371f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(cnthp_cval_el2)
372f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(cntps_ctl_el1)
373f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(cntps_tval_el1)
374f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(cntps_cval_el1)
375f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(cntp_ctl_el0)
376f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(cntp_tval_el0)
377f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(cntp_cval_el0)
378f5478dedSAntonio Nino Diaz DEFINE_SYSREG_READ_FUNC(cntpct_el0)
379f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(cnthctl_el2)
380f5478dedSAntonio Nino Diaz 
381f5478dedSAntonio Nino Diaz #define get_cntp_ctl_enable(x)  (((x) >> CNTP_CTL_ENABLE_SHIFT) & \
382f5478dedSAntonio Nino Diaz 					CNTP_CTL_ENABLE_MASK)
383f5478dedSAntonio Nino Diaz #define get_cntp_ctl_imask(x)   (((x) >> CNTP_CTL_IMASK_SHIFT) & \
384f5478dedSAntonio Nino Diaz 					CNTP_CTL_IMASK_MASK)
385f5478dedSAntonio Nino Diaz #define get_cntp_ctl_istatus(x) (((x) >> CNTP_CTL_ISTATUS_SHIFT) & \
386f5478dedSAntonio Nino Diaz 					CNTP_CTL_ISTATUS_MASK)
387f5478dedSAntonio Nino Diaz 
388f5478dedSAntonio Nino Diaz #define set_cntp_ctl_enable(x)  ((x) |= (U(1) << CNTP_CTL_ENABLE_SHIFT))
389f5478dedSAntonio Nino Diaz #define set_cntp_ctl_imask(x)   ((x) |= (U(1) << CNTP_CTL_IMASK_SHIFT))
390f5478dedSAntonio Nino Diaz 
391f5478dedSAntonio Nino Diaz #define clr_cntp_ctl_enable(x)  ((x) &= ~(U(1) << CNTP_CTL_ENABLE_SHIFT))
392f5478dedSAntonio Nino Diaz #define clr_cntp_ctl_imask(x)   ((x) &= ~(U(1) << CNTP_CTL_IMASK_SHIFT))
393f5478dedSAntonio Nino Diaz 
394f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(tpidr_el3)
395f5478dedSAntonio Nino Diaz 
396f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(cntvoff_el2)
397f5478dedSAntonio Nino Diaz 
398f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(vpidr_el2)
399f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(vmpidr_el2)
400f5478dedSAntonio Nino Diaz 
401f5478dedSAntonio Nino Diaz DEFINE_SYSREG_READ_FUNC(isr_el1)
402f5478dedSAntonio Nino Diaz 
403f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(mdcr_el2)
404f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(mdcr_el3)
405f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(hstr_el2)
406f5478dedSAntonio Nino Diaz DEFINE_SYSREG_RW_FUNCS(pmcr_el0)
407f5478dedSAntonio Nino Diaz 
408f5478dedSAntonio Nino Diaz /* GICv3 System Registers */
409f5478dedSAntonio Nino Diaz 
410f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(icc_sre_el1, ICC_SRE_EL1)
411f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(icc_sre_el2, ICC_SRE_EL2)
412f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(icc_sre_el3, ICC_SRE_EL3)
413f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(icc_pmr_el1, ICC_PMR_EL1)
414f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_READ_FUNC(icc_rpr_el1, ICC_RPR_EL1)
415f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(icc_igrpen1_el3, ICC_IGRPEN1_EL3)
416f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(icc_igrpen1_el1, ICC_IGRPEN1_EL1)
417f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(icc_igrpen0_el1, ICC_IGRPEN0_EL1)
418f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_READ_FUNC(icc_hppir0_el1, ICC_HPPIR0_EL1)
419f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_READ_FUNC(icc_hppir1_el1, ICC_HPPIR1_EL1)
420f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_READ_FUNC(icc_iar0_el1, ICC_IAR0_EL1)
421f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_READ_FUNC(icc_iar1_el1, ICC_IAR1_EL1)
422f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_WRITE_FUNC(icc_eoir0_el1, ICC_EOIR0_EL1)
423f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_WRITE_FUNC(icc_eoir1_el1, ICC_EOIR1_EL1)
424f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_WRITE_FUNC(icc_sgi0r_el1, ICC_SGI0R_EL1)
425f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(icc_sgi1r, ICC_SGI1R)
426f5478dedSAntonio Nino Diaz 
427f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(amcgcr_el0, AMCGCR_EL0)
428f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(amcntenclr0_el0, AMCNTENCLR0_EL0)
429f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(amcntenset0_el0, AMCNTENSET0_EL0)
430f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(amcntenclr1_el0, AMCNTENCLR1_EL0)
431f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(amcntenset1_el0, AMCNTENSET1_EL0)
432f5478dedSAntonio Nino Diaz 
433f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_READ_FUNC(mpamidr_el1, MPAMIDR_EL1)
434f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(mpam3_el3, MPAM3_EL3)
435f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(mpam2_el2, MPAM2_EL2)
436f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(mpamhcr_el2, MPAMHCR_EL2)
437f5478dedSAntonio Nino Diaz 
438f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(pmblimitr_el1, PMBLIMITR_EL1)
439f5478dedSAntonio Nino Diaz 
440f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_WRITE_FUNC(zcr_el3, ZCR_EL3)
441f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_WRITE_FUNC(zcr_el2, ZCR_EL2)
442f5478dedSAntonio Nino Diaz 
443f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_READ_FUNC(erridr_el1, ERRIDR_EL1)
444f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_WRITE_FUNC(errselr_el1, ERRSELR_EL1)
445f5478dedSAntonio Nino Diaz 
446f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_READ_FUNC(erxfr_el1, ERXFR_EL1)
447f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(erxctlr_el1, ERXCTLR_EL1)
448f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(erxstatus_el1, ERXSTATUS_EL1)
449f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_READ_FUNC(erxaddr_el1, ERXADDR_EL1)
450f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_READ_FUNC(erxmisc0_el1, ERXMISC0_EL1)
451f5478dedSAntonio Nino Diaz DEFINE_RENAME_SYSREG_READ_FUNC(erxmisc1_el1, ERXMISC1_EL1)
452f5478dedSAntonio Nino Diaz 
4532559b2c8SAntonio Nino Diaz /* Armv8.2 Registers */
4542559b2c8SAntonio Nino Diaz DEFINE_RENAME_SYSREG_READ_FUNC(id_aa64mmfr2_el1, ID_AA64MMFR2_EL1)
4552559b2c8SAntonio Nino Diaz 
456f5478dedSAntonio Nino Diaz /* Armv8.3 Pointer Authentication Registers */
457*b86048c4SAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(apiakeyhi_el1, APIAKeyHi_EL1)
458*b86048c4SAntonio Nino Diaz DEFINE_RENAME_SYSREG_RW_FUNCS(apiakeylo_el1, APIAKeyLo_EL1)
459f5478dedSAntonio Nino Diaz 
460f5478dedSAntonio Nino Diaz #define IS_IN_EL(x) \
461f5478dedSAntonio Nino Diaz 	(GET_EL(read_CurrentEl()) == MODE_EL##x)
462f5478dedSAntonio Nino Diaz 
463f5478dedSAntonio Nino Diaz #define IS_IN_EL1() IS_IN_EL(1)
464f5478dedSAntonio Nino Diaz #define IS_IN_EL2() IS_IN_EL(2)
465f5478dedSAntonio Nino Diaz #define IS_IN_EL3() IS_IN_EL(3)
466f5478dedSAntonio Nino Diaz 
467f5478dedSAntonio Nino Diaz static inline unsigned int get_current_el(void)
468f5478dedSAntonio Nino Diaz {
469f5478dedSAntonio Nino Diaz 	return GET_EL(read_CurrentEl());
470f5478dedSAntonio Nino Diaz }
471f5478dedSAntonio Nino Diaz 
472f5478dedSAntonio Nino Diaz /*
473f5478dedSAntonio Nino Diaz  * Check if an EL is implemented from AA64PFR0 register fields.
474f5478dedSAntonio Nino Diaz  */
475f5478dedSAntonio Nino Diaz static inline uint64_t el_implemented(unsigned int el)
476f5478dedSAntonio Nino Diaz {
477f5478dedSAntonio Nino Diaz 	if (el > 3U) {
478f5478dedSAntonio Nino Diaz 		return EL_IMPL_NONE;
479f5478dedSAntonio Nino Diaz 	} else {
480f5478dedSAntonio Nino Diaz 		unsigned int shift = ID_AA64PFR0_EL1_SHIFT * el;
481f5478dedSAntonio Nino Diaz 
482f5478dedSAntonio Nino Diaz 		return (read_id_aa64pfr0_el1() >> shift) & ID_AA64PFR0_ELX_MASK;
483f5478dedSAntonio Nino Diaz 	}
484f5478dedSAntonio Nino Diaz }
485f5478dedSAntonio Nino Diaz 
486f5478dedSAntonio Nino Diaz #if !ERROR_DEPRECATED
487f5478dedSAntonio Nino Diaz #define EL_IMPLEMENTED(_el)	el_implemented(_el)
488f5478dedSAntonio Nino Diaz #endif
489f5478dedSAntonio Nino Diaz 
490f5478dedSAntonio Nino Diaz /* Previously defined accesor functions with incomplete register names  */
491f5478dedSAntonio Nino Diaz 
492f5478dedSAntonio Nino Diaz #define read_current_el()	read_CurrentEl()
493f5478dedSAntonio Nino Diaz 
494f5478dedSAntonio Nino Diaz #define dsb()			dsbsy()
495f5478dedSAntonio Nino Diaz 
496f5478dedSAntonio Nino Diaz #define read_midr()		read_midr_el1()
497f5478dedSAntonio Nino Diaz 
498f5478dedSAntonio Nino Diaz #define read_mpidr()		read_mpidr_el1()
499f5478dedSAntonio Nino Diaz 
500f5478dedSAntonio Nino Diaz #define read_scr()		read_scr_el3()
501f5478dedSAntonio Nino Diaz #define write_scr(_v)		write_scr_el3(_v)
502f5478dedSAntonio Nino Diaz 
503f5478dedSAntonio Nino Diaz #define read_hcr()		read_hcr_el2()
504f5478dedSAntonio Nino Diaz #define write_hcr(_v)		write_hcr_el2(_v)
505f5478dedSAntonio Nino Diaz 
506f5478dedSAntonio Nino Diaz #define read_cpacr()		read_cpacr_el1()
507f5478dedSAntonio Nino Diaz #define write_cpacr(_v)		write_cpacr_el1(_v)
508f5478dedSAntonio Nino Diaz 
509f5478dedSAntonio Nino Diaz #endif /* ARCH_HELPERS_H */
510