Lines Matching refs:pte
72 static inline phys_addr_t __pte_to_phys(pte_t pte) in __pte_to_phys() argument
74 return (pte_val(pte) & PTE_ADDR_LOW) | in __pte_to_phys()
75 ((pte_val(pte) & PTE_ADDR_HIGH) << 36); in __pte_to_phys()
82 #define __pte_to_phys(pte) (pte_val(pte) & PTE_ADDR_MASK) argument
86 #define pte_pfn(pte) (__pte_to_phys(pte) >> PAGE_SHIFT) argument
90 #define pte_none(pte) (!pte_val(pte)) argument
92 #define pte_page(pte) (pfn_to_page(pte_pfn(pte))) argument
97 #define pte_present(pte) (!!(pte_val(pte) & (PTE_VALID | PTE_PROT_NONE))) argument
98 #define pte_young(pte) (!!(pte_val(pte) & PTE_AF)) argument
99 #define pte_special(pte) (!!(pte_val(pte) & PTE_SPECIAL)) argument
100 #define pte_write(pte) (!!(pte_val(pte) & PTE_WRITE)) argument
101 #define pte_user_exec(pte) (!(pte_val(pte) & PTE_UXN)) argument
102 #define pte_cont(pte) (!!(pte_val(pte) & PTE_CONT)) argument
103 #define pte_devmap(pte) (!!(pte_val(pte) & PTE_DEVMAP)) argument
104 #define pte_tagged(pte) ((pte_val(pte) & PTE_ATTRINDX_MASK) == \ argument
117 #define pte_hw_dirty(pte) (pte_write(pte) && !(pte_val(pte) & PTE_RDONLY)) argument
118 #define pte_sw_dirty(pte) (!!(pte_val(pte) & PTE_DIRTY)) argument
119 #define pte_dirty(pte) (pte_sw_dirty(pte) || pte_hw_dirty(pte)) argument
121 #define pte_valid(pte) (!!(pte_val(pte) & PTE_VALID)) argument
122 #define pte_valid_not_user(pte) \ argument
123 ((pte_val(pte) & (PTE_VALID | PTE_USER)) == PTE_VALID)
124 #define pte_valid_user(pte) \ argument
125 ((pte_val(pte) & (PTE_VALID | PTE_USER)) == (PTE_VALID | PTE_USER))
135 #define pte_accessible(mm, pte) \ argument
136 (mm_tlb_flush_pending(mm) ? pte_present(pte) : pte_valid(pte))
143 #define pte_access_permitted(pte, write) \ argument
144 (pte_valid_user(pte) && (!(write) || pte_write(pte)))
150 static inline pte_t clear_pte_bit(pte_t pte, pgprot_t prot) in clear_pte_bit() argument
152 pte_val(pte) &= ~pgprot_val(prot); in clear_pte_bit()
153 return pte; in clear_pte_bit()
156 static inline pte_t set_pte_bit(pte_t pte, pgprot_t prot) in set_pte_bit() argument
158 pte_val(pte) |= pgprot_val(prot); in set_pte_bit()
159 return pte; in set_pte_bit()
174 static inline pte_t pte_mkwrite(pte_t pte) in pte_mkwrite() argument
176 pte = set_pte_bit(pte, __pgprot(PTE_WRITE)); in pte_mkwrite()
177 pte = clear_pte_bit(pte, __pgprot(PTE_RDONLY)); in pte_mkwrite()
178 return pte; in pte_mkwrite()
181 static inline pte_t pte_mkclean(pte_t pte) in pte_mkclean() argument
183 pte = clear_pte_bit(pte, __pgprot(PTE_DIRTY)); in pte_mkclean()
184 pte = set_pte_bit(pte, __pgprot(PTE_RDONLY)); in pte_mkclean()
186 return pte; in pte_mkclean()
189 static inline pte_t pte_mkdirty(pte_t pte) in pte_mkdirty() argument
191 pte = set_pte_bit(pte, __pgprot(PTE_DIRTY)); in pte_mkdirty()
193 if (pte_write(pte)) in pte_mkdirty()
194 pte = clear_pte_bit(pte, __pgprot(PTE_RDONLY)); in pte_mkdirty()
196 return pte; in pte_mkdirty()
199 static inline pte_t pte_wrprotect(pte_t pte) in pte_wrprotect() argument
205 if (pte_hw_dirty(pte)) in pte_wrprotect()
206 pte = pte_mkdirty(pte); in pte_wrprotect()
208 pte = clear_pte_bit(pte, __pgprot(PTE_WRITE)); in pte_wrprotect()
209 pte = set_pte_bit(pte, __pgprot(PTE_RDONLY)); in pte_wrprotect()
210 return pte; in pte_wrprotect()
213 static inline pte_t pte_mkold(pte_t pte) in pte_mkold() argument
215 return clear_pte_bit(pte, __pgprot(PTE_AF)); in pte_mkold()
218 static inline pte_t pte_mkyoung(pte_t pte) in pte_mkyoung() argument
220 return set_pte_bit(pte, __pgprot(PTE_AF)); in pte_mkyoung()
223 static inline pte_t pte_mkspecial(pte_t pte) in pte_mkspecial() argument
225 return set_pte_bit(pte, __pgprot(PTE_SPECIAL)); in pte_mkspecial()
228 static inline pte_t pte_mkcont(pte_t pte) in pte_mkcont() argument
230 pte = set_pte_bit(pte, __pgprot(PTE_CONT)); in pte_mkcont()
231 return set_pte_bit(pte, __pgprot(PTE_TYPE_PAGE)); in pte_mkcont()
234 static inline pte_t pte_mknoncont(pte_t pte) in pte_mknoncont() argument
236 return clear_pte_bit(pte, __pgprot(PTE_CONT)); in pte_mknoncont()
239 static inline pte_t pte_mkpresent(pte_t pte) in pte_mkpresent() argument
241 return set_pte_bit(pte, __pgprot(PTE_VALID)); in pte_mkpresent()
249 static inline pte_t pte_mkdevmap(pte_t pte) in pte_mkdevmap() argument
251 return set_pte_bit(pte, __pgprot(PTE_DEVMAP | PTE_SPECIAL)); in pte_mkdevmap()
254 static inline void set_pte(pte_t *ptep, pte_t pte) in set_pte() argument
256 WRITE_ONCE(*ptep, pte); in set_pte()
262 if (pte_valid_not_user(pte)) { in set_pte()
287 pte_t pte) in __check_racy_pte_update() argument
296 if (!pte_valid(old_pte) || !pte_valid(pte)) in __check_racy_pte_update()
306 VM_WARN_ONCE(!pte_young(pte), in __check_racy_pte_update()
308 __func__, pte_val(old_pte), pte_val(pte)); in __check_racy_pte_update()
309 VM_WARN_ONCE(pte_write(old_pte) && !pte_dirty(pte), in __check_racy_pte_update()
311 __func__, pte_val(old_pte), pte_val(pte)); in __check_racy_pte_update()
315 pte_t *ptep, pte_t pte) in set_pte_at() argument
317 if (pte_present(pte) && pte_user_exec(pte) && !pte_special(pte)) in set_pte_at()
318 __sync_icache_dcache(pte); in set_pte_at()
321 pte_present(pte) && pte_tagged(pte) && !pte_special(pte)) in set_pte_at()
322 mte_sync_tags(ptep, pte); in set_pte_at()
324 __check_racy_pte_update(mm, ptep, pte); in set_pte_at()
326 set_pte(ptep, pte); in set_pte_at()
332 #define pte_mkhuge(pte) (__pte(pte_val(pte) & ~PTE_TABLE_BIT)) argument
358 static inline pud_t pte_pud(pte_t pte) in pte_pud() argument
360 return __pud(pte_val(pte)); in pte_pud()
373 static inline pmd_t pte_pmd(pte_t pte) in pte_pmd() argument
375 return __pmd(pte_val(pte)); in pte_pmd()
392 static inline int pte_protnone(pte_t pte) in pte_protnone() argument
394 return (pte_val(pte) & (PTE_VALID | PTE_PROT_NONE)) == PTE_PROT_NONE; in pte_protnone()
751 static inline pte_t pte_modify(pte_t pte, pgprot_t newprot) in pte_modify() argument
761 if (pte_hw_dirty(pte)) in pte_modify()
762 pte = pte_mkdirty(pte); in pte_modify()
763 pte_val(pte) = (pte_val(pte) & ~mask) | (pgprot_val(newprot) & mask); in pte_modify()
764 return pte; in pte_modify()
803 pte_t old_pte, pte; in __ptep_test_and_clear_young() local
805 pte = READ_ONCE(*ptep); in __ptep_test_and_clear_young()
807 old_pte = pte; in __ptep_test_and_clear_young()
808 pte = pte_mkold(pte); in __ptep_test_and_clear_young()
809 pte_val(pte) = cmpxchg_relaxed(&pte_val(*ptep), in __ptep_test_and_clear_young()
810 pte_val(old_pte), pte_val(pte)); in __ptep_test_and_clear_young()
811 } while (pte_val(pte) != pte_val(old_pte)); in __ptep_test_and_clear_young()
813 return pte_young(pte); in __ptep_test_and_clear_young()
877 pte_t old_pte, pte; in ptep_set_wrprotect() local
879 pte = READ_ONCE(*ptep); in ptep_set_wrprotect()
881 old_pte = pte; in ptep_set_wrprotect()
882 pte = pte_wrprotect(pte); in ptep_set_wrprotect()
883 pte_val(pte) = cmpxchg_relaxed(&pte_val(*ptep), in ptep_set_wrprotect()
884 pte_val(old_pte), pte_val(pte)); in ptep_set_wrprotect()
885 } while (pte_val(pte) != pte_val(old_pte)); in ptep_set_wrprotect()
922 #define __pte_to_swp_entry(pte) ((swp_entry_t) { pte_val(pte) }) argument