278 	ctrl = readq(iommu->mmio_base + MMIO_CONTROL_OFFSET);  in init_translation_status()
386 	memcpy_toio(iommu->mmio_base + MMIO_EXCL_BASE_OFFSET,  in iommu_set_exclusion_range()
390 	memcpy_toio(iommu->mmio_base + MMIO_EXCL_LIMIT_OFFSET,  in iommu_set_exclusion_range()
406 	memcpy_toio(iommu->mmio_base + MMIO_EXCL_BASE_OFFSET,  in iommu_set_cwwb_range()
413 	memcpy_toio(iommu->mmio_base + MMIO_EXCL_LIMIT_OFFSET,  in iommu_set_cwwb_range()
422 	BUG_ON(iommu->mmio_base == NULL);  in iommu_set_device_table()
426 	memcpy_toio(iommu->mmio_base + MMIO_DEV_TABLE_OFFSET,  in iommu_set_device_table()
435 	ctrl = readq(iommu->mmio_base +  MMIO_CONTROL_OFFSET);  in iommu_feature_enable()
437 	writeq(ctrl, iommu->mmio_base +  MMIO_CONTROL_OFFSET);  in iommu_feature_enable()
444 	ctrl = readq(iommu->mmio_base + MMIO_CONTROL_OFFSET);  in iommu_feature_disable()
446 	writeq(ctrl, iommu->mmio_base + MMIO_CONTROL_OFFSET);  in iommu_feature_disable()
453 	ctrl = readq(iommu->mmio_base + MMIO_CONTROL_OFFSET);  in iommu_set_inv_tlb_timeout()
456 	writeq(ctrl, iommu->mmio_base + MMIO_CONTROL_OFFSET);  in iommu_set_inv_tlb_timeout()
467 	if (!iommu->mmio_base)  in iommu_disable()
503 	if (iommu->mmio_base)  in iommu_unmap_mmio_space()
504 		iounmap(iommu->mmio_base);  in iommu_unmap_mmio_space()
677 	writel(0x00, iommu->mmio_base + MMIO_CMD_HEAD_OFFSET);  in amd_iommu_reset_cmd_buffer()
678 	writel(0x00, iommu->mmio_base + MMIO_CMD_TAIL_OFFSET);  in amd_iommu_reset_cmd_buffer()
698 	memcpy_toio(iommu->mmio_base + MMIO_CMD_BUF_OFFSET,  in iommu_enable_command_buffer()
750 	memcpy_toio(iommu->mmio_base + MMIO_EVT_BUF_OFFSET,  in iommu_enable_event_buffer()
754 	writel(0x00, iommu->mmio_base + MMIO_EVT_HEAD_OFFSET);  in iommu_enable_event_buffer()
755 	writel(0x00, iommu->mmio_base + MMIO_EVT_TAIL_OFFSET);  in iommu_enable_event_buffer()
791 	memcpy_toio(iommu->mmio_base + MMIO_PPR_LOG_OFFSET,  in iommu_enable_ppr_log()
795 	writel(0x00, iommu->mmio_base + MMIO_PPR_HEAD_OFFSET);  in iommu_enable_ppr_log()
796 	writel(0x00, iommu->mmio_base + MMIO_PPR_TAIL_OFFSET);  in iommu_enable_ppr_log()
825 	status = readl(iommu->mmio_base + MMIO_STATUS_OFFSET);  in iommu_ga_log_enable()
830 	memcpy_toio(iommu->mmio_base + MMIO_GA_LOG_BASE_OFFSET,  in iommu_ga_log_enable()
834 	memcpy_toio(iommu->mmio_base + MMIO_GA_LOG_TAIL_OFFSET,  in iommu_ga_log_enable()
836 	writel(0x00, iommu->mmio_base + MMIO_GA_HEAD_OFFSET);  in iommu_ga_log_enable()
837 	writel(0x00, iommu->mmio_base + MMIO_GA_TAIL_OFFSET);  in iommu_ga_log_enable()
844 		status = readl(iommu->mmio_base + MMIO_STATUS_OFFSET);  in iommu_ga_log_enable()
950 		lo = readl(iommu->mmio_base + MMIO_DEV_TABLE_OFFSET);  in copy_device_table()
951 		hi = readl(iommu->mmio_base + MMIO_DEV_TABLE_OFFSET + 4);  in copy_device_table()
1620 	iommu->mmio_base = iommu_map_mmio_space(iommu->mmio_phys,  in init_iommu_one()
1622 	if (!iommu->mmio_base)  in init_iommu_one()
1743 	val = readl(iommu->mmio_base + MMIO_CNTR_CONF_OFFSET);  in init_iommu_perf_ctr()
1797 	features = readq(iommu->mmio_base + MMIO_EXT_FEATURES);  in late_iommu_features_init()
2033 	u32 addr_lo = readl(iommu->mmio_base + MMIO_MSI_ADDR_LO_OFFSET);  in iommu_update_intcapxt()
2034 	u32 addr_hi = readl(iommu->mmio_base + MMIO_MSI_ADDR_HI_OFFSET);  in iommu_update_intcapxt()
2035 	u32 data    = readl(iommu->mmio_base + MMIO_MSI_DATA_OFFSET);  in iommu_update_intcapxt()
2051 	writeq(val, iommu->mmio_base + MMIO_INTCAPXT_EVT_OFFSET);  in iommu_update_intcapxt()
2052 	writeq(val, iommu->mmio_base + MMIO_INTCAPXT_PPR_OFFSET);  in iommu_update_intcapxt()
2053 	writeq(val, iommu->mmio_base + MMIO_INTCAPXT_GALOG_OFFSET);  in iommu_update_intcapxt()
3230 		writel((u32)val, iommu->mmio_base + offset);  in iommu_pc_get_set_reg()
3231 		writel((val >> 32), iommu->mmio_base + offset + 4);  in iommu_pc_get_set_reg()
3233 		*value = readl(iommu->mmio_base + offset + 4);  in iommu_pc_get_set_reg()
3235 		*value |= readl(iommu->mmio_base + offset);  in iommu_pc_get_set_reg()