62 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_handle_msi_irq()  local
67 		status = dw_pcie_readl_dbi(pci, PCIE_MSI_INTR0_STATUS +  in dw_handle_msi_irq()
106 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pci_setup_msi_msg()  local
116 	dev_dbg(pci->dev, "msi#%d address_hi %#x address_lo %#x\n",  in dw_pci_setup_msi_msg()
129 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pci_bottom_mask()  local
140 	dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_MASK + res, pp->irq_mask[ctrl]);  in dw_pci_bottom_mask()
148 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pci_bottom_unmask()  local
159 	dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_MASK + res, pp->irq_mask[ctrl]);  in dw_pci_bottom_unmask()
167 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pci_bottom_ack()  local
174 	dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_STATUS + res, BIT(bit));  in dw_pci_bottom_ack()
236 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_allocate_domains()  local
237 	struct fwnode_handle *fwnode = of_node_to_fwnode(pci->dev->of_node);  in dw_pcie_allocate_domains()
242 		dev_err(pci->dev, "Failed to create IRQ domain\n");  in dw_pcie_allocate_domains()
252 		dev_err(pci->dev, "Failed to create MSI domain\n");  in dw_pcie_allocate_domains()
271 		struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_free_msi()  local
272 		struct device *dev = pci->dev;  in dw_pcie_free_msi()
281 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_msi_init()  local
288 	dw_pcie_writel_dbi(pci, PCIE_MSI_ADDR_LO, lower_32_bits(msi_target));  in dw_pcie_msi_init()
289 	dw_pcie_writel_dbi(pci, PCIE_MSI_ADDR_HI, upper_32_bits(msi_target));  in dw_pcie_msi_init()
295 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_host_init()  local
296 	struct device *dev = pci->dev;  in dw_pcie_host_init()
304 	raw_spin_lock_init(&pci->pp.lock);  in dw_pcie_host_init()
332 			if (!pci->dbi_base) {  in dw_pcie_host_init()
333 				pci->dbi_base = devm_pci_remap_cfgspace(dev,  in dw_pcie_host_init()
336 				if (!pci->dbi_base) {  in dw_pcie_host_init()
354 	ret = of_property_read_u32(np, "num-viewport", &pci->num_viewport);  in dw_pcie_host_init()
356 		pci->num_viewport = 2;  in dw_pcie_host_init()
358 	if (pci->link_gen < 1)  in dw_pcie_host_init()
359 		pci->link_gen = of_pci_get_max_link_speed(np);  in dw_pcie_host_init()
392 			pp->msi_data = dma_map_single_attrs(pci->dev, &pp->msi_msg,  in dw_pcie_host_init()
396 			ret = dma_mapping_error(pci->dev, pp->msi_data);  in dw_pcie_host_init()
398 				dev_err(pci->dev, "Failed to map MSI data\n");  in dw_pcie_host_init()
447 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_other_conf_map_bus()  local
457 	if (!dw_pcie_link_up(pci))  in dw_pcie_other_conf_map_bus()
469 	dw_pcie_prog_outbound_atu(pci, 0, type, pp->cfg0_base, busdev, pp->cfg0_size);  in dw_pcie_other_conf_map_bus()
479 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_rd_other_conf()  local
483 	if (!ret && (pci->iatu_unroll_enabled & DWC_IATU_IOCFG_SHARED))  in dw_pcie_rd_other_conf()
484 		dw_pcie_prog_outbound_atu(pci, 0, PCIE_ATU_TYPE_IO, pp->io_base,  in dw_pcie_rd_other_conf()
495 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_wr_other_conf()  local
499 	if (!ret && (pci->iatu_unroll_enabled & DWC_IATU_IOCFG_SHARED))  in dw_pcie_wr_other_conf()
500 		dw_pcie_prog_outbound_atu(pci, 0, PCIE_ATU_TYPE_IO, pp->io_base,  in dw_pcie_wr_other_conf()
515 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_own_conf_map_bus()  local
520 	return pci->dbi_base + where;  in dw_pcie_own_conf_map_bus()
533 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_setup_rc()  local
539 	dw_pcie_dbi_ro_wr_en(pci);  in dw_pcie_setup_rc()
541 	dw_pcie_setup(pci);  in dw_pcie_setup_rc()
549 			dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_MASK +  in dw_pcie_setup_rc()
552 			dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_ENABLE +  in dw_pcie_setup_rc()
559 	dw_pcie_writel_dbi(pci, PCI_BASE_ADDRESS_0, 0x00000004);  in dw_pcie_setup_rc()
560 	dw_pcie_writel_dbi(pci, PCI_BASE_ADDRESS_1, 0x00000000);  in dw_pcie_setup_rc()
563 	val = dw_pcie_readl_dbi(pci, PCI_INTERRUPT_LINE);  in dw_pcie_setup_rc()
566 	dw_pcie_writel_dbi(pci, PCI_INTERRUPT_LINE, val);  in dw_pcie_setup_rc()
569 	val = dw_pcie_readl_dbi(pci, PCI_PRIMARY_BUS);  in dw_pcie_setup_rc()
572 	dw_pcie_writel_dbi(pci, PCI_PRIMARY_BUS, val);  in dw_pcie_setup_rc()
575 	val = dw_pcie_readl_dbi(pci, PCI_COMMAND);  in dw_pcie_setup_rc()
579 	dw_pcie_writel_dbi(pci, PCI_COMMAND, val);  in dw_pcie_setup_rc()
595 			if (pci->num_viewport <= ++atu_idx)  in dw_pcie_setup_rc()
598 			dw_pcie_prog_outbound_atu(pci, atu_idx,  in dw_pcie_setup_rc()
605 			if (pci->num_viewport > ++atu_idx)  in dw_pcie_setup_rc()
606 				dw_pcie_prog_outbound_atu(pci, atu_idx,  in dw_pcie_setup_rc()
610 				pci->iatu_unroll_enabled |= DWC_IATU_IOCFG_SHARED;  in dw_pcie_setup_rc()
613 		if (pci->num_viewport <= atu_idx)  in dw_pcie_setup_rc()
614 			dev_warn(pci->dev, "Resources exceed number of ATU entries (%d)",  in dw_pcie_setup_rc()
615 				 pci->num_viewport);  in dw_pcie_setup_rc()
618 	dw_pcie_writel_dbi(pci, PCI_BASE_ADDRESS_0, 0);  in dw_pcie_setup_rc()
621 	dw_pcie_writew_dbi(pci, PCI_CLASS_DEVICE, PCI_CLASS_BRIDGE_PCI);  in dw_pcie_setup_rc()
623 	val = dw_pcie_readl_dbi(pci, PCIE_LINK_WIDTH_SPEED_CONTROL);  in dw_pcie_setup_rc()
625 	dw_pcie_writel_dbi(pci, PCIE_LINK_WIDTH_SPEED_CONTROL, val);  in dw_pcie_setup_rc()
627 	dw_pcie_dbi_ro_wr_dis(pci);  in dw_pcie_setup_rc()