56 irqreturn_t dw_handle_msi_irq(struct pcie_port *pp)  in dw_handle_msi_irq()  argument
62 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_handle_msi_irq()
64 	num_ctrls = DIV_ROUND_UP(pp->num_vectors, MAX_MSI_IRQS_PER_CTRL);  in dw_handle_msi_irq()
77 			irq = irq_find_mapping(pp->irq_domain,  in dw_handle_msi_irq()
93 	struct pcie_port *pp;  in dw_chained_msi_isr()  local
97 	pp = irq_desc_get_handler_data(desc);  in dw_chained_msi_isr()
98 	dw_handle_msi_irq(pp);  in dw_chained_msi_isr()
105 	struct pcie_port *pp = irq_data_get_irq_chip_data(d);  in dw_pci_setup_msi_msg()  local
106 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pci_setup_msi_msg()
109 	msi_target = (u64)pp->msi_data;  in dw_pci_setup_msi_msg()
128 	struct pcie_port *pp = irq_data_get_irq_chip_data(d);  in dw_pci_bottom_mask()  local
129 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pci_bottom_mask()
133 	raw_spin_lock_irqsave(&pp->lock, flags);  in dw_pci_bottom_mask()
139 	pp->irq_mask[ctrl] |= BIT(bit);  in dw_pci_bottom_mask()
140 	dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_MASK + res, pp->irq_mask[ctrl]);  in dw_pci_bottom_mask()
142 	raw_spin_unlock_irqrestore(&pp->lock, flags);  in dw_pci_bottom_mask()
147 	struct pcie_port *pp = irq_data_get_irq_chip_data(d);  in dw_pci_bottom_unmask()  local
148 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pci_bottom_unmask()
152 	raw_spin_lock_irqsave(&pp->lock, flags);  in dw_pci_bottom_unmask()
158 	pp->irq_mask[ctrl] &= ~BIT(bit);  in dw_pci_bottom_unmask()
159 	dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_MASK + res, pp->irq_mask[ctrl]);  in dw_pci_bottom_unmask()
161 	raw_spin_unlock_irqrestore(&pp->lock, flags);  in dw_pci_bottom_unmask()
166 	struct pcie_port *pp  = irq_data_get_irq_chip_data(d);  in dw_pci_bottom_ack()  local
167 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pci_bottom_ack()
190 	struct pcie_port *pp = domain->host_data;  in dw_pcie_irq_domain_alloc()  local
195 	raw_spin_lock_irqsave(&pp->lock, flags);  in dw_pcie_irq_domain_alloc()
197 	bit = bitmap_find_free_region(pp->msi_irq_in_use, pp->num_vectors,  in dw_pcie_irq_domain_alloc()
200 	raw_spin_unlock_irqrestore(&pp->lock, flags);  in dw_pcie_irq_domain_alloc()
207 				    pp->msi_irq_chip,  in dw_pcie_irq_domain_alloc()
208 				    pp, handle_edge_irq,  in dw_pcie_irq_domain_alloc()
218 	struct pcie_port *pp = domain->host_data;  in dw_pcie_irq_domain_free()  local
221 	raw_spin_lock_irqsave(&pp->lock, flags);  in dw_pcie_irq_domain_free()
223 	bitmap_release_region(pp->msi_irq_in_use, d->hwirq,  in dw_pcie_irq_domain_free()
226 	raw_spin_unlock_irqrestore(&pp->lock, flags);  in dw_pcie_irq_domain_free()
234 int dw_pcie_allocate_domains(struct pcie_port *pp)  in dw_pcie_allocate_domains()  argument
236 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_allocate_domains()
239 	pp->irq_domain = irq_domain_create_linear(fwnode, pp->num_vectors,  in dw_pcie_allocate_domains()
240 					       &dw_pcie_msi_domain_ops, pp);  in dw_pcie_allocate_domains()
241 	if (!pp->irq_domain) {  in dw_pcie_allocate_domains()
246 	irq_domain_update_bus_token(pp->irq_domain, DOMAIN_BUS_NEXUS);  in dw_pcie_allocate_domains()
248 	pp->msi_domain = pci_msi_create_irq_domain(fwnode,  in dw_pcie_allocate_domains()
250 						   pp->irq_domain);  in dw_pcie_allocate_domains()
251 	if (!pp->msi_domain) {  in dw_pcie_allocate_domains()
253 		irq_domain_remove(pp->irq_domain);  in dw_pcie_allocate_domains()
260 void dw_pcie_free_msi(struct pcie_port *pp)  in dw_pcie_free_msi()  argument
262 	if (pp->msi_irq) {  in dw_pcie_free_msi()
263 		irq_set_chained_handler(pp->msi_irq, NULL);  in dw_pcie_free_msi()
264 		irq_set_handler_data(pp->msi_irq, NULL);  in dw_pcie_free_msi()
267 	irq_domain_remove(pp->msi_domain);  in dw_pcie_free_msi()
268 	irq_domain_remove(pp->irq_domain);  in dw_pcie_free_msi()
270 	if (pp->msi_data) {  in dw_pcie_free_msi()
271 		struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_free_msi()
274 		dma_unmap_single_attrs(dev, pp->msi_data, sizeof(pp->msi_msg),  in dw_pcie_free_msi()
279 void dw_pcie_msi_init(struct pcie_port *pp)  in dw_pcie_msi_init()  argument
281 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_msi_init()
282 	u64 msi_target = (u64)pp->msi_data;  in dw_pcie_msi_init()
293 int dw_pcie_host_init(struct pcie_port *pp)  in dw_pcie_host_init()  argument
295 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_host_init()
304 	raw_spin_lock_init(&pci->pp.lock);  in dw_pcie_host_init()
308 		pp->cfg0_size = resource_size(cfg_res);  in dw_pcie_host_init()
309 		pp->cfg0_base = cfg_res->start;  in dw_pcie_host_init()
310 	} else if (!pp->va_cfg0_base) {  in dw_pcie_host_init()
318 	pp->bridge = bridge;  in dw_pcie_host_init()
324 			pp->io_size = resource_size(win->res);  in dw_pcie_host_init()
325 			pp->io_bus_addr = win->res->start - win->offset;  in dw_pcie_host_init()
326 			pp->io_base = pci_pio_to_address(win->res->start);  in dw_pcie_host_init()
330 			pp->cfg0_size = resource_size(win->res);  in dw_pcie_host_init()
331 			pp->cfg0_base = win->res->start;  in dw_pcie_host_init()
334 								pp->cfg0_base,  in dw_pcie_host_init()
335 								pp->cfg0_size);  in dw_pcie_host_init()
345 	if (!pp->va_cfg0_base) {  in dw_pcie_host_init()
346 		pp->va_cfg0_base = devm_pci_remap_cfgspace(dev,  in dw_pcie_host_init()
347 					pp->cfg0_base, pp->cfg0_size);  in dw_pcie_host_init()
348 		if (!pp->va_cfg0_base) {  in dw_pcie_host_init()
367 		if (!pp->ops->set_num_vectors) {  in dw_pcie_host_init()
368 			pp->num_vectors = MSI_DEF_NUM_VECTORS;  in dw_pcie_host_init()
370 			pp->ops->set_num_vectors(pp);  in dw_pcie_host_init()
372 			if (pp->num_vectors > MAX_MSI_IRQS ||  in dw_pcie_host_init()
373 			    pp->num_vectors == 0) {  in dw_pcie_host_init()
380 		if (!pp->ops->msi_host_init) {  in dw_pcie_host_init()
381 			pp->msi_irq_chip = &dw_pci_msi_bottom_irq_chip;  in dw_pcie_host_init()
383 			ret = dw_pcie_allocate_domains(pp);  in dw_pcie_host_init()
387 			if (pp->msi_irq)  in dw_pcie_host_init()
388 				irq_set_chained_handler_and_data(pp->msi_irq,  in dw_pcie_host_init()
390 							    pp);  in dw_pcie_host_init()
392 			pp->msi_data = dma_map_single_attrs(pci->dev, &pp->msi_msg,  in dw_pcie_host_init()
393 						      sizeof(pp->msi_msg),  in dw_pcie_host_init()
396 			ret = dma_mapping_error(pci->dev, pp->msi_data);  in dw_pcie_host_init()
399 				pp->msi_data = 0;  in dw_pcie_host_init()
403 			ret = pp->ops->msi_host_init(pp);  in dw_pcie_host_init()
413 	if (pp->ops->host_init) {  in dw_pcie_host_init()
414 		ret = pp->ops->host_init(pp);  in dw_pcie_host_init()
419 	bridge->sysdata = pp;  in dw_pcie_host_init()
426 	if (pci_msi_enabled() && !pp->ops->msi_host_init)  in dw_pcie_host_init()
427 		dw_pcie_free_msi(pp);  in dw_pcie_host_init()
432 void dw_pcie_host_deinit(struct pcie_port *pp)  in dw_pcie_host_deinit()  argument
434 	pci_stop_root_bus(pp->bridge->bus);  in dw_pcie_host_deinit()
435 	pci_remove_root_bus(pp->bridge->bus);  in dw_pcie_host_deinit()
436 	if (pci_msi_enabled() && !pp->ops->msi_host_init)  in dw_pcie_host_deinit()
437 		dw_pcie_free_msi(pp);  in dw_pcie_host_deinit()
446 	struct pcie_port *pp = bus->sysdata;  in dw_pcie_other_conf_map_bus()  local
447 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_other_conf_map_bus()
469 	dw_pcie_prog_outbound_atu(pci, 0, type, pp->cfg0_base, busdev, pp->cfg0_size);  in dw_pcie_other_conf_map_bus()
471 	return pp->va_cfg0_base + where;  in dw_pcie_other_conf_map_bus()
478 	struct pcie_port *pp = bus->sysdata;  in dw_pcie_rd_other_conf()  local
479 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_rd_other_conf()
484 		dw_pcie_prog_outbound_atu(pci, 0, PCIE_ATU_TYPE_IO, pp->io_base,  in dw_pcie_rd_other_conf()
485 					  pp->io_bus_addr, pp->io_size);  in dw_pcie_rd_other_conf()
494 	struct pcie_port *pp = bus->sysdata;  in dw_pcie_wr_other_conf()  local
495 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_wr_other_conf()
500 		dw_pcie_prog_outbound_atu(pci, 0, PCIE_ATU_TYPE_IO, pp->io_base,  in dw_pcie_wr_other_conf()
501 					  pp->io_bus_addr, pp->io_size);  in dw_pcie_wr_other_conf()
514 	struct pcie_port *pp = bus->sysdata;  in dw_pcie_own_conf_map_bus()  local
515 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_own_conf_map_bus()
530 void dw_pcie_setup_rc(struct pcie_port *pp)  in dw_pcie_setup_rc()  argument
533 	struct dw_pcie *pci = to_dw_pcie_from_pp(pp);  in dw_pcie_setup_rc()
543 	if (pci_msi_enabled() && !pp->ops->msi_host_init) {  in dw_pcie_setup_rc()
544 		num_ctrls = DIV_ROUND_UP(pp->num_vectors, MAX_MSI_IRQS_PER_CTRL);  in dw_pcie_setup_rc()
548 			pp->irq_mask[ctrl] = ~0;  in dw_pcie_setup_rc()
551 					    pp->irq_mask[ctrl]);  in dw_pcie_setup_rc()
586 	if (pp->bridge->child_ops == &dw_child_pcie_ops) {  in dw_pcie_setup_rc()
591 		resource_list_for_each_entry(entry, &pp->bridge->windows) {  in dw_pcie_setup_rc()
604 		if (pp->io_size) {  in dw_pcie_setup_rc()
607 							  PCIE_ATU_TYPE_IO, pp->io_base,  in dw_pcie_setup_rc()
608 							  pp->io_bus_addr, pp->io_size);  in dw_pcie_setup_rc()