Lines Matching +full:pci +full:- +full:domain
1 // SPDX-License-Identifier: GPL-2.0
19 #include "../../pci.h"
20 #include "pcie-designware.h"
43 .name = "PCI-MSI",
62 struct dw_pcie *pci = to_dw_pcie_from_pp(pp); in dw_handle_msi_irq() local
64 num_ctrls = DIV_ROUND_UP(pp->num_vectors, MAX_MSI_IRQS_PER_CTRL); in dw_handle_msi_irq()
67 status = dw_pcie_readl_dbi(pci, PCIE_MSI_INTR0_STATUS + in dw_handle_msi_irq()
77 irq = irq_find_mapping(pp->irq_domain, in dw_handle_msi_irq()
106 struct dw_pcie *pci = to_dw_pcie_from_pp(pp); in dw_pci_setup_msi_msg() local
109 msi_target = (u64)pp->msi_data; in dw_pci_setup_msi_msg()
111 msg->address_lo = lower_32_bits(msi_target); in dw_pci_setup_msi_msg()
112 msg->address_hi = upper_32_bits(msi_target); in dw_pci_setup_msi_msg()
114 msg->data = d->hwirq; in dw_pci_setup_msi_msg()
116 dev_dbg(pci->dev, "msi#%d address_hi %#x address_lo %#x\n", in dw_pci_setup_msi_msg()
117 (int)d->hwirq, msg->address_hi, msg->address_lo); in dw_pci_setup_msi_msg()
123 return -EINVAL; in dw_pci_msi_set_affinity()
129 struct dw_pcie *pci = to_dw_pcie_from_pp(pp); in dw_pci_bottom_mask() local
133 raw_spin_lock_irqsave(&pp->lock, flags); in dw_pci_bottom_mask()
135 ctrl = d->hwirq / MAX_MSI_IRQS_PER_CTRL; in dw_pci_bottom_mask()
137 bit = d->hwirq % MAX_MSI_IRQS_PER_CTRL; in dw_pci_bottom_mask()
139 pp->irq_mask[ctrl] |= BIT(bit); in dw_pci_bottom_mask()
140 dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_MASK + res, pp->irq_mask[ctrl]); in dw_pci_bottom_mask()
142 raw_spin_unlock_irqrestore(&pp->lock, flags); in dw_pci_bottom_mask()
148 struct dw_pcie *pci = to_dw_pcie_from_pp(pp); in dw_pci_bottom_unmask() local
152 raw_spin_lock_irqsave(&pp->lock, flags); in dw_pci_bottom_unmask()
154 ctrl = d->hwirq / MAX_MSI_IRQS_PER_CTRL; in dw_pci_bottom_unmask()
156 bit = d->hwirq % MAX_MSI_IRQS_PER_CTRL; in dw_pci_bottom_unmask()
158 pp->irq_mask[ctrl] &= ~BIT(bit); in dw_pci_bottom_unmask()
159 dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_MASK + res, pp->irq_mask[ctrl]); in dw_pci_bottom_unmask()
161 raw_spin_unlock_irqrestore(&pp->lock, flags); in dw_pci_bottom_unmask()
167 struct dw_pcie *pci = to_dw_pcie_from_pp(pp); in dw_pci_bottom_ack() local
170 ctrl = d->hwirq / MAX_MSI_IRQS_PER_CTRL; in dw_pci_bottom_ack()
172 bit = d->hwirq % MAX_MSI_IRQS_PER_CTRL; in dw_pci_bottom_ack()
174 dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_STATUS + res, BIT(bit)); in dw_pci_bottom_ack()
178 .name = "DWPCI-MSI",
186 static int dw_pcie_irq_domain_alloc(struct irq_domain *domain, in dw_pcie_irq_domain_alloc() argument
190 struct pcie_port *pp = domain->host_data; in dw_pcie_irq_domain_alloc()
195 raw_spin_lock_irqsave(&pp->lock, flags); in dw_pcie_irq_domain_alloc()
197 bit = bitmap_find_free_region(pp->msi_irq_in_use, pp->num_vectors, in dw_pcie_irq_domain_alloc()
200 raw_spin_unlock_irqrestore(&pp->lock, flags); in dw_pcie_irq_domain_alloc()
203 return -ENOSPC; in dw_pcie_irq_domain_alloc()
206 irq_domain_set_info(domain, virq + i, bit + i, in dw_pcie_irq_domain_alloc()
207 pp->msi_irq_chip, in dw_pcie_irq_domain_alloc()
214 static void dw_pcie_irq_domain_free(struct irq_domain *domain, in dw_pcie_irq_domain_free() argument
217 struct irq_data *d = irq_domain_get_irq_data(domain, virq); in dw_pcie_irq_domain_free()
218 struct pcie_port *pp = domain->host_data; in dw_pcie_irq_domain_free()
221 raw_spin_lock_irqsave(&pp->lock, flags); in dw_pcie_irq_domain_free()
223 bitmap_release_region(pp->msi_irq_in_use, d->hwirq, in dw_pcie_irq_domain_free()
226 raw_spin_unlock_irqrestore(&pp->lock, flags); in dw_pcie_irq_domain_free()
236 struct dw_pcie *pci = to_dw_pcie_from_pp(pp); in dw_pcie_allocate_domains() local
237 struct fwnode_handle *fwnode = of_node_to_fwnode(pci->dev->of_node); in dw_pcie_allocate_domains()
239 pp->irq_domain = irq_domain_create_linear(fwnode, pp->num_vectors, in dw_pcie_allocate_domains()
241 if (!pp->irq_domain) { in dw_pcie_allocate_domains()
242 dev_err(pci->dev, "Failed to create IRQ domain\n"); in dw_pcie_allocate_domains()
243 return -ENOMEM; in dw_pcie_allocate_domains()
246 irq_domain_update_bus_token(pp->irq_domain, DOMAIN_BUS_NEXUS); in dw_pcie_allocate_domains()
248 pp->msi_domain = pci_msi_create_irq_domain(fwnode, in dw_pcie_allocate_domains()
250 pp->irq_domain); in dw_pcie_allocate_domains()
251 if (!pp->msi_domain) { in dw_pcie_allocate_domains()
252 dev_err(pci->dev, "Failed to create MSI domain\n"); in dw_pcie_allocate_domains()
253 irq_domain_remove(pp->irq_domain); in dw_pcie_allocate_domains()
254 return -ENOMEM; in dw_pcie_allocate_domains()
262 if (pp->msi_irq) { in dw_pcie_free_msi()
263 irq_set_chained_handler(pp->msi_irq, NULL); in dw_pcie_free_msi()
264 irq_set_handler_data(pp->msi_irq, NULL); in dw_pcie_free_msi()
267 irq_domain_remove(pp->msi_domain); in dw_pcie_free_msi()
268 irq_domain_remove(pp->irq_domain); in dw_pcie_free_msi()
270 if (pp->msi_data) { in dw_pcie_free_msi()
271 struct dw_pcie *pci = to_dw_pcie_from_pp(pp); in dw_pcie_free_msi() local
272 struct device *dev = pci->dev; in dw_pcie_free_msi()
274 dma_unmap_single_attrs(dev, pp->msi_data, sizeof(pp->msi_msg), in dw_pcie_free_msi()
281 struct dw_pcie *pci = to_dw_pcie_from_pp(pp); in dw_pcie_msi_init() local
282 u64 msi_target = (u64)pp->msi_data; in dw_pcie_msi_init()
288 dw_pcie_writel_dbi(pci, PCIE_MSI_ADDR_LO, lower_32_bits(msi_target)); in dw_pcie_msi_init()
289 dw_pcie_writel_dbi(pci, PCIE_MSI_ADDR_HI, upper_32_bits(msi_target)); in dw_pcie_msi_init()
295 struct dw_pcie *pci = to_dw_pcie_from_pp(pp); in dw_pcie_host_init() local
296 struct device *dev = pci->dev; in dw_pcie_host_init()
297 struct device_node *np = dev->of_node; in dw_pcie_host_init()
304 raw_spin_lock_init(&pci->pp.lock); in dw_pcie_host_init()
308 pp->cfg0_size = resource_size(cfg_res); in dw_pcie_host_init()
309 pp->cfg0_base = cfg_res->start; in dw_pcie_host_init()
310 } else if (!pp->va_cfg0_base) { in dw_pcie_host_init()
316 return -ENOMEM; in dw_pcie_host_init()
318 pp->bridge = bridge; in dw_pcie_host_init()
321 resource_list_for_each_entry(win, &bridge->windows) { in dw_pcie_host_init()
322 switch (resource_type(win->res)) { in dw_pcie_host_init()
324 pp->io_size = resource_size(win->res); in dw_pcie_host_init()
325 pp->io_bus_addr = win->res->start - win->offset; in dw_pcie_host_init()
326 pp->io_base = pci_pio_to_address(win->res->start); in dw_pcie_host_init()
330 pp->cfg0_size = resource_size(win->res); in dw_pcie_host_init()
331 pp->cfg0_base = win->res->start; in dw_pcie_host_init()
332 if (!pci->dbi_base) { in dw_pcie_host_init()
333 pci->dbi_base = devm_pci_remap_cfgspace(dev, in dw_pcie_host_init()
334 pp->cfg0_base, in dw_pcie_host_init()
335 pp->cfg0_size); in dw_pcie_host_init()
336 if (!pci->dbi_base) { in dw_pcie_host_init()
338 return -ENOMEM; in dw_pcie_host_init()
345 if (!pp->va_cfg0_base) { in dw_pcie_host_init()
346 pp->va_cfg0_base = devm_pci_remap_cfgspace(dev, in dw_pcie_host_init()
347 pp->cfg0_base, pp->cfg0_size); in dw_pcie_host_init()
348 if (!pp->va_cfg0_base) { in dw_pcie_host_init()
350 return -ENOMEM; in dw_pcie_host_init()
354 ret = of_property_read_u32(np, "num-viewport", &pci->num_viewport); in dw_pcie_host_init()
356 pci->num_viewport = 2; in dw_pcie_host_init()
358 if (pci->link_gen < 1) in dw_pcie_host_init()
359 pci->link_gen = of_pci_get_max_link_speed(np); in dw_pcie_host_init()
367 if (!pp->ops->set_num_vectors) { in dw_pcie_host_init()
368 pp->num_vectors = MSI_DEF_NUM_VECTORS; in dw_pcie_host_init()
370 pp->ops->set_num_vectors(pp); in dw_pcie_host_init()
372 if (pp->num_vectors > MAX_MSI_IRQS || in dw_pcie_host_init()
373 pp->num_vectors == 0) { in dw_pcie_host_init()
376 return -EINVAL; in dw_pcie_host_init()
380 if (!pp->ops->msi_host_init) { in dw_pcie_host_init()
381 pp->msi_irq_chip = &dw_pci_msi_bottom_irq_chip; in dw_pcie_host_init()
387 if (pp->msi_irq) in dw_pcie_host_init()
388 irq_set_chained_handler_and_data(pp->msi_irq, in dw_pcie_host_init()
392 pp->msi_data = dma_map_single_attrs(pci->dev, &pp->msi_msg, in dw_pcie_host_init()
393 sizeof(pp->msi_msg), in dw_pcie_host_init()
396 ret = dma_mapping_error(pci->dev, pp->msi_data); in dw_pcie_host_init()
398 dev_err(pci->dev, "Failed to map MSI data\n"); in dw_pcie_host_init()
399 pp->msi_data = 0; in dw_pcie_host_init()
403 ret = pp->ops->msi_host_init(pp); in dw_pcie_host_init()
410 bridge->ops = &dw_pcie_ops; in dw_pcie_host_init()
411 bridge->child_ops = &dw_child_pcie_ops; in dw_pcie_host_init()
413 if (pp->ops->host_init) { in dw_pcie_host_init()
414 ret = pp->ops->host_init(pp); in dw_pcie_host_init()
419 bridge->sysdata = pp; in dw_pcie_host_init()
426 if (pci_msi_enabled() && !pp->ops->msi_host_init) in dw_pcie_host_init()
434 pci_stop_root_bus(pp->bridge->bus); in dw_pcie_host_deinit()
435 pci_remove_root_bus(pp->bridge->bus); in dw_pcie_host_deinit()
436 if (pci_msi_enabled() && !pp->ops->msi_host_init) in dw_pcie_host_deinit()
446 struct pcie_port *pp = bus->sysdata; in dw_pcie_other_conf_map_bus()
447 struct dw_pcie *pci = to_dw_pcie_from_pp(pp); in dw_pcie_other_conf_map_bus() local
452 * SError upon PCI configuration transactions issued when the link in dw_pcie_other_conf_map_bus()
457 if (!dw_pcie_link_up(pci)) in dw_pcie_other_conf_map_bus()
460 busdev = PCIE_ATU_BUS(bus->number) | PCIE_ATU_DEV(PCI_SLOT(devfn)) | in dw_pcie_other_conf_map_bus()
463 if (pci_is_root_bus(bus->parent)) in dw_pcie_other_conf_map_bus()
469 dw_pcie_prog_outbound_atu(pci, 0, type, pp->cfg0_base, busdev, pp->cfg0_size); in dw_pcie_other_conf_map_bus()
471 return pp->va_cfg0_base + where; in dw_pcie_other_conf_map_bus()
478 struct pcie_port *pp = bus->sysdata; in dw_pcie_rd_other_conf()
479 struct dw_pcie *pci = to_dw_pcie_from_pp(pp); in dw_pcie_rd_other_conf() local
483 if (!ret && (pci->iatu_unroll_enabled & DWC_IATU_IOCFG_SHARED)) in dw_pcie_rd_other_conf()
484 dw_pcie_prog_outbound_atu(pci, 0, PCIE_ATU_TYPE_IO, pp->io_base, in dw_pcie_rd_other_conf()
485 pp->io_bus_addr, pp->io_size); in dw_pcie_rd_other_conf()
494 struct pcie_port *pp = bus->sysdata; in dw_pcie_wr_other_conf()
495 struct dw_pcie *pci = to_dw_pcie_from_pp(pp); in dw_pcie_wr_other_conf() local
499 if (!ret && (pci->iatu_unroll_enabled & DWC_IATU_IOCFG_SHARED)) in dw_pcie_wr_other_conf()
500 dw_pcie_prog_outbound_atu(pci, 0, PCIE_ATU_TYPE_IO, pp->io_base, in dw_pcie_wr_other_conf()
501 pp->io_bus_addr, pp->io_size); in dw_pcie_wr_other_conf()
514 struct pcie_port *pp = bus->sysdata; in dw_pcie_own_conf_map_bus()
515 struct dw_pcie *pci = to_dw_pcie_from_pp(pp); in dw_pcie_own_conf_map_bus() local
520 return pci->dbi_base + where; in dw_pcie_own_conf_map_bus()
533 struct dw_pcie *pci = to_dw_pcie_from_pp(pp); in dw_pcie_setup_rc() local
536 * Enable DBI read-only registers for writing/updating configuration. in dw_pcie_setup_rc()
539 dw_pcie_dbi_ro_wr_en(pci); in dw_pcie_setup_rc()
541 dw_pcie_setup(pci); in dw_pcie_setup_rc()
543 if (pci_msi_enabled() && !pp->ops->msi_host_init) { in dw_pcie_setup_rc()
544 num_ctrls = DIV_ROUND_UP(pp->num_vectors, MAX_MSI_IRQS_PER_CTRL); in dw_pcie_setup_rc()
548 pp->irq_mask[ctrl] = ~0; in dw_pcie_setup_rc()
549 dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_MASK + in dw_pcie_setup_rc()
551 pp->irq_mask[ctrl]); in dw_pcie_setup_rc()
552 dw_pcie_writel_dbi(pci, PCIE_MSI_INTR0_ENABLE + in dw_pcie_setup_rc()
559 dw_pcie_writel_dbi(pci, PCI_BASE_ADDRESS_0, 0x00000004); in dw_pcie_setup_rc()
560 dw_pcie_writel_dbi(pci, PCI_BASE_ADDRESS_1, 0x00000000); in dw_pcie_setup_rc()
563 val = dw_pcie_readl_dbi(pci, PCI_INTERRUPT_LINE); in dw_pcie_setup_rc()
566 dw_pcie_writel_dbi(pci, PCI_INTERRUPT_LINE, val); in dw_pcie_setup_rc()
569 val = dw_pcie_readl_dbi(pci, PCI_PRIMARY_BUS); in dw_pcie_setup_rc()
572 dw_pcie_writel_dbi(pci, PCI_PRIMARY_BUS, val); in dw_pcie_setup_rc()
575 val = dw_pcie_readl_dbi(pci, PCI_COMMAND); in dw_pcie_setup_rc()
579 dw_pcie_writel_dbi(pci, PCI_COMMAND, val); in dw_pcie_setup_rc()
586 if (pp->bridge->child_ops == &dw_child_pcie_ops) { in dw_pcie_setup_rc()
591 resource_list_for_each_entry(entry, &pp->bridge->windows) { in dw_pcie_setup_rc()
592 if (resource_type(entry->res) != IORESOURCE_MEM) in dw_pcie_setup_rc()
595 if (pci->num_viewport <= ++atu_idx) in dw_pcie_setup_rc()
598 dw_pcie_prog_outbound_atu(pci, atu_idx, in dw_pcie_setup_rc()
599 PCIE_ATU_TYPE_MEM, entry->res->start, in dw_pcie_setup_rc()
600 entry->res->start - entry->offset, in dw_pcie_setup_rc()
601 resource_size(entry->res)); in dw_pcie_setup_rc()
604 if (pp->io_size) { in dw_pcie_setup_rc()
605 if (pci->num_viewport > ++atu_idx) in dw_pcie_setup_rc()
606 dw_pcie_prog_outbound_atu(pci, atu_idx, in dw_pcie_setup_rc()
607 PCIE_ATU_TYPE_IO, pp->io_base, in dw_pcie_setup_rc()
608 pp->io_bus_addr, pp->io_size); in dw_pcie_setup_rc()
610 pci->iatu_unroll_enabled |= DWC_IATU_IOCFG_SHARED; in dw_pcie_setup_rc()
613 if (pci->num_viewport <= atu_idx) in dw_pcie_setup_rc()
614 dev_warn(pci->dev, "Resources exceed number of ATU entries (%d)", in dw_pcie_setup_rc()
615 pci->num_viewport); in dw_pcie_setup_rc()
618 dw_pcie_writel_dbi(pci, PCI_BASE_ADDRESS_0, 0); in dw_pcie_setup_rc()
621 dw_pcie_writew_dbi(pci, PCI_CLASS_DEVICE, PCI_CLASS_BRIDGE_PCI); in dw_pcie_setup_rc()
623 val = dw_pcie_readl_dbi(pci, PCIE_LINK_WIDTH_SPEED_CONTROL); in dw_pcie_setup_rc()
625 dw_pcie_writel_dbi(pci, PCIE_LINK_WIDTH_SPEED_CONTROL, val); in dw_pcie_setup_rc()
627 dw_pcie_dbi_ro_wr_dis(pci); in dw_pcie_setup_rc()