3 // Cadence PCIe endpoint controller driver.
13 #include "pcie-cadence.h"
23 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_write_header()  local
25 	cdns_pcie_ep_fn_writew(pcie, fn, PCI_DEVICE_ID, hdr->deviceid);  in cdns_pcie_ep_write_header()
26 	cdns_pcie_ep_fn_writeb(pcie, fn, PCI_REVISION_ID, hdr->revid);  in cdns_pcie_ep_write_header()
27 	cdns_pcie_ep_fn_writeb(pcie, fn, PCI_CLASS_PROG, hdr->progif_code);  in cdns_pcie_ep_write_header()
28 	cdns_pcie_ep_fn_writew(pcie, fn, PCI_CLASS_DEVICE,  in cdns_pcie_ep_write_header()
30 	cdns_pcie_ep_fn_writeb(pcie, fn, PCI_CACHE_LINE_SIZE,  in cdns_pcie_ep_write_header()
32 	cdns_pcie_ep_fn_writew(pcie, fn, PCI_SUBSYSTEM_ID, hdr->subsys_id);  in cdns_pcie_ep_write_header()
33 	cdns_pcie_ep_fn_writeb(pcie, fn, PCI_INTERRUPT_PIN, hdr->interrupt_pin);  in cdns_pcie_ep_write_header()
44 		cdns_pcie_writel(pcie, CDNS_PCIE_LM_ID, id);  in cdns_pcie_ep_write_header()
55 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_set_bar()  local
95 	cdns_pcie_writel(pcie, CDNS_PCIE_AT_IB_EP_FUNC_BAR_ADDR0(fn, bar),  in cdns_pcie_ep_set_bar()
97 	cdns_pcie_writel(pcie, CDNS_PCIE_AT_IB_EP_FUNC_BAR_ADDR1(fn, bar),  in cdns_pcie_ep_set_bar()
108 	cfg = cdns_pcie_readl(pcie, reg);  in cdns_pcie_ep_set_bar()
113 	cdns_pcie_writel(pcie, reg, cfg);  in cdns_pcie_ep_set_bar()
125 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_clear_bar()  local
138 	cfg = cdns_pcie_readl(pcie, reg);  in cdns_pcie_ep_clear_bar()
142 	cdns_pcie_writel(pcie, reg, cfg);  in cdns_pcie_ep_clear_bar()
144 	cdns_pcie_writel(pcie, CDNS_PCIE_AT_IB_EP_FUNC_BAR_ADDR0(fn, bar), 0);  in cdns_pcie_ep_clear_bar()
145 	cdns_pcie_writel(pcie, CDNS_PCIE_AT_IB_EP_FUNC_BAR_ADDR1(fn, bar), 0);  in cdns_pcie_ep_clear_bar()
154 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_map_addr()  local
163 	cdns_pcie_set_outbound_region(pcie, 0, fn, r, false, addr, pci_addr, size);  in cdns_pcie_ep_map_addr()
175 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_unmap_addr()  local
185 	cdns_pcie_reset_outbound_region(pcie, r);  in cdns_pcie_ep_unmap_addr()
194 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_set_msi()  local
202 	flags = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSI_FLAGS);  in cdns_pcie_ep_set_msi()
206 	cdns_pcie_ep_fn_writew(pcie, fn, cap + PCI_MSI_FLAGS, flags);  in cdns_pcie_ep_set_msi()
214 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_get_msi()  local
219 	flags = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSI_FLAGS);  in cdns_pcie_ep_get_msi()
235 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_get_msix()  local
240 	val = cdns_pcie_ep_fn_readw(pcie, func_no, reg);  in cdns_pcie_ep_get_msix()
253 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_set_msix()  local
258 	val = cdns_pcie_ep_fn_readw(pcie, fn, reg);  in cdns_pcie_ep_set_msix()
261 	cdns_pcie_ep_fn_writew(pcie, fn, reg, val);  in cdns_pcie_ep_set_msix()
266 	cdns_pcie_ep_fn_writel(pcie, fn, reg, val);  in cdns_pcie_ep_set_msix()
271 	cdns_pcie_ep_fn_writel(pcie, fn, reg, val);  in cdns_pcie_ep_set_msix()
279 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_assert_intx()  local
291 		cdns_pcie_set_outbound_region_for_normal_msg(pcie, 0, fn, 0,  in cdns_pcie_ep_assert_intx()
306 	status = cdns_pcie_ep_fn_readw(pcie, fn, PCI_STATUS);  in cdns_pcie_ep_assert_intx()
309 		cdns_pcie_ep_fn_writew(pcie, fn, PCI_STATUS, status);  in cdns_pcie_ep_assert_intx()
323 	cmd = cdns_pcie_ep_fn_readw(&ep->pcie, fn, PCI_COMMAND);  in cdns_pcie_ep_send_legacy_irq()
339 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_send_msi_irq()  local
346 	flags = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSI_FLAGS);  in cdns_pcie_ep_send_msi_irq()
358 	data = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSI_DATA_64);  in cdns_pcie_ep_send_msi_irq()
362 	pci_addr = cdns_pcie_ep_fn_readl(pcie, fn, cap + PCI_MSI_ADDRESS_HI);  in cdns_pcie_ep_send_msi_irq()
364 	pci_addr |= cdns_pcie_ep_fn_readl(pcie, fn, cap + PCI_MSI_ADDRESS_LO);  in cdns_pcie_ep_send_msi_irq()
371 		cdns_pcie_set_outbound_region(pcie, 0, fn, 0,  in cdns_pcie_ep_send_msi_irq()
389 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_send_msix_irq()  local
398 	flags = cdns_pcie_ep_fn_readw(pcie, fn, cap + PCI_MSIX_FLAGS);  in cdns_pcie_ep_send_msix_irq()
403 	tbl_offset = cdns_pcie_ep_fn_readl(pcie, fn, reg);  in cdns_pcie_ep_send_msix_irq()
416 		cdns_pcie_set_outbound_region(pcie, 0, fn, 0,  in cdns_pcie_ep_send_msix_irq()
455 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_start()  local
456 	struct device *dev = pcie->dev;  in cdns_pcie_ep_start()
468 	cdns_pcie_writel(pcie, CDNS_PCIE_LM_EP_FUNC_CFG, cfg);  in cdns_pcie_ep_start()
470 	ret = cdns_pcie_start_link(pcie);  in cdns_pcie_ep_start()
509 	struct device *dev = ep->pcie.dev;  in cdns_pcie_ep_setup()
512 	struct cdns_pcie *pcie = &ep->pcie;  in cdns_pcie_ep_setup()  local
517 	pcie->is_rc = false;  in cdns_pcie_ep_setup()
519 	pcie->reg_base = devm_platform_ioremap_resource_byname(pdev, "reg");  in cdns_pcie_ep_setup()
520 	if (IS_ERR(pcie->reg_base)) {  in cdns_pcie_ep_setup()
522 		return PTR_ERR(pcie->reg_base);  in cdns_pcie_ep_setup()
530 	pcie->mem_res = res;  in cdns_pcie_ep_setup()
545 	cdns_pcie_writel(pcie, CDNS_PCIE_LM_EP_FUNC_CFG, BIT(0));  in cdns_pcie_ep_setup()
563 	ret = pci_epc_mem_init(epc, pcie->mem_res->start,  in cdns_pcie_ep_setup()
564 			       resource_size(pcie->mem_res), PAGE_SIZE);  in cdns_pcie_ep_setup()
582 		cdns_pcie_detect_quiet_min_delay_set(&ep->pcie);  in cdns_pcie_ep_setup()