143 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_get_features()  local
146 	vp_iowrite32(0, &vp_dev->common->device_feature_select);  in vp_get_features()
147 	features = vp_ioread32(&vp_dev->common->device_feature);  in vp_get_features()
148 	vp_iowrite32(1, &vp_dev->common->device_feature_select);  in vp_get_features()
149 	features |= ((u64)vp_ioread32(&vp_dev->common->device_feature) << 32);  in vp_get_features()
156 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_transport_features()  local
157 	struct pci_dev *pci_dev = vp_dev->pci_dev;  in vp_transport_features()
167 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_finalize_features()  local
182 	vp_iowrite32(0, &vp_dev->common->guest_feature_select);  in vp_finalize_features()
183 	vp_iowrite32((u32)vdev->features, &vp_dev->common->guest_feature);  in vp_finalize_features()
184 	vp_iowrite32(1, &vp_dev->common->guest_feature_select);  in vp_finalize_features()
185 	vp_iowrite32(vdev->features >> 32, &vp_dev->common->guest_feature);  in vp_finalize_features()
194 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_get()  local
199 	BUG_ON(offset + len > vp_dev->device_len);  in vp_get()
203 		b = ioread8(vp_dev->device + offset);  in vp_get()
207 		w = cpu_to_le16(ioread16(vp_dev->device + offset));  in vp_get()
211 		l = cpu_to_le32(ioread32(vp_dev->device + offset));  in vp_get()
215 		l = cpu_to_le32(ioread32(vp_dev->device + offset));  in vp_get()
217 		l = cpu_to_le32(ioread32(vp_dev->device + offset + sizeof l));  in vp_get()
230 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_set()  local
235 	BUG_ON(offset + len > vp_dev->device_len);  in vp_set()
240 		iowrite8(b, vp_dev->device + offset);  in vp_set()
244 		iowrite16(le16_to_cpu(w), vp_dev->device + offset);  in vp_set()
248 		iowrite32(le32_to_cpu(l), vp_dev->device + offset);  in vp_set()
252 		iowrite32(le32_to_cpu(l), vp_dev->device + offset);  in vp_set()
254 		iowrite32(le32_to_cpu(l), vp_dev->device + offset + sizeof l);  in vp_set()
263 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_generation()  local
264 	return vp_ioread8(&vp_dev->common->config_generation);  in vp_generation()
270 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_get_status()  local
271 	return vp_ioread8(&vp_dev->common->device_status);  in vp_get_status()
276 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_set_status()  local
279 	vp_iowrite8(status, &vp_dev->common->device_status);  in vp_set_status()
284 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_reset()  local
286 	vp_iowrite8(0, &vp_dev->common->device_status);  in vp_reset()
292 	while (vp_ioread8(&vp_dev->common->device_status))  in vp_reset()
298 static u16 vp_config_vector(struct virtio_pci_device *vp_dev, u16 vector)  in vp_config_vector()  argument
301 	vp_iowrite16(vector, &vp_dev->common->msix_config);  in vp_config_vector()
304 	return vp_ioread16(&vp_dev->common->msix_config);  in vp_config_vector()
307 static struct virtqueue *setup_vq(struct virtio_pci_device *vp_dev,  in setup_vq()  argument
315 	struct virtio_pci_common_cfg __iomem *cfg = vp_dev->common;  in setup_vq()
332 		dev_warn(&vp_dev->pci_dev->dev, "bad queue size %u", num);  in setup_vq()
343 				    SMP_CACHE_BYTES, &vp_dev->vdev,  in setup_vq()
358 	if (vp_dev->notify_base) {  in setup_vq()
360 		if ((u64)off * vp_dev->notify_offset_multiplier + 2  in setup_vq()
361 		    > vp_dev->notify_len) {  in setup_vq()
362 			dev_warn(&vp_dev->pci_dev->dev,  in setup_vq()
365 				 off, vp_dev->notify_offset_multiplier,  in setup_vq()
366 				 index, vp_dev->notify_len);  in setup_vq()
370 		vq->priv = (void __force *)vp_dev->notify_base +  in setup_vq()
371 			off * vp_dev->notify_offset_multiplier;  in setup_vq()
373 		vq->priv = (void __force *)map_capability(vp_dev->pci_dev,  in setup_vq()
374 					  vp_dev->notify_map_cap, 2, 2,  in setup_vq()
375 					  off * vp_dev->notify_offset_multiplier, 2,  in setup_vq()
396 	if (!vp_dev->notify_base)  in setup_vq()
397 		pci_iounmap(vp_dev->pci_dev, (void __iomem __force *)vq->priv);  in setup_vq()
409 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_modern_find_vqs()  local
420 		vp_iowrite16(vq->index, &vp_dev->common->queue_select);  in vp_modern_find_vqs()
421 		vp_iowrite16(1, &vp_dev->common->queue_enable);  in vp_modern_find_vqs()
430 	struct virtio_pci_device *vp_dev = to_vp_device(vq->vdev);  in del_vq()  local
432 	vp_iowrite16(vq->index, &vp_dev->common->queue_select);  in del_vq()
434 	if (vp_dev->msix_enabled) {  in del_vq()
436 			     &vp_dev->common->queue_msix_vector);  in del_vq()
438 		vp_ioread16(&vp_dev->common->queue_msix_vector);  in del_vq()
441 	if (!vp_dev->notify_base)  in del_vq()
442 		pci_iounmap(vp_dev->pci_dev, (void __force __iomem *)vq->priv);  in del_vq()
509 	struct virtio_pci_device *vp_dev = to_vp_device(vdev);  in vp_get_shm_region()  local
510 	struct pci_dev *pci_dev = vp_dev->pci_dev;  in vp_get_shm_region()
678 int virtio_pci_modern_probe(struct virtio_pci_device *vp_dev)  in virtio_pci_modern_probe()  argument
680 	struct pci_dev *pci_dev = vp_dev->pci_dev;  in virtio_pci_modern_probe()
695 		vp_dev->vdev.id.device = pci_dev->subsystem_device;  in virtio_pci_modern_probe()
698 		vp_dev->vdev.id.device = pci_dev->device - 0x1040;  in virtio_pci_modern_probe()
700 	vp_dev->vdev.id.vendor = pci_dev->subsystem_vendor;  in virtio_pci_modern_probe()
705 					    &vp_dev->modern_bars);  in virtio_pci_modern_probe()
715 					 &vp_dev->modern_bars);  in virtio_pci_modern_probe()
718 					    &vp_dev->modern_bars);  in virtio_pci_modern_probe()
738 					    &vp_dev->modern_bars);  in virtio_pci_modern_probe()
740 	err = pci_request_selected_regions(pci_dev, vp_dev->modern_bars,  in virtio_pci_modern_probe()
746 	vp_dev->common = map_capability(pci_dev, common,  in virtio_pci_modern_probe()
750 	if (!vp_dev->common)  in virtio_pci_modern_probe()
752 	vp_dev->isr = map_capability(pci_dev, isr, sizeof(u8), 1,  in virtio_pci_modern_probe()
755 	if (!vp_dev->isr)  in virtio_pci_modern_probe()
762 			      &vp_dev->notify_offset_multiplier);  in virtio_pci_modern_probe()
779 		vp_dev->notify_base = map_capability(pci_dev, notify, 2, 2,  in virtio_pci_modern_probe()
781 						     &vp_dev->notify_len);  in virtio_pci_modern_probe()
782 		if (!vp_dev->notify_base)  in virtio_pci_modern_probe()
785 		vp_dev->notify_map_cap = notify;  in virtio_pci_modern_probe()
792 		vp_dev->device = map_capability(pci_dev, device, 0, 4,  in virtio_pci_modern_probe()
794 						&vp_dev->device_len);  in virtio_pci_modern_probe()
795 		if (!vp_dev->device)  in virtio_pci_modern_probe()
798 		vp_dev->vdev.config = &virtio_pci_config_ops;  in virtio_pci_modern_probe()
800 		vp_dev->vdev.config = &virtio_pci_config_nodev_ops;  in virtio_pci_modern_probe()
803 	vp_dev->config_vector = vp_config_vector;  in virtio_pci_modern_probe()
804 	vp_dev->setup_vq = setup_vq;  in virtio_pci_modern_probe()
805 	vp_dev->del_vq = del_vq;  in virtio_pci_modern_probe()
810 	if (vp_dev->notify_base)  in virtio_pci_modern_probe()
811 		pci_iounmap(pci_dev, vp_dev->notify_base);  in virtio_pci_modern_probe()
813 	pci_iounmap(pci_dev, vp_dev->isr);  in virtio_pci_modern_probe()
815 	pci_iounmap(pci_dev, vp_dev->common);  in virtio_pci_modern_probe()
820 void virtio_pci_modern_remove(struct virtio_pci_device *vp_dev)  in virtio_pci_modern_remove()  argument
822 	struct pci_dev *pci_dev = vp_dev->pci_dev;  in virtio_pci_modern_remove()
824 	if (vp_dev->device)  in virtio_pci_modern_remove()
825 		pci_iounmap(pci_dev, vp_dev->device);  in virtio_pci_modern_remove()
826 	if (vp_dev->notify_base)  in virtio_pci_modern_remove()
827 		pci_iounmap(pci_dev, vp_dev->notify_base);  in virtio_pci_modern_remove()
828 	pci_iounmap(pci_dev, vp_dev->isr);  in virtio_pci_modern_remove()
829 	pci_iounmap(pci_dev, vp_dev->common);  in virtio_pci_modern_remove()
830 	pci_release_selected_regions(pci_dev, vp_dev->modern_bars);  in virtio_pci_modern_remove()