Lines Matching refs:o0
188 mov %o0, %g1 ! save %o0
194 or %o0, %o1, %g2
200 neg %o0, %o5
206 sub %o1, %o0, %o1 ! %o1 gets the difference
208 add %o1, %o0, %o4
211 EX_ST(STORE(stb, %o4, %o0), memcpy_retl_o2_plus_o5_plus_1)
213 add %o0, 1, %o0 ! advance dst
214 add %o1, %o0, %o1 ! restore %o1
238 EX_ST(STORE(stx, %o4, %o0), memcpy_retl_o2_plus_63_64) ! and store
240 EX_ST(STORE(stx, %o3, %o0+8), memcpy_retl_o2_plus_63_56)
242 EX_ST(STORE(stx, %o4, %o0+16), memcpy_retl_o2_plus_63_48)
244 EX_ST(STORE(stx, %o3, %o0+24), memcpy_retl_o2_plus_63_40)
246 EX_ST(STORE(stx, %o4, %o0+32), memcpy_retl_o2_plus_63_32)
249 EX_ST(STORE(stx, %o3, %o0+40), memcpy_retl_o2_plus_63_24)
251 add %o0, 64, %o0 ! increase dst ptr by 64
252 EX_ST(STORE(stx, %o4, %o0-16), memcpy_retl_o2_plus_63_16)
255 EX_ST(STORE(stx, %o3, %o0-8), memcpy_retl_o2_plus_63_8)
262 EX_ST(STORE(stx, %o4, %o0), memcpy_retl_o2_plus_31_32) ! and store
265 EX_ST(STORE(stx, %o3, %o0+8), memcpy_retl_o2_plus_31_24)
267 add %o0, 32, %o0 ! increase dst ptr by 32
268 EX_ST(STORE(stx, %o4, %o0-16), memcpy_retl_o2_plus_31_16)
270 EX_ST(STORE(stx, %o3, %o0-8), memcpy_retl_o2_plus_31_8)
277 EX_ST(STORE(stx, %o4, %o0), memcpy_retl_o2_plus_15)
280 add %o0, 16, %o0 ! increase dst ptr by 16
281 EX_ST(STORE(stx, %o3, %o0-8), memcpy_retl_o2_plus_15_8)
290 add %o0, 8, %o0 ! increase dst ptr by 8
293 EX_ST(STORE(stx, %o4, %o0-8), memcpy_retl_o2_plus_8) ! and store 8
295 mov EX_RETVAL(%g1), %o0 ! restore %o0
325 EX_ST(STORE(stx, %o5, %o0), memcpy_retl_o2_plus_31)
331 EX_ST(STORE(stx, %o5, %o0+8), memcpy_retl_o2_plus_31_24)
337 EX_ST(STORE(stx, %o5, %o0+16), memcpy_retl_o2_plus_31_16)
338 add %o0, 32, %o0 ! increase dst ptr by 32
344 EX_ST(STORE(stx, %o5, %o0-8), memcpy_retl_o2_plus_31_8)
358 EX_ST(STORE(stx, %o5, %o0), memcpy_retl_o2_plus_16)
361 add %o0, 16, %o0 ! increase dst ptr by 16
365 EX_ST(STORE(stx, %o5, %o0-8), memcpy_retl_o2_plus_8)
373 EX_ST(STORE(stw, %o4, %o0), memcpy_retl_o2_plus_8)! and store 4 bytes
376 add %o0, 8, %o0 ! increase dst ptr by 8
377 EX_ST(STORE(stw, %o3, %o0-4), memcpy_retl_o2_plus_4)! and store 4 bytes
385 add %o0, 4, %o0 ! increase dst ptr by 4
388 EX_ST(STORE(stw, %o4, %o0-4), memcpy_retl_o2_plus_4)! and store 4 bytes
390 mov EX_RETVAL(%g1), %o0
395 andcc %o0, 0x3f, %o3 ! %o3 == 0 means dst is 64 byte aligned
397 andcc %o0, 8, %o3 ! odd long words to move?
403 add %o0, 8, %o0 ! increment dst ptr
404 EX_ST(STORE(stx, %o4, %o0-8), memcpy_retl_o2_plus_8)
406 andcc %o0, 16, %o3 ! pair of long words to move?
411 EX_ST(STORE(stx, %o4, %o0), memcpy_retl_o2_plus_16)
414 add %o0, 16, %o0 ! increment dst ptr
415 EX_ST(STORE(stx, %o4, %o0-8), memcpy_retl_o2_plus_8)
417 andcc %o0, 32, %o3 ! four long words to move?
422 EX_ST(STORE(stx, %o4, %o0), memcpy_retl_o2_plus_32)
424 EX_ST(STORE(stx, %o4, %o0+8), memcpy_retl_o2_plus_24)
426 EX_ST(STORE(stx, %o4, %o0+16), memcpy_retl_o2_plus_16)
429 add %o0, 32, %o0 ! increment dst ptr
430 EX_ST(STORE(stx, %o4, %o0-8), memcpy_retl_o2_plus_8)
456 sub %o0, 8, %o0 ! adjust %o0 for ASI alignment
466 add %o0, 8, %o0
467 EX_ST(STORE_INIT_MRU(%o4, %o0), memcpy_retl_o2_plus_o5)
469 add %o0, 56, %o0
474 sub %o0, %o4, %o0 ! reset %o0
478 add %o0, 16, %o0
479 EX_ST(STORE_INIT_MRU(%o4, %o0), memcpy_retl_o2_plus_o5)
481 add %o0, 8, %o0
482 EX_ST(STORE_INIT_MRU(%o4, %o0), memcpy_retl_o2_plus_o5)
485 add %o0, 8, %o0
486 EX_ST(STORE_INIT_MRU(%o4, %o0), memcpy_retl_o2_plus_o5)
488 add %o0, 8, %o0
489 EX_ST(STORE_INIT_MRU(%o4, %o0), memcpy_retl_o2_plus_o5)
491 add %o0, 8, %o0
492 EX_ST(STORE_INIT_MRU(%o4, %o0), memcpy_retl_o2_plus_o5)
495 add %o0, 8, %o0
496 EX_ST(STORE_INIT_MRU(%o4, %o0), memcpy_retl_o2_plus_o5)
497 add %o0, 8, %o0
502 EX_ST(STORE_INIT(%o4, %o0), memcpy_retl_o2_plus_o5_plus_64)
513 EX_ST(STORE(stx, %o4, %o0+8), memcpy_retl_o2_plus_o5)
515 EX_ST(STORE(stx, %o4, %o0+8+8), memcpy_retl_o2_plus_o5)
517 EX_ST(STORE(stx, %o4, %o0+8+16), memcpy_retl_o2_plus_o5)
520 EX_ST(STORE(stx, %o4, %o0+8+24), memcpy_retl_o2_plus_o5_64)
522 EX_ST(STORE(stx, %o4, %o0+8+32), memcpy_retl_o2_plus_o5_64)
524 EX_ST(STORE(stx, %o4, %o0+8+40), memcpy_retl_o2_plus_o5_64)
527 EX_ST(STORE(stx, %o4, %o0+8+48), memcpy_retl_o2_plus_o5_64)
528 add %o0, 64, %o0
531 EX_ST(STORE(stx, %o4, %o0), memcpy_retl_o2_plus_o5_64)
534 add %o0, 8, %o0 ! restore %o0 from ASI alignment
572 EX_ST_FP(STORE(std, %f16, %o0), memcpy_retl_o2_plus_o5_plus_64)
575 EX_ST_FP(STORE(std, %f18, %o0+8), memcpy_retl_o2_plus_o5_plus_56)
578 EX_ST_FP(STORE(std, %f20, %o0+16), memcpy_retl_o2_plus_o5_plus_48)
581 EX_ST_FP(STORE(std, %f22, %o0+24), memcpy_retl_o2_plus_o5_plus_40)
584 EX_ST_FP(STORE(std, %f24, %o0+32), memcpy_retl_o2_plus_o5_plus_32)
588 EX_ST_FP(STORE(std, %f26, %o0+40), memcpy_retl_o2_plus_o5_plus_24)
591 EX_ST_FP(STORE(std, %f28, %o0+48), memcpy_retl_o2_plus_o5_plus_16)
593 EX_ST_FP(STORE(std, %f30, %o0+56), memcpy_retl_o2_plus_o5_plus_8)
594 add %o0, BLOCK_SIZE, %o0
601 andcc %o0, 0x3f, %o3 ! is dst 64-byte block aligned?
617 EX_ST_FP(STORE(stw, %o4, %o0), memcpy_retl_o2_plus_o3) ! and store 4
620 add %o0, 8, %o0 ! increase dst ptr by 8
622 EX_ST_FP(STORE(stw, %o4, %o0-4), memcpy_retl_o2_plus_o3_plus_4)
635 EX_ST_FP(STORE(stx, %o5, %o0), memcpy_retl_o2_plus_o3)
639 add %o0, 8, %o0
645 sub %o0, %o1, %o0 ! share pointer advance
660 add %o0, %o1, %o0
661 EX_ST_FP(STORE(stx, %o5, %o0), memcpy_retl_o2_plus_o3)
662 sub %o0, %o1, %o0
666 add %o0,%o1, %o0 ! restore pointer
688 EX_ST_FP(STORE(std, %f0, %o0), memcpy_retl_o2_plus_o5)
692 EX_ST_FP(STORE(std, %f2, %o0+8), memcpy_retl_o2_plus_o5_plus_56)
695 EX_ST_FP(STORE(std, %f4, %o0+16), memcpy_retl_o2_plus_o5_plus_48)
698 EX_ST_FP(STORE(std, %f6, %o0+24), memcpy_retl_o2_plus_o5_plus_40)
701 EX_ST_FP(STORE(std, %f8, %o0+32), memcpy_retl_o2_plus_o5_plus_40)
705 EX_ST_FP(STORE(std, %f10, %o0+40), memcpy_retl_o2_plus_o5_plus_40)
706 EX_ST_FP(STORE(std, %f12, %o0+48), memcpy_retl_o2_plus_o5_plus_40)
707 add %o0, 64, %o0
708 EX_ST_FP(STORE(std, %f14, %o0-8), memcpy_retl_o2_plus_o5_plus_40)
731 EX_ST_FP(STORE(std, %f16, %o0), memcpy_retl_o2_plus_o5)
734 add %o0, 8, %o0
755 or %o0, %o1, %g2
773 EX_ST(STORE(stx, %o3, %o0 + 0x00), memcpy_retl_o2_plus_o5_plus_32)
774 EX_ST(STORE(stx, %g2, %o0 + 0x08), memcpy_retl_o2_plus_o5_plus_24)
775 EX_ST(STORE(stx, %g7, %o0 + 0x10), memcpy_retl_o2_plus_o5_plus_24)
776 EX_ST(STORE(stx, %o4, %o0 + 0x18), memcpy_retl_o2_plus_o5_plus_8)
778 add %o0, 0x20, %o0
784 add %o0, 0x08, %o0
787 EX_ST(STORE(stx, %o3, %o0 - 0x08), memcpy_retl_o2_plus_o5_plus_8)
794 add %o0, 0x04, %o0
797 EX_ST(STORE(stw, %o3, %o0 - 0x04), memcpy_retl_o2_plus_4)
802 sub %g0, %o0, %o3
810 add %o0, 1, %o0
812 EX_ST(STORE(stb, %g2, %o0 - 0x01), memcpy_retl_o2_plus_g1_plus_1)
830 EX_ST(STORE(stx, %g7, %o0 + 0x00), memcpy_retl_o2_plus_o5_plus_8)
831 add %o0, 0x08, %o0
844 EX_ST(STORE(stb, %o3, %o0 + 0x00), memcpy_retl_o2_plus_1)
848 EX_ST(STORE(stb, %o3, %o0 + 0x01), memcpy_retl_o2_plus_1)
851 EX_ST(STORE(stb, %o3, %o0 + 0x02), memcpy_retl_o2)
862 add %o0, 0x04, %o0
864 EX_ST(STORE(stw, %o3, %o0 - 0x04), memcpy_retl_o2_plus_o5_plus_4)
872 add %o0, 1, %o0
875 EX_ST(STORE(stb, %o3, %o0 - 0x01), memcpy_retl_o2_plus_1)
888 EX_ST(STORE(stb, %o3, %o0), memcpy_retl_o2_plus_7)! write byte & repeat
891 EX_ST(STORE(stb, %o3, %o0+1), memcpy_retl_o2_plus_6)
893 add %o0, 4, %o0 ! advance DST by 4
894 EX_ST(STORE(stb, %o3, %o0-2), memcpy_retl_o2_plus_5)
897 EX_ST(STORE(stb, %o3, %o0-1), memcpy_retl_o2_plus_4)
904 EX_ST(STORE(stb, %o3, %o0), memcpy_retl_o2_plus_1) ! store one byte
908 EX_ST(STORE(stb, %o3, %o0+1), memcpy_retl_o2_plus_1)! store second byte
910 EX_ST(STORE(stb, %o3, %o0+2), memcpy_retl_o2) ! store third byte
913 mov EX_RETVAL(%g1), %o0
919 mov EX_RETVAL(%g1), %o0 ! restore %o0
922 mov EX_RETVAL(%g1), %o0