xref: /linux/arch/sparc/lib/GENmemcpy.S (revision 44f57d78) 
1/* SPDX-License-Identifier: GPL-2.0 */
2/* GENmemcpy.S: Generic sparc64 memcpy.
3 *
4 * Copyright (C) 2007 David S. Miller (davem@davemloft.net)
5 */
6
7#ifdef __KERNEL__
8#include <linux/linkage.h>
9#define GLOBAL_SPARE	%g7
10#else
11#define GLOBAL_SPARE	%g5
12#endif
13
14#ifndef EX_LD
15#define EX_LD(x,y)	x
16#endif
17
18#ifndef EX_ST
19#define EX_ST(x,y)	x
20#endif
21
22#ifndef LOAD
23#define LOAD(type,addr,dest)	type [addr], dest
24#endif
25
26#ifndef STORE
27#define STORE(type,src,addr)	type src, [addr]
28#endif
29
30#ifndef FUNC_NAME
31#define FUNC_NAME	GENmemcpy
32#endif
33
34#ifndef PREAMBLE
35#define PREAMBLE
36#endif
37
38#ifndef XCC
39#define XCC xcc
40#endif
41
42	.register	%g2,#scratch
43	.register	%g3,#scratch
44
45	.text
46
47#ifndef EX_RETVAL
48#define EX_RETVAL(x)	x
49ENTRY(GEN_retl_o4_1)
50	add	%o4, %o2, %o4
51	retl
52	 add	%o4, 1, %o0
53ENDPROC(GEN_retl_o4_1)
54ENTRY(GEN_retl_g1_8)
55	add	%g1, %o2, %g1
56	retl
57	 add	%g1, 8, %o0
58ENDPROC(GEN_retl_g1_8)
59ENTRY(GEN_retl_o2_4)
60	retl
61	 add	%o2, 4, %o0
62ENDPROC(GEN_retl_o2_4)
63ENTRY(GEN_retl_o2_1)
64	retl
65	 add	%o2, 1, %o0
66ENDPROC(GEN_retl_o2_1)
67#endif
68
69	.align		64
70
71	.globl	FUNC_NAME
72	.type	FUNC_NAME,#function
73FUNC_NAME:	/* %o0=dst, %o1=src, %o2=len */
74	srlx		%o2, 31, %g2
75	cmp		%g2, 0
76	tne		%XCC, 5
77	PREAMBLE
78	mov		%o0, GLOBAL_SPARE
79
80	cmp		%o2, 0
81	be,pn		%XCC, 85f
82	 or		%o0, %o1, %o3
83	cmp		%o2, 16
84	blu,a,pn	%XCC, 80f
85	 or		%o3, %o2, %o3
86
87	xor		%o0, %o1, %o4
88	andcc		%o4, 0x7, %g0
89	bne,a,pn	%XCC, 90f
90	 sub		%o0, %o1, %o3
91
92	and		%o0, 0x7, %o4
93	sub		%o4, 0x8, %o4
94	sub		%g0, %o4, %o4
95	sub		%o2, %o4, %o2
961:	subcc		%o4, 1, %o4
97	EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o4_1)
98	EX_ST(STORE(stb, %g1, %o0),GEN_retl_o4_1)
99	add		%o1, 1, %o1
100	bne,pt		%XCC, 1b
101	add		%o0, 1, %o0
102
103	andn		%o2, 0x7, %g1
104	sub		%o2, %g1, %o2
1051:	subcc		%g1, 0x8, %g1
106	EX_LD(LOAD(ldx, %o1, %g2),GEN_retl_g1_8)
107	EX_ST(STORE(stx, %g2, %o0),GEN_retl_g1_8)
108	add		%o1, 0x8, %o1
109	bne,pt		%XCC, 1b
110	 add		%o0, 0x8, %o0
111
112	brz,pt		%o2, 85f
113	 sub		%o0, %o1, %o3
114	ba,a,pt		%XCC, 90f
115
116	.align		64
11780: /* 0 < len <= 16 */
118	andcc		%o3, 0x3, %g0
119	bne,pn		%XCC, 90f
120	 sub		%o0, %o1, %o3
121
1221:
123	subcc		%o2, 4, %o2
124	EX_LD(LOAD(lduw, %o1, %g1),GEN_retl_o2_4)
125	EX_ST(STORE(stw, %g1, %o1 + %o3),GEN_retl_o2_4)
126	bgu,pt		%XCC, 1b
127	 add		%o1, 4, %o1
128
12985:	retl
130	 mov		EX_RETVAL(GLOBAL_SPARE), %o0
131
132	.align		32
13390:
134	subcc		%o2, 1, %o2
135	EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o2_1)
136	EX_ST(STORE(stb, %g1, %o1 + %o3),GEN_retl_o2_1)
137	bgu,pt		%XCC, 90b
138	 add		%o1, 1, %o1
139	retl
140	 mov		EX_RETVAL(GLOBAL_SPARE), %o0
141
142	.size		FUNC_NAME, .-FUNC_NAME
143