1// This file is generated from a similarly-named Perl script in the BoringSSL
2// source tree. Do not edit by hand.
3
4#if !defined(__has_feature)
5#define __has_feature(x) 0
6#endif
7#if __has_feature(memory_sanitizer) && !defined(OPENSSL_NO_ASM)
8#define OPENSSL_NO_ASM
9#endif
10
11#if !defined(OPENSSL_NO_ASM)
12#if defined(__arm__)
13#include <GFp/arm_arch.h>
14
15@ Silence ARMv8 deprecated IT instruction warnings. This file is used by both
16@ ARMv7 and ARMv8 processors and does not use ARMv8 instructions.
17.arch	armv7-a
18
19.text
20#if defined(__thumb2__)
21.syntax	unified
22.thumb
23#else
24.code	32
25#endif
26
27#if __ARM_MAX_ARCH__>=7
28
29.hidden	GFp_armcap_P
30.align	5
31.LOPENSSL_armcap:
32.word	GFp_armcap_P-.Lbn_mul_mont
33#endif
34
35.globl	GFp_bn_mul_mont
36.hidden	GFp_bn_mul_mont
37.type	GFp_bn_mul_mont,%function
38
39.align	5
40GFp_bn_mul_mont:
41.Lbn_mul_mont:
42	ldr	ip,[sp,#4]		@ load num
43	stmdb	sp!,{r0,r2}		@ sp points at argument block
44#if __ARM_MAX_ARCH__>=7
45	tst	ip,#7
46	bne	.Lialu
47	adr	r0,.Lbn_mul_mont
48	ldr	r2,.LOPENSSL_armcap
49	ldr	r0,[r0,r2]
50#ifdef	__APPLE__
51	ldr	r0,[r0]
52#endif
53	tst	r0,#ARMV7_NEON		@ NEON available?
54	ldmia	sp, {r0,r2}
55	beq	.Lialu
56	add	sp,sp,#8
57	b	bn_mul8x_mont_neon
58.align	4
59.Lialu:
60#endif
61	cmp	ip,#2
62	mov	r0,ip			@ load num
63#ifdef	__thumb2__
64	ittt	lt
65#endif
66	movlt	r0,#0
67	addlt	sp,sp,#2*4
68	blt	.Labrt
69
70	stmdb	sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr}		@ save 10 registers
71
72	mov	r0,r0,lsl#2		@ rescale r0 for byte count
73	sub	sp,sp,r0		@ alloca(4*num)
74	sub	sp,sp,#4		@ +extra dword
75	sub	r0,r0,#4		@ "num=num-1"
76	add	r4,r2,r0		@ &bp[num-1]
77
78	add	r0,sp,r0		@ r0 to point at &tp[num-1]
79	ldr	r8,[r0,#14*4]		@ &n0
80	ldr	r2,[r2]		@ bp[0]
81	ldr	r5,[r1],#4		@ ap[0],ap++
82	ldr	r6,[r3],#4		@ np[0],np++
83	ldr	r8,[r8]		@ *n0
84	str	r4,[r0,#15*4]		@ save &bp[num]
85
86	umull	r10,r11,r5,r2	@ ap[0]*bp[0]
87	str	r8,[r0,#14*4]		@ save n0 value
88	mul	r8,r10,r8		@ "tp[0]"*n0
89	mov	r12,#0
90	umlal	r10,r12,r6,r8	@ np[0]*n0+"t[0]"
91	mov	r4,sp
92
93.L1st:
94	ldr	r5,[r1],#4		@ ap[j],ap++
95	mov	r10,r11
96	ldr	r6,[r3],#4		@ np[j],np++
97	mov	r11,#0
98	umlal	r10,r11,r5,r2	@ ap[j]*bp[0]
99	mov	r14,#0
100	umlal	r12,r14,r6,r8	@ np[j]*n0
101	adds	r12,r12,r10
102	str	r12,[r4],#4		@ tp[j-1]=,tp++
103	adc	r12,r14,#0
104	cmp	r4,r0
105	bne	.L1st
106
107	adds	r12,r12,r11
108	ldr	r4,[r0,#13*4]		@ restore bp
109	mov	r14,#0
110	ldr	r8,[r0,#14*4]		@ restore n0
111	adc	r14,r14,#0
112	str	r12,[r0]		@ tp[num-1]=
113	mov	r7,sp
114	str	r14,[r0,#4]		@ tp[num]=
115
116.Louter:
117	sub	r7,r0,r7		@ "original" r0-1 value
118	sub	r1,r1,r7		@ "rewind" ap to &ap[1]
119	ldr	r2,[r4,#4]!		@ *(++bp)
120	sub	r3,r3,r7		@ "rewind" np to &np[1]
121	ldr	r5,[r1,#-4]		@ ap[0]
122	ldr	r10,[sp]		@ tp[0]
123	ldr	r6,[r3,#-4]		@ np[0]
124	ldr	r7,[sp,#4]		@ tp[1]
125
126	mov	r11,#0
127	umlal	r10,r11,r5,r2	@ ap[0]*bp[i]+tp[0]
128	str	r4,[r0,#13*4]		@ save bp
129	mul	r8,r10,r8
130	mov	r12,#0
131	umlal	r10,r12,r6,r8	@ np[0]*n0+"tp[0]"
132	mov	r4,sp
133
134.Linner:
135	ldr	r5,[r1],#4		@ ap[j],ap++
136	adds	r10,r11,r7		@ +=tp[j]
137	ldr	r6,[r3],#4		@ np[j],np++
138	mov	r11,#0
139	umlal	r10,r11,r5,r2	@ ap[j]*bp[i]
140	mov	r14,#0
141	umlal	r12,r14,r6,r8	@ np[j]*n0
142	adc	r11,r11,#0
143	ldr	r7,[r4,#8]		@ tp[j+1]
144	adds	r12,r12,r10
145	str	r12,[r4],#4		@ tp[j-1]=,tp++
146	adc	r12,r14,#0
147	cmp	r4,r0
148	bne	.Linner
149
150	adds	r12,r12,r11
151	mov	r14,#0
152	ldr	r4,[r0,#13*4]		@ restore bp
153	adc	r14,r14,#0
154	ldr	r8,[r0,#14*4]		@ restore n0
155	adds	r12,r12,r7
156	ldr	r7,[r0,#15*4]		@ restore &bp[num]
157	adc	r14,r14,#0
158	str	r12,[r0]		@ tp[num-1]=
159	str	r14,[r0,#4]		@ tp[num]=
160
161	cmp	r4,r7
162#ifdef	__thumb2__
163	itt	ne
164#endif
165	movne	r7,sp
166	bne	.Louter
167
168	ldr	r2,[r0,#12*4]		@ pull rp
169	mov	r5,sp
170	add	r0,r0,#4		@ r0 to point at &tp[num]
171	sub	r5,r0,r5		@ "original" num value
172	mov	r4,sp			@ "rewind" r4
173	mov	r1,r4			@ "borrow" r1
174	sub	r3,r3,r5		@ "rewind" r3 to &np[0]
175
176	subs	r7,r7,r7		@ "clear" carry flag
177.Lsub:	ldr	r7,[r4],#4
178	ldr	r6,[r3],#4
179	sbcs	r7,r7,r6		@ tp[j]-np[j]
180	str	r7,[r2],#4		@ rp[j]=
181	teq	r4,r0		@ preserve carry
182	bne	.Lsub
183	sbcs	r14,r14,#0		@ upmost carry
184	mov	r4,sp			@ "rewind" r4
185	sub	r2,r2,r5		@ "rewind" r2
186
187.Lcopy:	ldr	r7,[r4]		@ conditional copy
188	ldr	r5,[r2]
189	str	sp,[r4],#4		@ zap tp
190#ifdef	__thumb2__
191	it	cc
192#endif
193	movcc	r5,r7
194	str	r5,[r2],#4
195	teq	r4,r0		@ preserve carry
196	bne	.Lcopy
197
198	mov	sp,r0
199	add	sp,sp,#4		@ skip over tp[num+1]
200	ldmia	sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr}		@ restore registers
201	add	sp,sp,#2*4		@ skip over {r0,r2}
202	mov	r0,#1
203.Labrt:
204#if __ARM_ARCH__>=5
205	bx	lr				@ bx lr
206#else
207	tst	lr,#1
208	moveq	pc,lr			@ be binary compatible with V4, yet
209.word	0xe12fff1e			@ interoperable with Thumb ISA:-)
210#endif
211.size	GFp_bn_mul_mont,.-GFp_bn_mul_mont
212#if __ARM_MAX_ARCH__>=7
213.arch	armv7-a
214.fpu	neon
215
216.type	bn_mul8x_mont_neon,%function
217.align	5
218bn_mul8x_mont_neon:
219	mov	ip,sp
220	stmdb	sp!,{r4,r5,r6,r7,r8,r9,r10,r11}
221	vstmdb	sp!,{d8,d9,d10,d11,d12,d13,d14,d15}		@ ABI specification says so
222	ldmia	ip,{r4,r5}		@ load rest of parameter block
223	mov	ip,sp
224
225	cmp	r5,#8
226	bhi	.LNEON_8n
227
228	@ special case for r5==8, everything is in register bank...
229
230	vld1.32	{d28[0]}, [r2,:32]!
231	veor	d8,d8,d8
232	sub	r7,sp,r5,lsl#4
233	vld1.32	{d0,d1,d2,d3},  [r1]!		@ can't specify :32 :-(
234	and	r7,r7,#-64
235	vld1.32	{d30[0]}, [r4,:32]
236	mov	sp,r7			@ alloca
237	vzip.16	d28,d8
238
239	vmull.u32	q6,d28,d0[0]
240	vmull.u32	q7,d28,d0[1]
241	vmull.u32	q8,d28,d1[0]
242	vshl.i64	d29,d13,#16
243	vmull.u32	q9,d28,d1[1]
244
245	vadd.u64	d29,d29,d12
246	veor	d8,d8,d8
247	vmul.u32	d29,d29,d30
248
249	vmull.u32	q10,d28,d2[0]
250	vld1.32	{d4,d5,d6,d7}, [r3]!
251	vmull.u32	q11,d28,d2[1]
252	vmull.u32	q12,d28,d3[0]
253	vzip.16	d29,d8
254	vmull.u32	q13,d28,d3[1]
255
256	vmlal.u32	q6,d29,d4[0]
257	sub	r9,r5,#1
258	vmlal.u32	q7,d29,d4[1]
259	vmlal.u32	q8,d29,d5[0]
260	vmlal.u32	q9,d29,d5[1]
261
262	vmlal.u32	q10,d29,d6[0]
263	vmov	q5,q6
264	vmlal.u32	q11,d29,d6[1]
265	vmov	q6,q7
266	vmlal.u32	q12,d29,d7[0]
267	vmov	q7,q8
268	vmlal.u32	q13,d29,d7[1]
269	vmov	q8,q9
270	vmov	q9,q10
271	vshr.u64	d10,d10,#16
272	vmov	q10,q11
273	vmov	q11,q12
274	vadd.u64	d10,d10,d11
275	vmov	q12,q13
276	veor	q13,q13
277	vshr.u64	d10,d10,#16
278
279	b	.LNEON_outer8
280
281.align	4
282.LNEON_outer8:
283	vld1.32	{d28[0]}, [r2,:32]!
284	veor	d8,d8,d8
285	vzip.16	d28,d8
286	vadd.u64	d12,d12,d10
287
288	vmlal.u32	q6,d28,d0[0]
289	vmlal.u32	q7,d28,d0[1]
290	vmlal.u32	q8,d28,d1[0]
291	vshl.i64	d29,d13,#16
292	vmlal.u32	q9,d28,d1[1]
293
294	vadd.u64	d29,d29,d12
295	veor	d8,d8,d8
296	subs	r9,r9,#1
297	vmul.u32	d29,d29,d30
298
299	vmlal.u32	q10,d28,d2[0]
300	vmlal.u32	q11,d28,d2[1]
301	vmlal.u32	q12,d28,d3[0]
302	vzip.16	d29,d8
303	vmlal.u32	q13,d28,d3[1]
304
305	vmlal.u32	q6,d29,d4[0]
306	vmlal.u32	q7,d29,d4[1]
307	vmlal.u32	q8,d29,d5[0]
308	vmlal.u32	q9,d29,d5[1]
309
310	vmlal.u32	q10,d29,d6[0]
311	vmov	q5,q6
312	vmlal.u32	q11,d29,d6[1]
313	vmov	q6,q7
314	vmlal.u32	q12,d29,d7[0]
315	vmov	q7,q8
316	vmlal.u32	q13,d29,d7[1]
317	vmov	q8,q9
318	vmov	q9,q10
319	vshr.u64	d10,d10,#16
320	vmov	q10,q11
321	vmov	q11,q12
322	vadd.u64	d10,d10,d11
323	vmov	q12,q13
324	veor	q13,q13
325	vshr.u64	d10,d10,#16
326
327	bne	.LNEON_outer8
328
329	vadd.u64	d12,d12,d10
330	mov	r7,sp
331	vshr.u64	d10,d12,#16
332	mov	r8,r5
333	vadd.u64	d13,d13,d10
334	add	r6,sp,#96
335	vshr.u64	d10,d13,#16
336	vzip.16	d12,d13
337
338	b	.LNEON_tail_entry
339
340.align	4
341.LNEON_8n:
342	veor	q6,q6,q6
343	sub	r7,sp,#128
344	veor	q7,q7,q7
345	sub	r7,r7,r5,lsl#4
346	veor	q8,q8,q8
347	and	r7,r7,#-64
348	veor	q9,q9,q9
349	mov	sp,r7			@ alloca
350	veor	q10,q10,q10
351	add	r7,r7,#256
352	veor	q11,q11,q11
353	sub	r8,r5,#8
354	veor	q12,q12,q12
355	veor	q13,q13,q13
356
357.LNEON_8n_init:
358	vst1.64	{q6,q7},[r7,:256]!
359	subs	r8,r8,#8
360	vst1.64	{q8,q9},[r7,:256]!
361	vst1.64	{q10,q11},[r7,:256]!
362	vst1.64	{q12,q13},[r7,:256]!
363	bne	.LNEON_8n_init
364
365	add	r6,sp,#256
366	vld1.32	{d0,d1,d2,d3},[r1]!
367	add	r10,sp,#8
368	vld1.32	{d30[0]},[r4,:32]
369	mov	r9,r5
370	b	.LNEON_8n_outer
371
372.align	4
373.LNEON_8n_outer:
374	vld1.32	{d28[0]},[r2,:32]!	@ *b++
375	veor	d8,d8,d8
376	vzip.16	d28,d8
377	add	r7,sp,#128
378	vld1.32	{d4,d5,d6,d7},[r3]!
379
380	vmlal.u32	q6,d28,d0[0]
381	vmlal.u32	q7,d28,d0[1]
382	veor	d8,d8,d8
383	vmlal.u32	q8,d28,d1[0]
384	vshl.i64	d29,d13,#16
385	vmlal.u32	q9,d28,d1[1]
386	vadd.u64	d29,d29,d12
387	vmlal.u32	q10,d28,d2[0]
388	vmul.u32	d29,d29,d30
389	vmlal.u32	q11,d28,d2[1]
390	vst1.32	{d28},[sp,:64]		@ put aside smashed b[8*i+0]
391	vmlal.u32	q12,d28,d3[0]
392	vzip.16	d29,d8
393	vmlal.u32	q13,d28,d3[1]
394	vld1.32	{d28[0]},[r2,:32]!	@ *b++
395	vmlal.u32	q6,d29,d4[0]
396	veor	d10,d10,d10
397	vmlal.u32	q7,d29,d4[1]
398	vzip.16	d28,d10
399	vmlal.u32	q8,d29,d5[0]
400	vshr.u64	d12,d12,#16
401	vmlal.u32	q9,d29,d5[1]
402	vmlal.u32	q10,d29,d6[0]
403	vadd.u64	d12,d12,d13
404	vmlal.u32	q11,d29,d6[1]
405	vshr.u64	d12,d12,#16
406	vmlal.u32	q12,d29,d7[0]
407	vmlal.u32	q13,d29,d7[1]
408	vadd.u64	d14,d14,d12
409	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+0]
410	vmlal.u32	q7,d28,d0[0]
411	vld1.64	{q6},[r6,:128]!
412	vmlal.u32	q8,d28,d0[1]
413	veor	d8,d8,d8
414	vmlal.u32	q9,d28,d1[0]
415	vshl.i64	d29,d15,#16
416	vmlal.u32	q10,d28,d1[1]
417	vadd.u64	d29,d29,d14
418	vmlal.u32	q11,d28,d2[0]
419	vmul.u32	d29,d29,d30
420	vmlal.u32	q12,d28,d2[1]
421	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+1]
422	vmlal.u32	q13,d28,d3[0]
423	vzip.16	d29,d8
424	vmlal.u32	q6,d28,d3[1]
425	vld1.32	{d28[0]},[r2,:32]!	@ *b++
426	vmlal.u32	q7,d29,d4[0]
427	veor	d10,d10,d10
428	vmlal.u32	q8,d29,d4[1]
429	vzip.16	d28,d10
430	vmlal.u32	q9,d29,d5[0]
431	vshr.u64	d14,d14,#16
432	vmlal.u32	q10,d29,d5[1]
433	vmlal.u32	q11,d29,d6[0]
434	vadd.u64	d14,d14,d15
435	vmlal.u32	q12,d29,d6[1]
436	vshr.u64	d14,d14,#16
437	vmlal.u32	q13,d29,d7[0]
438	vmlal.u32	q6,d29,d7[1]
439	vadd.u64	d16,d16,d14
440	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+1]
441	vmlal.u32	q8,d28,d0[0]
442	vld1.64	{q7},[r6,:128]!
443	vmlal.u32	q9,d28,d0[1]
444	veor	d8,d8,d8
445	vmlal.u32	q10,d28,d1[0]
446	vshl.i64	d29,d17,#16
447	vmlal.u32	q11,d28,d1[1]
448	vadd.u64	d29,d29,d16
449	vmlal.u32	q12,d28,d2[0]
450	vmul.u32	d29,d29,d30
451	vmlal.u32	q13,d28,d2[1]
452	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+2]
453	vmlal.u32	q6,d28,d3[0]
454	vzip.16	d29,d8
455	vmlal.u32	q7,d28,d3[1]
456	vld1.32	{d28[0]},[r2,:32]!	@ *b++
457	vmlal.u32	q8,d29,d4[0]
458	veor	d10,d10,d10
459	vmlal.u32	q9,d29,d4[1]
460	vzip.16	d28,d10
461	vmlal.u32	q10,d29,d5[0]
462	vshr.u64	d16,d16,#16
463	vmlal.u32	q11,d29,d5[1]
464	vmlal.u32	q12,d29,d6[0]
465	vadd.u64	d16,d16,d17
466	vmlal.u32	q13,d29,d6[1]
467	vshr.u64	d16,d16,#16
468	vmlal.u32	q6,d29,d7[0]
469	vmlal.u32	q7,d29,d7[1]
470	vadd.u64	d18,d18,d16
471	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+2]
472	vmlal.u32	q9,d28,d0[0]
473	vld1.64	{q8},[r6,:128]!
474	vmlal.u32	q10,d28,d0[1]
475	veor	d8,d8,d8
476	vmlal.u32	q11,d28,d1[0]
477	vshl.i64	d29,d19,#16
478	vmlal.u32	q12,d28,d1[1]
479	vadd.u64	d29,d29,d18
480	vmlal.u32	q13,d28,d2[0]
481	vmul.u32	d29,d29,d30
482	vmlal.u32	q6,d28,d2[1]
483	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+3]
484	vmlal.u32	q7,d28,d3[0]
485	vzip.16	d29,d8
486	vmlal.u32	q8,d28,d3[1]
487	vld1.32	{d28[0]},[r2,:32]!	@ *b++
488	vmlal.u32	q9,d29,d4[0]
489	veor	d10,d10,d10
490	vmlal.u32	q10,d29,d4[1]
491	vzip.16	d28,d10
492	vmlal.u32	q11,d29,d5[0]
493	vshr.u64	d18,d18,#16
494	vmlal.u32	q12,d29,d5[1]
495	vmlal.u32	q13,d29,d6[0]
496	vadd.u64	d18,d18,d19
497	vmlal.u32	q6,d29,d6[1]
498	vshr.u64	d18,d18,#16
499	vmlal.u32	q7,d29,d7[0]
500	vmlal.u32	q8,d29,d7[1]
501	vadd.u64	d20,d20,d18
502	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+3]
503	vmlal.u32	q10,d28,d0[0]
504	vld1.64	{q9},[r6,:128]!
505	vmlal.u32	q11,d28,d0[1]
506	veor	d8,d8,d8
507	vmlal.u32	q12,d28,d1[0]
508	vshl.i64	d29,d21,#16
509	vmlal.u32	q13,d28,d1[1]
510	vadd.u64	d29,d29,d20
511	vmlal.u32	q6,d28,d2[0]
512	vmul.u32	d29,d29,d30
513	vmlal.u32	q7,d28,d2[1]
514	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+4]
515	vmlal.u32	q8,d28,d3[0]
516	vzip.16	d29,d8
517	vmlal.u32	q9,d28,d3[1]
518	vld1.32	{d28[0]},[r2,:32]!	@ *b++
519	vmlal.u32	q10,d29,d4[0]
520	veor	d10,d10,d10
521	vmlal.u32	q11,d29,d4[1]
522	vzip.16	d28,d10
523	vmlal.u32	q12,d29,d5[0]
524	vshr.u64	d20,d20,#16
525	vmlal.u32	q13,d29,d5[1]
526	vmlal.u32	q6,d29,d6[0]
527	vadd.u64	d20,d20,d21
528	vmlal.u32	q7,d29,d6[1]
529	vshr.u64	d20,d20,#16
530	vmlal.u32	q8,d29,d7[0]
531	vmlal.u32	q9,d29,d7[1]
532	vadd.u64	d22,d22,d20
533	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+4]
534	vmlal.u32	q11,d28,d0[0]
535	vld1.64	{q10},[r6,:128]!
536	vmlal.u32	q12,d28,d0[1]
537	veor	d8,d8,d8
538	vmlal.u32	q13,d28,d1[0]
539	vshl.i64	d29,d23,#16
540	vmlal.u32	q6,d28,d1[1]
541	vadd.u64	d29,d29,d22
542	vmlal.u32	q7,d28,d2[0]
543	vmul.u32	d29,d29,d30
544	vmlal.u32	q8,d28,d2[1]
545	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+5]
546	vmlal.u32	q9,d28,d3[0]
547	vzip.16	d29,d8
548	vmlal.u32	q10,d28,d3[1]
549	vld1.32	{d28[0]},[r2,:32]!	@ *b++
550	vmlal.u32	q11,d29,d4[0]
551	veor	d10,d10,d10
552	vmlal.u32	q12,d29,d4[1]
553	vzip.16	d28,d10
554	vmlal.u32	q13,d29,d5[0]
555	vshr.u64	d22,d22,#16
556	vmlal.u32	q6,d29,d5[1]
557	vmlal.u32	q7,d29,d6[0]
558	vadd.u64	d22,d22,d23
559	vmlal.u32	q8,d29,d6[1]
560	vshr.u64	d22,d22,#16
561	vmlal.u32	q9,d29,d7[0]
562	vmlal.u32	q10,d29,d7[1]
563	vadd.u64	d24,d24,d22
564	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+5]
565	vmlal.u32	q12,d28,d0[0]
566	vld1.64	{q11},[r6,:128]!
567	vmlal.u32	q13,d28,d0[1]
568	veor	d8,d8,d8
569	vmlal.u32	q6,d28,d1[0]
570	vshl.i64	d29,d25,#16
571	vmlal.u32	q7,d28,d1[1]
572	vadd.u64	d29,d29,d24
573	vmlal.u32	q8,d28,d2[0]
574	vmul.u32	d29,d29,d30
575	vmlal.u32	q9,d28,d2[1]
576	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+6]
577	vmlal.u32	q10,d28,d3[0]
578	vzip.16	d29,d8
579	vmlal.u32	q11,d28,d3[1]
580	vld1.32	{d28[0]},[r2,:32]!	@ *b++
581	vmlal.u32	q12,d29,d4[0]
582	veor	d10,d10,d10
583	vmlal.u32	q13,d29,d4[1]
584	vzip.16	d28,d10
585	vmlal.u32	q6,d29,d5[0]
586	vshr.u64	d24,d24,#16
587	vmlal.u32	q7,d29,d5[1]
588	vmlal.u32	q8,d29,d6[0]
589	vadd.u64	d24,d24,d25
590	vmlal.u32	q9,d29,d6[1]
591	vshr.u64	d24,d24,#16
592	vmlal.u32	q10,d29,d7[0]
593	vmlal.u32	q11,d29,d7[1]
594	vadd.u64	d26,d26,d24
595	vst1.32	{d29},[r10,:64]!	@ put aside smashed m[8*i+6]
596	vmlal.u32	q13,d28,d0[0]
597	vld1.64	{q12},[r6,:128]!
598	vmlal.u32	q6,d28,d0[1]
599	veor	d8,d8,d8
600	vmlal.u32	q7,d28,d1[0]
601	vshl.i64	d29,d27,#16
602	vmlal.u32	q8,d28,d1[1]
603	vadd.u64	d29,d29,d26
604	vmlal.u32	q9,d28,d2[0]
605	vmul.u32	d29,d29,d30
606	vmlal.u32	q10,d28,d2[1]
607	vst1.32	{d28},[r10,:64]!	@ put aside smashed b[8*i+7]
608	vmlal.u32	q11,d28,d3[0]
609	vzip.16	d29,d8
610	vmlal.u32	q12,d28,d3[1]
611	vld1.32	{d28},[sp,:64]		@ pull smashed b[8*i+0]
612	vmlal.u32	q13,d29,d4[0]
613	vld1.32	{d0,d1,d2,d3},[r1]!
614	vmlal.u32	q6,d29,d4[1]
615	vmlal.u32	q7,d29,d5[0]
616	vshr.u64	d26,d26,#16
617	vmlal.u32	q8,d29,d5[1]
618	vmlal.u32	q9,d29,d6[0]
619	vadd.u64	d26,d26,d27
620	vmlal.u32	q10,d29,d6[1]
621	vshr.u64	d26,d26,#16
622	vmlal.u32	q11,d29,d7[0]
623	vmlal.u32	q12,d29,d7[1]
624	vadd.u64	d12,d12,d26
625	vst1.32	{d29},[r10,:64]	@ put aside smashed m[8*i+7]
626	add	r10,sp,#8		@ rewind
627	sub	r8,r5,#8
628	b	.LNEON_8n_inner
629
630.align	4
631.LNEON_8n_inner:
632	subs	r8,r8,#8
633	vmlal.u32	q6,d28,d0[0]
634	vld1.64	{q13},[r6,:128]
635	vmlal.u32	q7,d28,d0[1]
636	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+0]
637	vmlal.u32	q8,d28,d1[0]
638	vld1.32	{d4,d5,d6,d7},[r3]!
639	vmlal.u32	q9,d28,d1[1]
640	it	ne
641	addne	r6,r6,#16	@ don't advance in last iteration
642	vmlal.u32	q10,d28,d2[0]
643	vmlal.u32	q11,d28,d2[1]
644	vmlal.u32	q12,d28,d3[0]
645	vmlal.u32	q13,d28,d3[1]
646	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+1]
647	vmlal.u32	q6,d29,d4[0]
648	vmlal.u32	q7,d29,d4[1]
649	vmlal.u32	q8,d29,d5[0]
650	vmlal.u32	q9,d29,d5[1]
651	vmlal.u32	q10,d29,d6[0]
652	vmlal.u32	q11,d29,d6[1]
653	vmlal.u32	q12,d29,d7[0]
654	vmlal.u32	q13,d29,d7[1]
655	vst1.64	{q6},[r7,:128]!
656	vmlal.u32	q7,d28,d0[0]
657	vld1.64	{q6},[r6,:128]
658	vmlal.u32	q8,d28,d0[1]
659	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+1]
660	vmlal.u32	q9,d28,d1[0]
661	it	ne
662	addne	r6,r6,#16	@ don't advance in last iteration
663	vmlal.u32	q10,d28,d1[1]
664	vmlal.u32	q11,d28,d2[0]
665	vmlal.u32	q12,d28,d2[1]
666	vmlal.u32	q13,d28,d3[0]
667	vmlal.u32	q6,d28,d3[1]
668	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+2]
669	vmlal.u32	q7,d29,d4[0]
670	vmlal.u32	q8,d29,d4[1]
671	vmlal.u32	q9,d29,d5[0]
672	vmlal.u32	q10,d29,d5[1]
673	vmlal.u32	q11,d29,d6[0]
674	vmlal.u32	q12,d29,d6[1]
675	vmlal.u32	q13,d29,d7[0]
676	vmlal.u32	q6,d29,d7[1]
677	vst1.64	{q7},[r7,:128]!
678	vmlal.u32	q8,d28,d0[0]
679	vld1.64	{q7},[r6,:128]
680	vmlal.u32	q9,d28,d0[1]
681	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+2]
682	vmlal.u32	q10,d28,d1[0]
683	it	ne
684	addne	r6,r6,#16	@ don't advance in last iteration
685	vmlal.u32	q11,d28,d1[1]
686	vmlal.u32	q12,d28,d2[0]
687	vmlal.u32	q13,d28,d2[1]
688	vmlal.u32	q6,d28,d3[0]
689	vmlal.u32	q7,d28,d3[1]
690	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+3]
691	vmlal.u32	q8,d29,d4[0]
692	vmlal.u32	q9,d29,d4[1]
693	vmlal.u32	q10,d29,d5[0]
694	vmlal.u32	q11,d29,d5[1]
695	vmlal.u32	q12,d29,d6[0]
696	vmlal.u32	q13,d29,d6[1]
697	vmlal.u32	q6,d29,d7[0]
698	vmlal.u32	q7,d29,d7[1]
699	vst1.64	{q8},[r7,:128]!
700	vmlal.u32	q9,d28,d0[0]
701	vld1.64	{q8},[r6,:128]
702	vmlal.u32	q10,d28,d0[1]
703	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+3]
704	vmlal.u32	q11,d28,d1[0]
705	it	ne
706	addne	r6,r6,#16	@ don't advance in last iteration
707	vmlal.u32	q12,d28,d1[1]
708	vmlal.u32	q13,d28,d2[0]
709	vmlal.u32	q6,d28,d2[1]
710	vmlal.u32	q7,d28,d3[0]
711	vmlal.u32	q8,d28,d3[1]
712	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+4]
713	vmlal.u32	q9,d29,d4[0]
714	vmlal.u32	q10,d29,d4[1]
715	vmlal.u32	q11,d29,d5[0]
716	vmlal.u32	q12,d29,d5[1]
717	vmlal.u32	q13,d29,d6[0]
718	vmlal.u32	q6,d29,d6[1]
719	vmlal.u32	q7,d29,d7[0]
720	vmlal.u32	q8,d29,d7[1]
721	vst1.64	{q9},[r7,:128]!
722	vmlal.u32	q10,d28,d0[0]
723	vld1.64	{q9},[r6,:128]
724	vmlal.u32	q11,d28,d0[1]
725	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+4]
726	vmlal.u32	q12,d28,d1[0]
727	it	ne
728	addne	r6,r6,#16	@ don't advance in last iteration
729	vmlal.u32	q13,d28,d1[1]
730	vmlal.u32	q6,d28,d2[0]
731	vmlal.u32	q7,d28,d2[1]
732	vmlal.u32	q8,d28,d3[0]
733	vmlal.u32	q9,d28,d3[1]
734	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+5]
735	vmlal.u32	q10,d29,d4[0]
736	vmlal.u32	q11,d29,d4[1]
737	vmlal.u32	q12,d29,d5[0]
738	vmlal.u32	q13,d29,d5[1]
739	vmlal.u32	q6,d29,d6[0]
740	vmlal.u32	q7,d29,d6[1]
741	vmlal.u32	q8,d29,d7[0]
742	vmlal.u32	q9,d29,d7[1]
743	vst1.64	{q10},[r7,:128]!
744	vmlal.u32	q11,d28,d0[0]
745	vld1.64	{q10},[r6,:128]
746	vmlal.u32	q12,d28,d0[1]
747	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+5]
748	vmlal.u32	q13,d28,d1[0]
749	it	ne
750	addne	r6,r6,#16	@ don't advance in last iteration
751	vmlal.u32	q6,d28,d1[1]
752	vmlal.u32	q7,d28,d2[0]
753	vmlal.u32	q8,d28,d2[1]
754	vmlal.u32	q9,d28,d3[0]
755	vmlal.u32	q10,d28,d3[1]
756	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+6]
757	vmlal.u32	q11,d29,d4[0]
758	vmlal.u32	q12,d29,d4[1]
759	vmlal.u32	q13,d29,d5[0]
760	vmlal.u32	q6,d29,d5[1]
761	vmlal.u32	q7,d29,d6[0]
762	vmlal.u32	q8,d29,d6[1]
763	vmlal.u32	q9,d29,d7[0]
764	vmlal.u32	q10,d29,d7[1]
765	vst1.64	{q11},[r7,:128]!
766	vmlal.u32	q12,d28,d0[0]
767	vld1.64	{q11},[r6,:128]
768	vmlal.u32	q13,d28,d0[1]
769	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+6]
770	vmlal.u32	q6,d28,d1[0]
771	it	ne
772	addne	r6,r6,#16	@ don't advance in last iteration
773	vmlal.u32	q7,d28,d1[1]
774	vmlal.u32	q8,d28,d2[0]
775	vmlal.u32	q9,d28,d2[1]
776	vmlal.u32	q10,d28,d3[0]
777	vmlal.u32	q11,d28,d3[1]
778	vld1.32	{d28},[r10,:64]!	@ pull smashed b[8*i+7]
779	vmlal.u32	q12,d29,d4[0]
780	vmlal.u32	q13,d29,d4[1]
781	vmlal.u32	q6,d29,d5[0]
782	vmlal.u32	q7,d29,d5[1]
783	vmlal.u32	q8,d29,d6[0]
784	vmlal.u32	q9,d29,d6[1]
785	vmlal.u32	q10,d29,d7[0]
786	vmlal.u32	q11,d29,d7[1]
787	vst1.64	{q12},[r7,:128]!
788	vmlal.u32	q13,d28,d0[0]
789	vld1.64	{q12},[r6,:128]
790	vmlal.u32	q6,d28,d0[1]
791	vld1.32	{d29},[r10,:64]!	@ pull smashed m[8*i+7]
792	vmlal.u32	q7,d28,d1[0]
793	it	ne
794	addne	r6,r6,#16	@ don't advance in last iteration
795	vmlal.u32	q8,d28,d1[1]
796	vmlal.u32	q9,d28,d2[0]
797	vmlal.u32	q10,d28,d2[1]
798	vmlal.u32	q11,d28,d3[0]
799	vmlal.u32	q12,d28,d3[1]
800	it	eq
801	subeq	r1,r1,r5,lsl#2	@ rewind
802	vmlal.u32	q13,d29,d4[0]
803	vld1.32	{d28},[sp,:64]		@ pull smashed b[8*i+0]
804	vmlal.u32	q6,d29,d4[1]
805	vld1.32	{d0,d1,d2,d3},[r1]!
806	vmlal.u32	q7,d29,d5[0]
807	add	r10,sp,#8		@ rewind
808	vmlal.u32	q8,d29,d5[1]
809	vmlal.u32	q9,d29,d6[0]
810	vmlal.u32	q10,d29,d6[1]
811	vmlal.u32	q11,d29,d7[0]
812	vst1.64	{q13},[r7,:128]!
813	vmlal.u32	q12,d29,d7[1]
814
815	bne	.LNEON_8n_inner
816	add	r6,sp,#128
817	vst1.64	{q6,q7},[r7,:256]!
818	veor	q2,q2,q2		@ d4-d5
819	vst1.64	{q8,q9},[r7,:256]!
820	veor	q3,q3,q3		@ d6-d7
821	vst1.64	{q10,q11},[r7,:256]!
822	vst1.64	{q12},[r7,:128]
823
824	subs	r9,r9,#8
825	vld1.64	{q6,q7},[r6,:256]!
826	vld1.64	{q8,q9},[r6,:256]!
827	vld1.64	{q10,q11},[r6,:256]!
828	vld1.64	{q12,q13},[r6,:256]!
829
830	itt	ne
831	subne	r3,r3,r5,lsl#2	@ rewind
832	bne	.LNEON_8n_outer
833
834	add	r7,sp,#128
835	vst1.64	{q2,q3}, [sp,:256]!	@ start wiping stack frame
836	vshr.u64	d10,d12,#16
837	vst1.64	{q2,q3},[sp,:256]!
838	vadd.u64	d13,d13,d10
839	vst1.64	{q2,q3}, [sp,:256]!
840	vshr.u64	d10,d13,#16
841	vst1.64	{q2,q3}, [sp,:256]!
842	vzip.16	d12,d13
843
844	mov	r8,r5
845	b	.LNEON_tail_entry
846
847.align	4
848.LNEON_tail:
849	vadd.u64	d12,d12,d10
850	vshr.u64	d10,d12,#16
851	vld1.64	{q8,q9}, [r6, :256]!
852	vadd.u64	d13,d13,d10
853	vld1.64	{q10,q11}, [r6, :256]!
854	vshr.u64	d10,d13,#16
855	vld1.64	{q12,q13}, [r6, :256]!
856	vzip.16	d12,d13
857
858.LNEON_tail_entry:
859	vadd.u64	d14,d14,d10
860	vst1.32	{d12[0]}, [r7, :32]!
861	vshr.u64	d10,d14,#16
862	vadd.u64	d15,d15,d10
863	vshr.u64	d10,d15,#16
864	vzip.16	d14,d15
865	vadd.u64	d16,d16,d10
866	vst1.32	{d14[0]}, [r7, :32]!
867	vshr.u64	d10,d16,#16
868	vadd.u64	d17,d17,d10
869	vshr.u64	d10,d17,#16
870	vzip.16	d16,d17
871	vadd.u64	d18,d18,d10
872	vst1.32	{d16[0]}, [r7, :32]!
873	vshr.u64	d10,d18,#16
874	vadd.u64	d19,d19,d10
875	vshr.u64	d10,d19,#16
876	vzip.16	d18,d19
877	vadd.u64	d20,d20,d10
878	vst1.32	{d18[0]}, [r7, :32]!
879	vshr.u64	d10,d20,#16
880	vadd.u64	d21,d21,d10
881	vshr.u64	d10,d21,#16
882	vzip.16	d20,d21
883	vadd.u64	d22,d22,d10
884	vst1.32	{d20[0]}, [r7, :32]!
885	vshr.u64	d10,d22,#16
886	vadd.u64	d23,d23,d10
887	vshr.u64	d10,d23,#16
888	vzip.16	d22,d23
889	vadd.u64	d24,d24,d10
890	vst1.32	{d22[0]}, [r7, :32]!
891	vshr.u64	d10,d24,#16
892	vadd.u64	d25,d25,d10
893	vshr.u64	d10,d25,#16
894	vzip.16	d24,d25
895	vadd.u64	d26,d26,d10
896	vst1.32	{d24[0]}, [r7, :32]!
897	vshr.u64	d10,d26,#16
898	vadd.u64	d27,d27,d10
899	vshr.u64	d10,d27,#16
900	vzip.16	d26,d27
901	vld1.64	{q6,q7}, [r6, :256]!
902	subs	r8,r8,#8
903	vst1.32	{d26[0]},   [r7, :32]!
904	bne	.LNEON_tail
905
906	vst1.32	{d10[0]}, [r7, :32]		@ top-most bit
907	sub	r3,r3,r5,lsl#2			@ rewind r3
908	subs	r1,sp,#0				@ clear carry flag
909	add	r2,sp,r5,lsl#2
910
911.LNEON_sub:
912	ldmia	r1!, {r4,r5,r6,r7}
913	ldmia	r3!, {r8,r9,r10,r11}
914	sbcs	r8, r4,r8
915	sbcs	r9, r5,r9
916	sbcs	r10,r6,r10
917	sbcs	r11,r7,r11
918	teq	r1,r2				@ preserves carry
919	stmia	r0!, {r8,r9,r10,r11}
920	bne	.LNEON_sub
921
922	ldr	r10, [r1]				@ load top-most bit
923	mov	r11,sp
924	veor	q0,q0,q0
925	sub	r11,r2,r11				@ this is num*4
926	veor	q1,q1,q1
927	mov	r1,sp
928	sub	r0,r0,r11				@ rewind r0
929	mov	r3,r2				@ second 3/4th of frame
930	sbcs	r10,r10,#0				@ result is carry flag
931
932.LNEON_copy_n_zap:
933	ldmia	r1!, {r4,r5,r6,r7}
934	ldmia	r0,  {r8,r9,r10,r11}
935	it	cc
936	movcc	r8, r4
937	vst1.64	{q0,q1}, [r3,:256]!			@ wipe
938	itt	cc
939	movcc	r9, r5
940	movcc	r10,r6
941	vst1.64	{q0,q1}, [r3,:256]!			@ wipe
942	it	cc
943	movcc	r11,r7
944	ldmia	r1, {r4,r5,r6,r7}
945	stmia	r0!, {r8,r9,r10,r11}
946	sub	r1,r1,#16
947	ldmia	r0, {r8,r9,r10,r11}
948	it	cc
949	movcc	r8, r4
950	vst1.64	{q0,q1}, [r1,:256]!			@ wipe
951	itt	cc
952	movcc	r9, r5
953	movcc	r10,r6
954	vst1.64	{q0,q1}, [r3,:256]!			@ wipe
955	it	cc
956	movcc	r11,r7
957	teq	r1,r2				@ preserves carry
958	stmia	r0!, {r8,r9,r10,r11}
959	bne	.LNEON_copy_n_zap
960
961	mov	sp,ip
962	vldmia	sp!,{d8,d9,d10,d11,d12,d13,d14,d15}
963	ldmia	sp!,{r4,r5,r6,r7,r8,r9,r10,r11}
964	bx	lr						@ bx lr
965.size	bn_mul8x_mont_neon,.-bn_mul8x_mont_neon
966#endif
967.byte	77,111,110,116,103,111,109,101,114,121,32,109,117,108,116,105,112,108,105,99,97,116,105,111,110,32,102,111,114,32,65,82,77,118,52,47,78,69,79,78,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0
968.align	2
969#endif
970#endif  // !OPENSSL_NO_ASM
971.section	.note.GNU-stack,"",%progbits
972