1 /*
2 * SHA-1 using Intel SHA intrinsic
3 *
4 * Based on public domain code by Sean Gulley
5 * (https://github.com/mitls/hacl-star/tree/master/experimental/hash)
6 * Adapted to Botan by Jeffrey Walton.
7 *
8 * Further changes
9 *
10 * (C) 2017 Jack Lloyd
11 *
12 * Botan is released under the Simplified BSD License (see license.txt)
13 */
14
15 #include <botan/sha160.h>
16 #include <immintrin.h>
17
18 namespace Botan {
19
20 #if defined(BOTAN_HAS_SHA1_X86_SHA_NI)
21 BOTAN_FUNC_ISA("sha,ssse3,sse4.1")
sha1_compress_x86(secure_vector<uint32_t> & digest,const uint8_t input[],size_t blocks)22 void SHA_160::sha1_compress_x86(secure_vector<uint32_t>& digest,
23 const uint8_t input[],
24 size_t blocks)
25 {
26 const __m128i MASK = _mm_set_epi64x(0x0001020304050607ULL, 0x08090a0b0c0d0e0fULL);
27 const __m128i* input_mm = reinterpret_cast<const __m128i*>(input);
28
29 uint32_t* state = digest.data();
30
31 // Load initial values
32 __m128i ABCD = _mm_loadu_si128(reinterpret_cast<__m128i*>(state));
33 __m128i E0 = _mm_set_epi32(state[4], 0, 0, 0);
34 ABCD = _mm_shuffle_epi32(ABCD, 0x1B);
35
36 while (blocks)
37 {
38 // Save current hash
39 const __m128i ABCD_SAVE = ABCD;
40 const __m128i E0_SAVE = E0;
41
42 __m128i MSG0, MSG1, MSG2, MSG3;
43 __m128i E1;
44
45 // Rounds 0-3
46 MSG0 = _mm_loadu_si128(input_mm+0);
47 MSG0 = _mm_shuffle_epi8(MSG0, MASK);
48 E0 = _mm_add_epi32(E0, MSG0);
49 E1 = ABCD;
50 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 0);
51
52 // Rounds 4-7
53 MSG1 = _mm_loadu_si128(input_mm+1);
54 MSG1 = _mm_shuffle_epi8(MSG1, MASK);
55 E1 = _mm_sha1nexte_epu32(E1, MSG1);
56 E0 = ABCD;
57 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 0);
58 MSG0 = _mm_sha1msg1_epu32(MSG0, MSG1);
59
60 // Rounds 8-11
61 MSG2 = _mm_loadu_si128(input_mm+2);
62 MSG2 = _mm_shuffle_epi8(MSG2, MASK);
63 E0 = _mm_sha1nexte_epu32(E0, MSG2);
64 E1 = ABCD;
65 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 0);
66 MSG1 = _mm_sha1msg1_epu32(MSG1, MSG2);
67 MSG0 = _mm_xor_si128(MSG0, MSG2);
68
69 // Rounds 12-15
70 MSG3 = _mm_loadu_si128(input_mm+3);
71 MSG3 = _mm_shuffle_epi8(MSG3, MASK);
72 E1 = _mm_sha1nexte_epu32(E1, MSG3);
73 E0 = ABCD;
74 MSG0 = _mm_sha1msg2_epu32(MSG0, MSG3);
75 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 0);
76 MSG2 = _mm_sha1msg1_epu32(MSG2, MSG3);
77 MSG1 = _mm_xor_si128(MSG1, MSG3);
78
79 // Rounds 16-19
80 E0 = _mm_sha1nexte_epu32(E0, MSG0);
81 E1 = ABCD;
82 MSG1 = _mm_sha1msg2_epu32(MSG1, MSG0);
83 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 0);
84 MSG3 = _mm_sha1msg1_epu32(MSG3, MSG0);
85 MSG2 = _mm_xor_si128(MSG2, MSG0);
86
87 // Rounds 20-23
88 E1 = _mm_sha1nexte_epu32(E1, MSG1);
89 E0 = ABCD;
90 MSG2 = _mm_sha1msg2_epu32(MSG2, MSG1);
91 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 1);
92 MSG0 = _mm_sha1msg1_epu32(MSG0, MSG1);
93 MSG3 = _mm_xor_si128(MSG3, MSG1);
94
95 // Rounds 24-27
96 E0 = _mm_sha1nexte_epu32(E0, MSG2);
97 E1 = ABCD;
98 MSG3 = _mm_sha1msg2_epu32(MSG3, MSG2);
99 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 1);
100 MSG1 = _mm_sha1msg1_epu32(MSG1, MSG2);
101 MSG0 = _mm_xor_si128(MSG0, MSG2);
102
103 // Rounds 28-31
104 E1 = _mm_sha1nexte_epu32(E1, MSG3);
105 E0 = ABCD;
106 MSG0 = _mm_sha1msg2_epu32(MSG0, MSG3);
107 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 1);
108 MSG2 = _mm_sha1msg1_epu32(MSG2, MSG3);
109 MSG1 = _mm_xor_si128(MSG1, MSG3);
110
111 // Rounds 32-35
112 E0 = _mm_sha1nexte_epu32(E0, MSG0);
113 E1 = ABCD;
114 MSG1 = _mm_sha1msg2_epu32(MSG1, MSG0);
115 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 1);
116 MSG3 = _mm_sha1msg1_epu32(MSG3, MSG0);
117 MSG2 = _mm_xor_si128(MSG2, MSG0);
118
119 // Rounds 36-39
120 E1 = _mm_sha1nexte_epu32(E1, MSG1);
121 E0 = ABCD;
122 MSG2 = _mm_sha1msg2_epu32(MSG2, MSG1);
123 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 1);
124 MSG0 = _mm_sha1msg1_epu32(MSG0, MSG1);
125 MSG3 = _mm_xor_si128(MSG3, MSG1);
126
127 // Rounds 40-43
128 E0 = _mm_sha1nexte_epu32(E0, MSG2);
129 E1 = ABCD;
130 MSG3 = _mm_sha1msg2_epu32(MSG3, MSG2);
131 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 2);
132 MSG1 = _mm_sha1msg1_epu32(MSG1, MSG2);
133 MSG0 = _mm_xor_si128(MSG0, MSG2);
134
135 // Rounds 44-47
136 E1 = _mm_sha1nexte_epu32(E1, MSG3);
137 E0 = ABCD;
138 MSG0 = _mm_sha1msg2_epu32(MSG0, MSG3);
139 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 2);
140 MSG2 = _mm_sha1msg1_epu32(MSG2, MSG3);
141 MSG1 = _mm_xor_si128(MSG1, MSG3);
142
143 // Rounds 48-51
144 E0 = _mm_sha1nexte_epu32(E0, MSG0);
145 E1 = ABCD;
146 MSG1 = _mm_sha1msg2_epu32(MSG1, MSG0);
147 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 2);
148 MSG3 = _mm_sha1msg1_epu32(MSG3, MSG0);
149 MSG2 = _mm_xor_si128(MSG2, MSG0);
150
151 // Rounds 52-55
152 E1 = _mm_sha1nexte_epu32(E1, MSG1);
153 E0 = ABCD;
154 MSG2 = _mm_sha1msg2_epu32(MSG2, MSG1);
155 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 2);
156 MSG0 = _mm_sha1msg1_epu32(MSG0, MSG1);
157 MSG3 = _mm_xor_si128(MSG3, MSG1);
158
159 // Rounds 56-59
160 E0 = _mm_sha1nexte_epu32(E0, MSG2);
161 E1 = ABCD;
162 MSG3 = _mm_sha1msg2_epu32(MSG3, MSG2);
163 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 2);
164 MSG1 = _mm_sha1msg1_epu32(MSG1, MSG2);
165 MSG0 = _mm_xor_si128(MSG0, MSG2);
166
167 // Rounds 60-63
168 E1 = _mm_sha1nexte_epu32(E1, MSG3);
169 E0 = ABCD;
170 MSG0 = _mm_sha1msg2_epu32(MSG0, MSG3);
171 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 3);
172 MSG2 = _mm_sha1msg1_epu32(MSG2, MSG3);
173 MSG1 = _mm_xor_si128(MSG1, MSG3);
174
175 // Rounds 64-67
176 E0 = _mm_sha1nexte_epu32(E0, MSG0);
177 E1 = ABCD;
178 MSG1 = _mm_sha1msg2_epu32(MSG1, MSG0);
179 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 3);
180 MSG3 = _mm_sha1msg1_epu32(MSG3, MSG0);
181 MSG2 = _mm_xor_si128(MSG2, MSG0);
182
183 // Rounds 68-71
184 E1 = _mm_sha1nexte_epu32(E1, MSG1);
185 E0 = ABCD;
186 MSG2 = _mm_sha1msg2_epu32(MSG2, MSG1);
187 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 3);
188 MSG3 = _mm_xor_si128(MSG3, MSG1);
189
190 // Rounds 72-75
191 E0 = _mm_sha1nexte_epu32(E0, MSG2);
192 E1 = ABCD;
193 MSG3 = _mm_sha1msg2_epu32(MSG3, MSG2);
194 ABCD = _mm_sha1rnds4_epu32(ABCD, E0, 3);
195
196 // Rounds 76-79
197 E1 = _mm_sha1nexte_epu32(E1, MSG3);
198 E0 = ABCD;
199 ABCD = _mm_sha1rnds4_epu32(ABCD, E1, 3);
200
201 // Add values back to state
202 E0 = _mm_sha1nexte_epu32(E0, E0_SAVE);
203 ABCD = _mm_add_epi32(ABCD, ABCD_SAVE);
204
205 input_mm += 4;
206 blocks--;
207 }
208
209 // Save state
210 ABCD = _mm_shuffle_epi32(ABCD, 0x1B);
211 _mm_storeu_si128(reinterpret_cast<__m128i*>(state), ABCD);
212 state[4] = _mm_extract_epi32(E0, 3);
213 }
214 #endif
215
216 }
217