1 /*
2 * Support for SHA-256 x86 instrinsic
3 * Based on public domain code by Sean Gulley
4 * (https://github.com/mitls/hacl-star/tree/master/experimental/hash)
5 *
6 * Botan is released under the Simplified BSD License (see license.txt)
7 */
8
9 #include <botan/sha2_32.h>
10 #include <immintrin.h>
11
12 namespace Botan {
13
14 // called from sha2_32.cpp
15 #if defined(BOTAN_HAS_SHA2_32_X86)
16 BOTAN_FUNC_ISA("sha,sse4.1,ssse3")
compress_digest_x86(secure_vector<uint32_t> & digest,const uint8_t input[],size_t blocks)17 void SHA_256::compress_digest_x86(secure_vector<uint32_t>& digest, const uint8_t input[], size_t blocks)
18 {
19 __m128i STATE0, STATE1;
20 __m128i MSG, TMP, MASK;
21 __m128i TMSG0, TMSG1, TMSG2, TMSG3;
22 __m128i ABEF_SAVE, CDGH_SAVE;
23
24 uint32_t* state = &digest[0];
25
26 const __m128i* input_mm = reinterpret_cast<const __m128i*>(input);
27
28 // Load initial values
29 TMP = _mm_loadu_si128(reinterpret_cast<__m128i*>(&state[0]));
30 STATE1 = _mm_loadu_si128(reinterpret_cast<__m128i*>(&state[4]));
31 MASK = _mm_set_epi64x(0x0c0d0e0f08090a0bULL, 0x0405060700010203ULL);
32
33 TMP = _mm_shuffle_epi32(TMP, 0xB1); // CDAB
34 STATE1 = _mm_shuffle_epi32(STATE1, 0x1B); // EFGH
35 STATE0 = _mm_alignr_epi8(TMP, STATE1, 8); // ABEF
36 STATE1 = _mm_blend_epi16(STATE1, TMP, 0xF0); // CDGH
37
38 while (blocks)
39 {
40 // Save current hash
41 ABEF_SAVE = STATE0;
42 CDGH_SAVE = STATE1;
43
44 // Rounds 0-3
45 MSG = _mm_loadu_si128(input_mm);
46 TMSG0 = _mm_shuffle_epi8(MSG, MASK);
47 MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0xE9B5DBA5B5C0FBCFULL, 0x71374491428A2F98ULL));
48 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
49 MSG = _mm_shuffle_epi32(MSG, 0x0E);
50 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
51
52 // Rounds 4-7
53 TMSG1 = _mm_loadu_si128(input_mm + 1);
54 TMSG1 = _mm_shuffle_epi8(TMSG1, MASK);
55 MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0xAB1C5ED5923F82A4ULL, 0x59F111F13956C25BULL));
56 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
57 MSG = _mm_shuffle_epi32(MSG, 0x0E);
58 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
59 TMSG0 = _mm_sha256msg1_epu32(TMSG0, TMSG1);
60
61 // Rounds 8-11
62 TMSG2 = _mm_loadu_si128(input_mm + 2);
63 TMSG2 = _mm_shuffle_epi8(TMSG2, MASK);
64 MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0x550C7DC3243185BEULL, 0x12835B01D807AA98ULL));
65 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
66 MSG = _mm_shuffle_epi32(MSG, 0x0E);
67 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
68 TMSG1 = _mm_sha256msg1_epu32(TMSG1, TMSG2);
69
70 // Rounds 12-15
71 TMSG3 = _mm_loadu_si128(input_mm + 3);
72 TMSG3 = _mm_shuffle_epi8(TMSG3, MASK);
73 MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0xC19BF1749BDC06A7ULL, 0x80DEB1FE72BE5D74ULL));
74 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
75 TMP = _mm_alignr_epi8(TMSG3, TMSG2, 4);
76 TMSG0 = _mm_add_epi32(TMSG0, TMP);
77 TMSG0 = _mm_sha256msg2_epu32(TMSG0, TMSG3);
78 MSG = _mm_shuffle_epi32(MSG, 0x0E);
79 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
80 TMSG2 = _mm_sha256msg1_epu32(TMSG2, TMSG3);
81
82 // Rounds 16-19
83 MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0x240CA1CC0FC19DC6ULL, 0xEFBE4786E49B69C1ULL));
84 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
85 TMP = _mm_alignr_epi8(TMSG0, TMSG3, 4);
86 TMSG1 = _mm_add_epi32(TMSG1, TMP);
87 TMSG1 = _mm_sha256msg2_epu32(TMSG1, TMSG0);
88 MSG = _mm_shuffle_epi32(MSG, 0x0E);
89 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
90 TMSG3 = _mm_sha256msg1_epu32(TMSG3, TMSG0);
91
92 // Rounds 20-23
93 MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0x76F988DA5CB0A9DCULL, 0x4A7484AA2DE92C6FULL));
94 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
95 TMP = _mm_alignr_epi8(TMSG1, TMSG0, 4);
96 TMSG2 = _mm_add_epi32(TMSG2, TMP);
97 TMSG2 = _mm_sha256msg2_epu32(TMSG2, TMSG1);
98 MSG = _mm_shuffle_epi32(MSG, 0x0E);
99 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
100 TMSG0 = _mm_sha256msg1_epu32(TMSG0, TMSG1);
101
102 // Rounds 24-27
103 MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0xBF597FC7B00327C8ULL, 0xA831C66D983E5152ULL));
104 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
105 TMP = _mm_alignr_epi8(TMSG2, TMSG1, 4);
106 TMSG3 = _mm_add_epi32(TMSG3, TMP);
107 TMSG3 = _mm_sha256msg2_epu32(TMSG3, TMSG2);
108 MSG = _mm_shuffle_epi32(MSG, 0x0E);
109 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
110 TMSG1 = _mm_sha256msg1_epu32(TMSG1, TMSG2);
111
112 // Rounds 28-31
113 MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0x1429296706CA6351ULL, 0xD5A79147C6E00BF3ULL));
114 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
115 TMP = _mm_alignr_epi8(TMSG3, TMSG2, 4);
116 TMSG0 = _mm_add_epi32(TMSG0, TMP);
117 TMSG0 = _mm_sha256msg2_epu32(TMSG0, TMSG3);
118 MSG = _mm_shuffle_epi32(MSG, 0x0E);
119 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
120 TMSG2 = _mm_sha256msg1_epu32(TMSG2, TMSG3);
121
122 // Rounds 32-35
123 MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0x53380D134D2C6DFCULL, 0x2E1B213827B70A85ULL));
124 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
125 TMP = _mm_alignr_epi8(TMSG0, TMSG3, 4);
126 TMSG1 = _mm_add_epi32(TMSG1, TMP);
127 TMSG1 = _mm_sha256msg2_epu32(TMSG1, TMSG0);
128 MSG = _mm_shuffle_epi32(MSG, 0x0E);
129 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
130 TMSG3 = _mm_sha256msg1_epu32(TMSG3, TMSG0);
131
132 // Rounds 36-39
133 MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0x92722C8581C2C92EULL, 0x766A0ABB650A7354ULL));
134 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
135 TMP = _mm_alignr_epi8(TMSG1, TMSG0, 4);
136 TMSG2 = _mm_add_epi32(TMSG2, TMP);
137 TMSG2 = _mm_sha256msg2_epu32(TMSG2, TMSG1);
138 MSG = _mm_shuffle_epi32(MSG, 0x0E);
139 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
140 TMSG0 = _mm_sha256msg1_epu32(TMSG0, TMSG1);
141
142 // Rounds 40-43
143 MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0xC76C51A3C24B8B70ULL, 0xA81A664BA2BFE8A1ULL));
144 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
145 TMP = _mm_alignr_epi8(TMSG2, TMSG1, 4);
146 TMSG3 = _mm_add_epi32(TMSG3, TMP);
147 TMSG3 = _mm_sha256msg2_epu32(TMSG3, TMSG2);
148 MSG = _mm_shuffle_epi32(MSG, 0x0E);
149 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
150 TMSG1 = _mm_sha256msg1_epu32(TMSG1, TMSG2);
151
152 // Rounds 44-47
153 MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0x106AA070F40E3585ULL, 0xD6990624D192E819ULL));
154 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
155 TMP = _mm_alignr_epi8(TMSG3, TMSG2, 4);
156 TMSG0 = _mm_add_epi32(TMSG0, TMP);
157 TMSG0 = _mm_sha256msg2_epu32(TMSG0, TMSG3);
158 MSG = _mm_shuffle_epi32(MSG, 0x0E);
159 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
160 TMSG2 = _mm_sha256msg1_epu32(TMSG2, TMSG3);
161
162 // Rounds 48-51
163 MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0x34B0BCB52748774CULL, 0x1E376C0819A4C116ULL));
164 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
165 TMP = _mm_alignr_epi8(TMSG0, TMSG3, 4);
166 TMSG1 = _mm_add_epi32(TMSG1, TMP);
167 TMSG1 = _mm_sha256msg2_epu32(TMSG1, TMSG0);
168 MSG = _mm_shuffle_epi32(MSG, 0x0E);
169 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
170 TMSG3 = _mm_sha256msg1_epu32(TMSG3, TMSG0);
171
172 // Rounds 52-55
173 MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0x682E6FF35B9CCA4FULL, 0x4ED8AA4A391C0CB3ULL));
174 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
175 TMP = _mm_alignr_epi8(TMSG1, TMSG0, 4);
176 TMSG2 = _mm_add_epi32(TMSG2, TMP);
177 TMSG2 = _mm_sha256msg2_epu32(TMSG2, TMSG1);
178 MSG = _mm_shuffle_epi32(MSG, 0x0E);
179 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
180
181 // Rounds 56-59
182 MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0x8CC7020884C87814ULL, 0x78A5636F748F82EEULL));
183 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
184 TMP = _mm_alignr_epi8(TMSG2, TMSG1, 4);
185 TMSG3 = _mm_add_epi32(TMSG3, TMP);
186 TMSG3 = _mm_sha256msg2_epu32(TMSG3, TMSG2);
187 MSG = _mm_shuffle_epi32(MSG, 0x0E);
188 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
189
190 // Rounds 60-63
191 MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0xC67178F2BEF9A3F7ULL, 0xA4506CEB90BEFFFAULL));
192 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
193 MSG = _mm_shuffle_epi32(MSG, 0x0E);
194 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
195
196 // Add values back to state
197 STATE0 = _mm_add_epi32(STATE0, ABEF_SAVE);
198 STATE1 = _mm_add_epi32(STATE1, CDGH_SAVE);
199
200 input_mm += 4;
201 blocks--;
202 }
203
204 TMP = _mm_shuffle_epi32(STATE0, 0x1B); // FEBA
205 STATE1 = _mm_shuffle_epi32(STATE1, 0xB1); // DCHG
206 STATE0 = _mm_blend_epi16(TMP, STATE1, 0xF0); // DCBA
207 STATE1 = _mm_alignr_epi8(STATE1, TMP, 8); // ABEF
208
209 // Save state
210 _mm_storeu_si128(reinterpret_cast<__m128i*>(&state[0]), STATE0);
211 _mm_storeu_si128(reinterpret_cast<__m128i*>(&state[4]), STATE1);
212 }
213 #endif
214
215 }
216