1 /*
2 * Support for SHA-256 x86 instrinsic
3 * Based on public domain code by Sean Gulley
4 *    (https://github.com/mitls/hacl-star/tree/master/experimental/hash)
5 *
6 * Botan is released under the Simplified BSD License (see license.txt)
7 */
8 
9 #include <botan/sha2_32.h>
10 #include <immintrin.h>
11 
12 namespace Botan {
13 
14 // called from sha2_32.cpp
15 #if defined(BOTAN_HAS_SHA2_32_X86)
16 BOTAN_FUNC_ISA("sha,sse4.1,ssse3")
compress_digest_x86(secure_vector<uint32_t> & digest,const uint8_t input[],size_t blocks)17 void SHA_256::compress_digest_x86(secure_vector<uint32_t>& digest, const uint8_t input[], size_t blocks)
18    {
19    __m128i STATE0, STATE1;
20    __m128i MSG, TMP, MASK;
21    __m128i TMSG0, TMSG1, TMSG2, TMSG3;
22    __m128i ABEF_SAVE, CDGH_SAVE;
23 
24    uint32_t* state = &digest[0];
25 
26    const __m128i* input_mm = reinterpret_cast<const __m128i*>(input);
27 
28    // Load initial values
29    TMP = _mm_loadu_si128(reinterpret_cast<__m128i*>(&state[0]));
30    STATE1 = _mm_loadu_si128(reinterpret_cast<__m128i*>(&state[4]));
31    MASK = _mm_set_epi64x(0x0c0d0e0f08090a0bULL, 0x0405060700010203ULL);
32 
33    TMP = _mm_shuffle_epi32(TMP, 0xB1); // CDAB
34    STATE1 = _mm_shuffle_epi32(STATE1, 0x1B); // EFGH
35    STATE0 = _mm_alignr_epi8(TMP, STATE1, 8); // ABEF
36    STATE1 = _mm_blend_epi16(STATE1, TMP, 0xF0); // CDGH
37 
38    while (blocks)
39       {
40       // Save current hash
41       ABEF_SAVE = STATE0;
42       CDGH_SAVE = STATE1;
43 
44       // Rounds 0-3
45       MSG = _mm_loadu_si128(input_mm);
46       TMSG0 = _mm_shuffle_epi8(MSG, MASK);
47       MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0xE9B5DBA5B5C0FBCFULL, 0x71374491428A2F98ULL));
48       STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
49       MSG = _mm_shuffle_epi32(MSG, 0x0E);
50       STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
51 
52       // Rounds 4-7
53       TMSG1 = _mm_loadu_si128(input_mm + 1);
54       TMSG1 = _mm_shuffle_epi8(TMSG1, MASK);
55       MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0xAB1C5ED5923F82A4ULL, 0x59F111F13956C25BULL));
56       STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
57       MSG = _mm_shuffle_epi32(MSG, 0x0E);
58       STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
59       TMSG0 = _mm_sha256msg1_epu32(TMSG0, TMSG1);
60 
61       // Rounds 8-11
62       TMSG2 = _mm_loadu_si128(input_mm + 2);
63       TMSG2 = _mm_shuffle_epi8(TMSG2, MASK);
64       MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0x550C7DC3243185BEULL, 0x12835B01D807AA98ULL));
65       STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
66       MSG = _mm_shuffle_epi32(MSG, 0x0E);
67       STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
68       TMSG1 = _mm_sha256msg1_epu32(TMSG1, TMSG2);
69 
70       // Rounds 12-15
71       TMSG3 = _mm_loadu_si128(input_mm + 3);
72       TMSG3 = _mm_shuffle_epi8(TMSG3, MASK);
73       MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0xC19BF1749BDC06A7ULL, 0x80DEB1FE72BE5D74ULL));
74       STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
75       TMP = _mm_alignr_epi8(TMSG3, TMSG2, 4);
76       TMSG0 = _mm_add_epi32(TMSG0, TMP);
77       TMSG0 = _mm_sha256msg2_epu32(TMSG0, TMSG3);
78       MSG = _mm_shuffle_epi32(MSG, 0x0E);
79       STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
80       TMSG2 = _mm_sha256msg1_epu32(TMSG2, TMSG3);
81 
82       // Rounds 16-19
83       MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0x240CA1CC0FC19DC6ULL, 0xEFBE4786E49B69C1ULL));
84       STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
85       TMP = _mm_alignr_epi8(TMSG0, TMSG3, 4);
86       TMSG1 = _mm_add_epi32(TMSG1, TMP);
87       TMSG1 = _mm_sha256msg2_epu32(TMSG1, TMSG0);
88       MSG = _mm_shuffle_epi32(MSG, 0x0E);
89       STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
90       TMSG3 = _mm_sha256msg1_epu32(TMSG3, TMSG0);
91 
92       // Rounds 20-23
93       MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0x76F988DA5CB0A9DCULL, 0x4A7484AA2DE92C6FULL));
94       STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
95       TMP = _mm_alignr_epi8(TMSG1, TMSG0, 4);
96       TMSG2 = _mm_add_epi32(TMSG2, TMP);
97       TMSG2 = _mm_sha256msg2_epu32(TMSG2, TMSG1);
98       MSG = _mm_shuffle_epi32(MSG, 0x0E);
99       STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
100       TMSG0 = _mm_sha256msg1_epu32(TMSG0, TMSG1);
101 
102       // Rounds 24-27
103       MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0xBF597FC7B00327C8ULL, 0xA831C66D983E5152ULL));
104       STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
105       TMP = _mm_alignr_epi8(TMSG2, TMSG1, 4);
106       TMSG3 = _mm_add_epi32(TMSG3, TMP);
107       TMSG3 = _mm_sha256msg2_epu32(TMSG3, TMSG2);
108       MSG = _mm_shuffle_epi32(MSG, 0x0E);
109       STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
110       TMSG1 = _mm_sha256msg1_epu32(TMSG1, TMSG2);
111 
112       // Rounds 28-31
113       MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0x1429296706CA6351ULL,  0xD5A79147C6E00BF3ULL));
114       STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
115       TMP = _mm_alignr_epi8(TMSG3, TMSG2, 4);
116       TMSG0 = _mm_add_epi32(TMSG0, TMP);
117       TMSG0 = _mm_sha256msg2_epu32(TMSG0, TMSG3);
118       MSG = _mm_shuffle_epi32(MSG, 0x0E);
119       STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
120       TMSG2 = _mm_sha256msg1_epu32(TMSG2, TMSG3);
121 
122       // Rounds 32-35
123       MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0x53380D134D2C6DFCULL, 0x2E1B213827B70A85ULL));
124       STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
125       TMP = _mm_alignr_epi8(TMSG0, TMSG3, 4);
126       TMSG1 = _mm_add_epi32(TMSG1, TMP);
127       TMSG1 = _mm_sha256msg2_epu32(TMSG1, TMSG0);
128       MSG = _mm_shuffle_epi32(MSG, 0x0E);
129       STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
130       TMSG3 = _mm_sha256msg1_epu32(TMSG3, TMSG0);
131 
132       // Rounds 36-39
133       MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0x92722C8581C2C92EULL, 0x766A0ABB650A7354ULL));
134       STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
135       TMP = _mm_alignr_epi8(TMSG1, TMSG0, 4);
136       TMSG2 = _mm_add_epi32(TMSG2, TMP);
137       TMSG2 = _mm_sha256msg2_epu32(TMSG2, TMSG1);
138       MSG = _mm_shuffle_epi32(MSG, 0x0E);
139       STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
140       TMSG0 = _mm_sha256msg1_epu32(TMSG0, TMSG1);
141 
142       // Rounds 40-43
143       MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0xC76C51A3C24B8B70ULL, 0xA81A664BA2BFE8A1ULL));
144       STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
145       TMP = _mm_alignr_epi8(TMSG2, TMSG1, 4);
146       TMSG3 = _mm_add_epi32(TMSG3, TMP);
147       TMSG3 = _mm_sha256msg2_epu32(TMSG3, TMSG2);
148       MSG = _mm_shuffle_epi32(MSG, 0x0E);
149       STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
150       TMSG1 = _mm_sha256msg1_epu32(TMSG1, TMSG2);
151 
152       // Rounds 44-47
153       MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0x106AA070F40E3585ULL, 0xD6990624D192E819ULL));
154       STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
155       TMP = _mm_alignr_epi8(TMSG3, TMSG2, 4);
156       TMSG0 = _mm_add_epi32(TMSG0, TMP);
157       TMSG0 = _mm_sha256msg2_epu32(TMSG0, TMSG3);
158       MSG = _mm_shuffle_epi32(MSG, 0x0E);
159       STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
160       TMSG2 = _mm_sha256msg1_epu32(TMSG2, TMSG3);
161 
162       // Rounds 48-51
163       MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0x34B0BCB52748774CULL, 0x1E376C0819A4C116ULL));
164       STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
165       TMP = _mm_alignr_epi8(TMSG0, TMSG3, 4);
166       TMSG1 = _mm_add_epi32(TMSG1, TMP);
167       TMSG1 = _mm_sha256msg2_epu32(TMSG1, TMSG0);
168       MSG = _mm_shuffle_epi32(MSG, 0x0E);
169       STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
170       TMSG3 = _mm_sha256msg1_epu32(TMSG3, TMSG0);
171 
172       // Rounds 52-55
173       MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0x682E6FF35B9CCA4FULL, 0x4ED8AA4A391C0CB3ULL));
174       STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
175       TMP = _mm_alignr_epi8(TMSG1, TMSG0, 4);
176       TMSG2 = _mm_add_epi32(TMSG2, TMP);
177       TMSG2 = _mm_sha256msg2_epu32(TMSG2, TMSG1);
178       MSG = _mm_shuffle_epi32(MSG, 0x0E);
179       STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
180 
181       // Rounds 56-59
182       MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0x8CC7020884C87814ULL, 0x78A5636F748F82EEULL));
183       STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
184       TMP = _mm_alignr_epi8(TMSG2, TMSG1, 4);
185       TMSG3 = _mm_add_epi32(TMSG3, TMP);
186       TMSG3 = _mm_sha256msg2_epu32(TMSG3, TMSG2);
187       MSG = _mm_shuffle_epi32(MSG, 0x0E);
188       STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
189 
190       // Rounds 60-63
191       MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0xC67178F2BEF9A3F7ULL, 0xA4506CEB90BEFFFAULL));
192       STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
193       MSG = _mm_shuffle_epi32(MSG, 0x0E);
194       STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
195 
196       // Add values back to state
197       STATE0 = _mm_add_epi32(STATE0, ABEF_SAVE);
198       STATE1 = _mm_add_epi32(STATE1, CDGH_SAVE);
199 
200       input_mm += 4;
201       blocks--;
202       }
203 
204    TMP = _mm_shuffle_epi32(STATE0, 0x1B); // FEBA
205    STATE1 = _mm_shuffle_epi32(STATE1, 0xB1); // DCHG
206    STATE0 = _mm_blend_epi16(TMP, STATE1, 0xF0); // DCBA
207    STATE1 = _mm_alignr_epi8(STATE1, TMP, 8); // ABEF
208 
209    // Save state
210    _mm_storeu_si128(reinterpret_cast<__m128i*>(&state[0]), STATE0);
211    _mm_storeu_si128(reinterpret_cast<__m128i*>(&state[4]), STATE1);
212    }
213 #endif
214 
215 }
216