1 /*===---- avx512vlbitalgintrin.h - BITALG intrinsics -----------------------===
2 *
3 *
4 * Part of the LLVM Project, under the Apache License v2.0 with LLVM Exceptions.
5 * See https://llvm.org/LICENSE.txt for license information.
6 * SPDX-License-Identifier: Apache-2.0 WITH LLVM-exception
7 *
8 *===-----------------------------------------------------------------------===
9 */
10 #ifndef __IMMINTRIN_H
11 #error "Never use <avx512vlbitalgintrin.h> directly; include <immintrin.h> instead."
12 #endif
13
14 #ifndef __AVX512VLBITALGINTRIN_H
15 #define __AVX512VLBITALGINTRIN_H
16
17 /* Define the default attributes for the functions in this file. */
18 #define __DEFAULT_FN_ATTRS128 \
19 __attribute__((__always_inline__, __nodebug__, \
20 __target__("avx512vl,avx512bitalg,no-evex512"), \
21 __min_vector_width__(128)))
22 #define __DEFAULT_FN_ATTRS256 \
23 __attribute__((__always_inline__, __nodebug__, \
24 __target__("avx512vl,avx512bitalg,no-evex512"), \
25 __min_vector_width__(256)))
26
27 static __inline__ __m256i __DEFAULT_FN_ATTRS256
_mm256_popcnt_epi16(__m256i __A)28 _mm256_popcnt_epi16(__m256i __A)
29 {
30 return (__m256i) __builtin_ia32_vpopcntw_256((__v16hi) __A);
31 }
32
33 static __inline__ __m256i __DEFAULT_FN_ATTRS256
_mm256_mask_popcnt_epi16(__m256i __A,__mmask16 __U,__m256i __B)34 _mm256_mask_popcnt_epi16(__m256i __A, __mmask16 __U, __m256i __B)
35 {
36 return (__m256i) __builtin_ia32_selectw_256((__mmask16) __U,
37 (__v16hi) _mm256_popcnt_epi16(__B),
38 (__v16hi) __A);
39 }
40
41 static __inline__ __m256i __DEFAULT_FN_ATTRS256
_mm256_maskz_popcnt_epi16(__mmask16 __U,__m256i __B)42 _mm256_maskz_popcnt_epi16(__mmask16 __U, __m256i __B)
43 {
44 return _mm256_mask_popcnt_epi16((__m256i) _mm256_setzero_si256(),
45 __U,
46 __B);
47 }
48
49 static __inline__ __m128i __DEFAULT_FN_ATTRS128
_mm_popcnt_epi16(__m128i __A)50 _mm_popcnt_epi16(__m128i __A)
51 {
52 return (__m128i) __builtin_ia32_vpopcntw_128((__v8hi) __A);
53 }
54
55 static __inline__ __m128i __DEFAULT_FN_ATTRS128
_mm_mask_popcnt_epi16(__m128i __A,__mmask8 __U,__m128i __B)56 _mm_mask_popcnt_epi16(__m128i __A, __mmask8 __U, __m128i __B)
57 {
58 return (__m128i) __builtin_ia32_selectw_128((__mmask8) __U,
59 (__v8hi) _mm_popcnt_epi16(__B),
60 (__v8hi) __A);
61 }
62
63 static __inline__ __m128i __DEFAULT_FN_ATTRS128
_mm_maskz_popcnt_epi16(__mmask8 __U,__m128i __B)64 _mm_maskz_popcnt_epi16(__mmask8 __U, __m128i __B)
65 {
66 return _mm_mask_popcnt_epi16((__m128i) _mm_setzero_si128(),
67 __U,
68 __B);
69 }
70
71 static __inline__ __m256i __DEFAULT_FN_ATTRS256
_mm256_popcnt_epi8(__m256i __A)72 _mm256_popcnt_epi8(__m256i __A)
73 {
74 return (__m256i) __builtin_ia32_vpopcntb_256((__v32qi) __A);
75 }
76
77 static __inline__ __m256i __DEFAULT_FN_ATTRS256
_mm256_mask_popcnt_epi8(__m256i __A,__mmask32 __U,__m256i __B)78 _mm256_mask_popcnt_epi8(__m256i __A, __mmask32 __U, __m256i __B)
79 {
80 return (__m256i) __builtin_ia32_selectb_256((__mmask32) __U,
81 (__v32qi) _mm256_popcnt_epi8(__B),
82 (__v32qi) __A);
83 }
84
85 static __inline__ __m256i __DEFAULT_FN_ATTRS256
_mm256_maskz_popcnt_epi8(__mmask32 __U,__m256i __B)86 _mm256_maskz_popcnt_epi8(__mmask32 __U, __m256i __B)
87 {
88 return _mm256_mask_popcnt_epi8((__m256i) _mm256_setzero_si256(),
89 __U,
90 __B);
91 }
92
93 static __inline__ __m128i __DEFAULT_FN_ATTRS128
_mm_popcnt_epi8(__m128i __A)94 _mm_popcnt_epi8(__m128i __A)
95 {
96 return (__m128i) __builtin_ia32_vpopcntb_128((__v16qi) __A);
97 }
98
99 static __inline__ __m128i __DEFAULT_FN_ATTRS128
_mm_mask_popcnt_epi8(__m128i __A,__mmask16 __U,__m128i __B)100 _mm_mask_popcnt_epi8(__m128i __A, __mmask16 __U, __m128i __B)
101 {
102 return (__m128i) __builtin_ia32_selectb_128((__mmask16) __U,
103 (__v16qi) _mm_popcnt_epi8(__B),
104 (__v16qi) __A);
105 }
106
107 static __inline__ __m128i __DEFAULT_FN_ATTRS128
_mm_maskz_popcnt_epi8(__mmask16 __U,__m128i __B)108 _mm_maskz_popcnt_epi8(__mmask16 __U, __m128i __B)
109 {
110 return _mm_mask_popcnt_epi8((__m128i) _mm_setzero_si128(),
111 __U,
112 __B);
113 }
114
115 static __inline__ __mmask32 __DEFAULT_FN_ATTRS256
_mm256_mask_bitshuffle_epi64_mask(__mmask32 __U,__m256i __A,__m256i __B)116 _mm256_mask_bitshuffle_epi64_mask(__mmask32 __U, __m256i __A, __m256i __B)
117 {
118 return (__mmask32) __builtin_ia32_vpshufbitqmb256_mask((__v32qi) __A,
119 (__v32qi) __B,
120 __U);
121 }
122
123 static __inline__ __mmask32 __DEFAULT_FN_ATTRS256
_mm256_bitshuffle_epi64_mask(__m256i __A,__m256i __B)124 _mm256_bitshuffle_epi64_mask(__m256i __A, __m256i __B)
125 {
126 return _mm256_mask_bitshuffle_epi64_mask((__mmask32) -1,
127 __A,
128 __B);
129 }
130
131 static __inline__ __mmask16 __DEFAULT_FN_ATTRS128
_mm_mask_bitshuffle_epi64_mask(__mmask16 __U,__m128i __A,__m128i __B)132 _mm_mask_bitshuffle_epi64_mask(__mmask16 __U, __m128i __A, __m128i __B)
133 {
134 return (__mmask16) __builtin_ia32_vpshufbitqmb128_mask((__v16qi) __A,
135 (__v16qi) __B,
136 __U);
137 }
138
139 static __inline__ __mmask16 __DEFAULT_FN_ATTRS128
_mm_bitshuffle_epi64_mask(__m128i __A,__m128i __B)140 _mm_bitshuffle_epi64_mask(__m128i __A, __m128i __B)
141 {
142 return _mm_mask_bitshuffle_epi64_mask((__mmask16) -1,
143 __A,
144 __B);
145 }
146
147
148 #undef __DEFAULT_FN_ATTRS128
149 #undef __DEFAULT_FN_ATTRS256
150
151 #endif
152