?  search:
summary | log | graphiclog1 | graphiclog2 | commit | commitdiff | tree | refs | edit | fork
blame | history | raw | HEAD
* config/i386/avx512bitalgintrin.h (_mm512_mask_bitshuffle_epi64_mask):
[official-gcc.git] / gcc / config / i386 / avx512vlbwintrin.h
blob02afce15686ba50f56ce9f1045fa27d6d22cf5d9
1 /* Copyright (C) 2014-2018 Free Software Foundation, Inc.
2
3 This file is part of GCC.
4
5 GCC is free software; you can redistribute it and/or modify
6 it under the terms of the GNU General Public License as published by
7 the Free Software Foundation; either version 3, or (at your option)
8 any later version.
9
10 GCC is distributed in the hope that it will be useful,
11 but WITHOUT ANY WARRANTY; without even the implied warranty of
12 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
13 GNU General Public License for more details.
14
15 Under Section 7 of GPL version 3, you are granted additional
16 permissions described in the GCC Runtime Library Exception, version
17 3.1, as published by the Free Software Foundation.
18
19 You should have received a copy of the GNU General Public License and
20 a copy of the GCC Runtime Library Exception along with this program;
21 see the files COPYING3 and COPYING.RUNTIME respectively. If not, see
22 <http://www.gnu.org/licenses/>. */
23
24 #ifndef _IMMINTRIN_H_INCLUDED
25 #error "Never use <avx512vlbwintrin.h> directly; include <immintrin.h> instead."
26 #endif
27
28 #ifndef _AVX512VLBWINTRIN_H_INCLUDED
29 #define _AVX512VLBWINTRIN_H_INCLUDED
30
31 #if !defined(__AVX512VL__) || !defined(__AVX512BW__)
32 #pragma GCC push_options
33 #pragma GCC target("avx512vl,avx512bw")
34 #define __DISABLE_AVX512VLBW__
35 #endif /* __AVX512VLBW__ */
36
37
38 extern __inline __m256i
39 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
40 _mm256_mask_mov_epi8 (__m256i __W, __mmask32 __U, __m256i __A)
41 {
42 return (__m256i) __builtin_ia32_movdquqi256_mask ((__v32qi) __A,
43 (__v32qi) __W,
44 (__mmask32) __U);
45 }
46
47 extern __inline __m256i
48 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
49 _mm256_maskz_mov_epi8 (__mmask32 __U, __m256i __A)
50 {
51 return (__m256i) __builtin_ia32_movdquqi256_mask ((__v32qi) __A,
52 (__v32qi)
53 _mm256_setzero_si256 (),
54 (__mmask32) __U);
55 }
56
57 extern __inline __m128i
58 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
59 _mm_mask_mov_epi8 (__m128i __W, __mmask16 __U, __m128i __A)
60 {
61 return (__m128i) __builtin_ia32_movdquqi128_mask ((__v16qi) __A,
62 (__v16qi) __W,
63 (__mmask16) __U);
64 }
65
66 extern __inline __m128i
67 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
68 _mm_maskz_mov_epi8 (__mmask16 __U, __m128i __A)
69 {
70 return (__m128i) __builtin_ia32_movdquqi128_mask ((__v16qi) __A,
71 (__v16qi)
72 _mm_setzero_si128 (),
73 (__mmask16) __U);
74 }
75
76 extern __inline void
77 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
78 _mm256_mask_storeu_epi8 (void *__P, __mmask32 __U, __m256i __A)
79 {
80 __builtin_ia32_storedquqi256_mask ((char *) __P,
81 (__v32qi) __A,
82 (__mmask32) __U);
83 }
84
85 extern __inline void
86 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
87 _mm_mask_storeu_epi8 (void *__P, __mmask16 __U, __m128i __A)
88 {
89 __builtin_ia32_storedquqi128_mask ((char *) __P,
90 (__v16qi) __A,
91 (__mmask16) __U);
92 }
93
94 extern __inline __m256i
95 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
96 _mm256_mask_loadu_epi16 (__m256i __W, __mmask16 __U, void const *__P)
97 {
98 return (__m256i) __builtin_ia32_loaddquhi256_mask ((const short *) __P,
99 (__v16hi) __W,
100 (__mmask16) __U);
101 }
102
103 extern __inline __m256i
104 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
105 _mm256_maskz_loadu_epi16 (__mmask16 __U, void const *__P)
106 {
107 return (__m256i) __builtin_ia32_loaddquhi256_mask ((const short *) __P,
108 (__v16hi)
109 _mm256_setzero_si256 (),
110 (__mmask16) __U);
111 }
112
113 extern __inline __m128i
114 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
115 _mm_mask_loadu_epi16 (__m128i __W, __mmask8 __U, void const *__P)
116 {
117 return (__m128i) __builtin_ia32_loaddquhi128_mask ((const short *) __P,
118 (__v8hi) __W,
119 (__mmask8) __U);
120 }
121
122 extern __inline __m128i
123 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
124 _mm_maskz_loadu_epi16 (__mmask8 __U, void const *__P)
125 {
126 return (__m128i) __builtin_ia32_loaddquhi128_mask ((const short *) __P,
127 (__v8hi)
128 _mm_setzero_si128 (),
129 (__mmask8) __U);
130 }
131
132
133 extern __inline __m256i
134 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
135 _mm256_mask_mov_epi16 (__m256i __W, __mmask16 __U, __m256i __A)
136 {
137 return (__m256i) __builtin_ia32_movdquhi256_mask ((__v16hi) __A,
138 (__v16hi) __W,
139 (__mmask16) __U);
140 }
141
142 extern __inline __m256i
143 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
144 _mm256_maskz_mov_epi16 (__mmask16 __U, __m256i __A)
145 {
146 return (__m256i) __builtin_ia32_movdquhi256_mask ((__v16hi) __A,
147 (__v16hi)
148 _mm256_setzero_si256 (),
149 (__mmask16) __U);
150 }
151
152 extern __inline __m128i
153 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
154 _mm_mask_mov_epi16 (__m128i __W, __mmask8 __U, __m128i __A)
155 {
156 return (__m128i) __builtin_ia32_movdquhi128_mask ((__v8hi) __A,
157 (__v8hi) __W,
158 (__mmask8) __U);
159 }
160
161 extern __inline __m128i
162 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
163 _mm_maskz_mov_epi16 (__mmask8 __U, __m128i __A)
164 {
165 return (__m128i) __builtin_ia32_movdquhi128_mask ((__v8hi) __A,
166 (__v8hi)
167 _mm_setzero_si128 (),
168 (__mmask8) __U);
169 }
170
171 extern __inline __m256i
172 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
173 _mm256_mask_loadu_epi8 (__m256i __W, __mmask32 __U, void const *__P)
174 {
175 return (__m256i) __builtin_ia32_loaddquqi256_mask ((const char *) __P,
176 (__v32qi) __W,
177 (__mmask32) __U);
178 }
179
180 extern __inline __m256i
181 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
182 _mm256_maskz_loadu_epi8 (__mmask32 __U, void const *__P)
183 {
184 return (__m256i) __builtin_ia32_loaddquqi256_mask ((const char *) __P,
185 (__v32qi)
186 _mm256_setzero_si256 (),
187 (__mmask32) __U);
188 }
189
190 extern __inline __m128i
191 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
192 _mm_mask_loadu_epi8 (__m128i __W, __mmask16 __U, void const *__P)
193 {
194 return (__m128i) __builtin_ia32_loaddquqi128_mask ((const char *) __P,
195 (__v16qi) __W,
196 (__mmask16) __U);
197 }
198
199 extern __inline __m128i
200 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
201 _mm_maskz_loadu_epi8 (__mmask16 __U, void const *__P)
202 {
203 return (__m128i) __builtin_ia32_loaddquqi128_mask ((const char *) __P,
204 (__v16qi)
205 _mm_setzero_si128 (),
206 (__mmask16) __U);
207 }
208
209 extern __inline __m128i
210 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
211 _mm256_cvtepi16_epi8 (__m256i __A)
212 {
213
214 return (__m128i) __builtin_ia32_pmovwb256_mask ((__v16hi) __A,
215 (__v16qi)_mm_undefined_si128(),
216 (__mmask16) -1);
217 }
218
219 extern __inline void
220 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
221 _mm256_mask_cvtepi16_storeu_epi8 (void * __P, __mmask16 __M,__m256i __A)
222 {
223 __builtin_ia32_pmovwb256mem_mask ((__v16qi *) __P , (__v16hi) __A, __M);
224 }
225
226 extern __inline __m128i
227 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
228 _mm256_mask_cvtepi16_epi8 (__m128i __O, __mmask16 __M, __m256i __A)
229 {
230 return (__m128i) __builtin_ia32_pmovwb256_mask ((__v16hi) __A,
231 (__v16qi) __O, __M);
232 }
233
234 extern __inline __m128i
235 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
236 _mm256_maskz_cvtepi16_epi8 (__mmask16 __M, __m256i __A)
237 {
238 return (__m128i) __builtin_ia32_pmovwb256_mask ((__v16hi) __A,
239 (__v16qi)
240 _mm_setzero_si128 (),
241 __M);
242 }
243
244 extern __inline __m128i
245 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
246 _mm_cvtsepi16_epi8 (__m128i __A)
247 {
248
249 return (__m128i) __builtin_ia32_pmovswb128_mask ((__v8hi) __A,
250 (__v16qi)_mm_undefined_si128(),
251 (__mmask8) -1);
252 }
253
254 extern __inline void
255 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
256 _mm_mask_cvtsepi16_storeu_epi8 (void * __P, __mmask8 __M,__m128i __A)
257 {
258 __builtin_ia32_pmovswb128mem_mask ((__v8qi *) __P , (__v8hi) __A, __M);
259 }
260
261 extern __inline __m128i
262 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
263 _mm_mask_cvtsepi16_epi8 (__m128i __O, __mmask8 __M, __m128i __A)
264 {
265 return (__m128i) __builtin_ia32_pmovswb128_mask ((__v8hi) __A,
266 (__v16qi) __O, __M);
267 }
268
269 extern __inline __m128i
270 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
271 _mm_maskz_cvtsepi16_epi8 (__mmask8 __M, __m128i __A)
272 {
273 return (__m128i) __builtin_ia32_pmovswb128_mask ((__v8hi) __A,
274 (__v16qi)
275 _mm_setzero_si128 (),
276 __M);
277 }
278
279 extern __inline __m128i
280 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
281 _mm256_cvtsepi16_epi8 (__m256i __A)
282 {
283
284 return (__m128i) __builtin_ia32_pmovswb256_mask ((__v16hi) __A,
285 (__v16qi)_mm_undefined_si128(),
286 (__mmask16) -1);
287 }
288
289 extern __inline void
290 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
291 _mm256_mask_cvtsepi16_storeu_epi8 (void * __P, __mmask16 __M,__m256i __A)
292 {
293 __builtin_ia32_pmovswb256mem_mask ((__v16qi *) __P , (__v16hi) __A, __M);
294 }
295
296 extern __inline __m128i
297 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
298 _mm256_mask_cvtsepi16_epi8 (__m128i __O, __mmask16 __M, __m256i __A)
299 {
300 return (__m128i) __builtin_ia32_pmovswb256_mask ((__v16hi) __A,
301 (__v16qi) __O, __M);
302 }
303
304 extern __inline __m128i
305 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
306 _mm256_maskz_cvtsepi16_epi8 (__mmask16 __M, __m256i __A)
307 {
308 return (__m128i) __builtin_ia32_pmovswb256_mask ((__v16hi) __A,
309 (__v16qi)
310 _mm_setzero_si128 (),
311 __M);
312 }
313
314 extern __inline __m128i
315 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
316 _mm_cvtusepi16_epi8 (__m128i __A)
317 {
318
319 return (__m128i) __builtin_ia32_pmovuswb128_mask ((__v8hi) __A,
320 (__v16qi)_mm_undefined_si128(),
321 (__mmask8) -1);
322 }
323
324 extern __inline void
325 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
326 _mm_mask_cvtusepi16_storeu_epi8 (void * __P, __mmask8 __M,__m128i __A)
327 {
328 __builtin_ia32_pmovuswb128mem_mask ((__v8qi *) __P , (__v8hi) __A, __M);
329 }
330
331 extern __inline __m128i
332 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
333 _mm_mask_cvtusepi16_epi8 (__m128i __O, __mmask8 __M, __m128i __A)
334 {
335 return (__m128i) __builtin_ia32_pmovuswb128_mask ((__v8hi) __A,
336 (__v16qi) __O,
337 __M);
338 }
339
340 extern __inline __m128i
341 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
342 _mm_maskz_cvtusepi16_epi8 (__mmask8 __M, __m128i __A)
343 {
344 return (__m128i) __builtin_ia32_pmovuswb128_mask ((__v8hi) __A,
345 (__v16qi)
346 _mm_setzero_si128 (),
347 __M);
348 }
349
350 extern __inline __m128i
351 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
352 _mm256_cvtusepi16_epi8 (__m256i __A)
353 {
354
355 return (__m128i) __builtin_ia32_pmovuswb256_mask ((__v16hi) __A,
356 (__v16qi)_mm_undefined_si128(),
357 (__mmask16) -1);
358 }
359
360 extern __inline void
361 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
362 _mm256_mask_cvtusepi16_storeu_epi8 (void * __P, __mmask16 __M,__m256i __A)
363 {
364 __builtin_ia32_pmovuswb256mem_mask ((__v16qi *) __P , (__v16hi) __A, __M);
365 }
366
367 extern __inline __m128i
368 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
369 _mm256_mask_cvtusepi16_epi8 (__m128i __O, __mmask16 __M, __m256i __A)
370 {
371 return (__m128i) __builtin_ia32_pmovuswb256_mask ((__v16hi) __A,
372 (__v16qi) __O,
373 __M);
374 }
375
376 extern __inline __m128i
377 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
378 _mm256_maskz_cvtusepi16_epi8 (__mmask16 __M, __m256i __A)
379 {
380 return (__m128i) __builtin_ia32_pmovuswb256_mask ((__v16hi) __A,
381 (__v16qi)
382 _mm_setzero_si128 (),
383 __M);
384 }
385
386 extern __inline __m256i
387 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
388 _mm256_mask_broadcastb_epi8 (__m256i __O, __mmask32 __M, __m128i __A)
389 {
390 return (__m256i) __builtin_ia32_pbroadcastb256_mask ((__v16qi) __A,
391 (__v32qi) __O,
392 __M);
393 }
394
395 extern __inline __m256i
396 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
397 _mm256_maskz_broadcastb_epi8 (__mmask32 __M, __m128i __A)
398 {
399 return (__m256i) __builtin_ia32_pbroadcastb256_mask ((__v16qi) __A,
400 (__v32qi)
401 _mm256_setzero_si256 (),
402 __M);
403 }
404
405 extern __inline __m256i
406 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
407 _mm256_mask_set1_epi8 (__m256i __O, __mmask32 __M, char __A)
408 {
409 return (__m256i) __builtin_ia32_pbroadcastb256_gpr_mask (__A,
410 (__v32qi) __O,
411 __M);
412 }
413
414 extern __inline __m256i
415 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
416 _mm256_maskz_set1_epi8 (__mmask32 __M, char __A)
417 {
418 return (__m256i) __builtin_ia32_pbroadcastb256_gpr_mask (__A,
419 (__v32qi)
420 _mm256_setzero_si256 (),
421 __M);
422 }
423
424 extern __inline __m128i
425 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
426 _mm_mask_broadcastb_epi8 (__m128i __O, __mmask16 __M, __m128i __A)
427 {
428 return (__m128i) __builtin_ia32_pbroadcastb128_mask ((__v16qi) __A,
429 (__v16qi) __O,
430 __M);
431 }
432
433 extern __inline __m128i
434 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
435 _mm_maskz_broadcastb_epi8 (__mmask16 __M, __m128i __A)
436 {
437 return (__m128i) __builtin_ia32_pbroadcastb128_mask ((__v16qi) __A,
438 (__v16qi)
439 _mm_setzero_si128 (),
440 __M);
441 }
442
443 extern __inline __m128i
444 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
445 _mm_mask_set1_epi8 (__m128i __O, __mmask16 __M, char __A)
446 {
447 return (__m128i) __builtin_ia32_pbroadcastb128_gpr_mask (__A,
448 (__v16qi) __O,
449 __M);
450 }
451
452 extern __inline __m128i
453 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
454 _mm_maskz_set1_epi8 (__mmask16 __M, char __A)
455 {
456 return (__m128i) __builtin_ia32_pbroadcastb128_gpr_mask (__A,
457 (__v16qi)
458 _mm_setzero_si128 (),
459 __M);
460 }
461
462 extern __inline __m256i
463 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
464 _mm256_mask_broadcastw_epi16 (__m256i __O, __mmask16 __M, __m128i __A)
465 {
466 return (__m256i) __builtin_ia32_pbroadcastw256_mask ((__v8hi) __A,
467 (__v16hi) __O,
468 __M);
469 }
470
471 extern __inline __m256i
472 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
473 _mm256_maskz_broadcastw_epi16 (__mmask16 __M, __m128i __A)
474 {
475 return (__m256i) __builtin_ia32_pbroadcastw256_mask ((__v8hi) __A,
476 (__v16hi)
477 _mm256_setzero_si256 (),
478 __M);
479 }
480
481 extern __inline __m256i
482 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
483 _mm256_mask_set1_epi16 (__m256i __O, __mmask16 __M, short __A)
484 {
485 return (__m256i) __builtin_ia32_pbroadcastw256_gpr_mask (__A,
486 (__v16hi) __O,
487 __M);
488 }
489
490 extern __inline __m256i
491 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
492 _mm256_maskz_set1_epi16 (__mmask16 __M, short __A)
493 {
494 return (__m256i) __builtin_ia32_pbroadcastw256_gpr_mask (__A,
495 (__v16hi)
496 _mm256_setzero_si256 (),
497 __M);
498 }
499
500 extern __inline __m128i
501 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
502 _mm_mask_broadcastw_epi16 (__m128i __O, __mmask8 __M, __m128i __A)
503 {
504 return (__m128i) __builtin_ia32_pbroadcastw128_mask ((__v8hi) __A,
505 (__v8hi) __O,
506 __M);
507 }
508
509 extern __inline __m128i
510 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
511 _mm_maskz_broadcastw_epi16 (__mmask8 __M, __m128i __A)
512 {
513 return (__m128i) __builtin_ia32_pbroadcastw128_mask ((__v8hi) __A,
514 (__v8hi)
515 _mm_setzero_si128 (),
516 __M);
517 }
518
519 extern __inline __m128i
520 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
521 _mm_mask_set1_epi16 (__m128i __O, __mmask8 __M, short __A)
522 {
523 return (__m128i) __builtin_ia32_pbroadcastw128_gpr_mask (__A,
524 (__v8hi) __O,
525 __M);
526 }
527
528 extern __inline __m128i
529 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
530 _mm_maskz_set1_epi16 (__mmask8 __M, short __A)
531 {
532 return (__m128i) __builtin_ia32_pbroadcastw128_gpr_mask (__A,
533 (__v8hi)
534 _mm_setzero_si128 (),
535 __M);
536 }
537
538 extern __inline __m256i
539 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
540 _mm256_permutexvar_epi16 (__m256i __A, __m256i __B)
541 {
542 return (__m256i) __builtin_ia32_permvarhi256_mask ((__v16hi) __B,
543 (__v16hi) __A,
544 (__v16hi)
545 _mm256_setzero_si256 (),
546 (__mmask16) -1);
547 }
548
549 extern __inline __m256i
550 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
551 _mm256_maskz_permutexvar_epi16 (__mmask16 __M, __m256i __A,
552 __m256i __B)
553 {
554 return (__m256i) __builtin_ia32_permvarhi256_mask ((__v16hi) __B,
555 (__v16hi) __A,
556 (__v16hi)
557 _mm256_setzero_si256 (),
558 (__mmask16) __M);
559 }
560
561 extern __inline __m256i
562 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
563 _mm256_mask_permutexvar_epi16 (__m256i __W, __mmask16 __M, __m256i __A,
564 __m256i __B)
565 {
566 return (__m256i) __builtin_ia32_permvarhi256_mask ((__v16hi) __B,
567 (__v16hi) __A,
568 (__v16hi) __W,
569 (__mmask16) __M);
570 }
571
572 extern __inline __m128i
573 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
574 _mm_permutexvar_epi16 (__m128i __A, __m128i __B)
575 {
576 return (__m128i) __builtin_ia32_permvarhi128_mask ((__v8hi) __B,
577 (__v8hi) __A,
578 (__v8hi)
579 _mm_setzero_si128 (),
580 (__mmask8) -1);
581 }
582
583 extern __inline __m128i
584 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
585 _mm_maskz_permutexvar_epi16 (__mmask8 __M, __m128i __A, __m128i __B)
586 {
587 return (__m128i) __builtin_ia32_permvarhi128_mask ((__v8hi) __B,
588 (__v8hi) __A,
589 (__v8hi)
590 _mm_setzero_si128 (),
591 (__mmask8) __M);
592 }
593
594 extern __inline __m128i
595 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
596 _mm_mask_permutexvar_epi16 (__m128i __W, __mmask8 __M, __m128i __A,
597 __m128i __B)
598 {
599 return (__m128i) __builtin_ia32_permvarhi128_mask ((__v8hi) __B,
600 (__v8hi) __A,
601 (__v8hi) __W,
602 (__mmask8) __M);
603 }
604
605 extern __inline __m256i
606 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
607 _mm256_permutex2var_epi16 (__m256i __A, __m256i __I, __m256i __B)
608 {
609 return (__m256i) __builtin_ia32_vpermt2varhi256_mask ((__v16hi) __I
610 /* idx */ ,
611 (__v16hi) __A,
612 (__v16hi) __B,
613 (__mmask16) -1);
614 }
615
616 extern __inline __m256i
617 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
618 _mm256_mask_permutex2var_epi16 (__m256i __A, __mmask16 __U,
619 __m256i __I, __m256i __B)
620 {
621 return (__m256i) __builtin_ia32_vpermt2varhi256_mask ((__v16hi) __I
622 /* idx */ ,
623 (__v16hi) __A,
624 (__v16hi) __B,
625 (__mmask16)
626 __U);
627 }
628
629 extern __inline __m256i
630 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
631 _mm256_mask2_permutex2var_epi16 (__m256i __A, __m256i __I,
632 __mmask16 __U, __m256i __B)
633 {
634 return (__m256i) __builtin_ia32_vpermi2varhi256_mask ((__v16hi) __A,
635 (__v16hi) __I
636 /* idx */ ,
637 (__v16hi) __B,
638 (__mmask16)
639 __U);
640 }
641
642 extern __inline __m256i
643 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
644 _mm256_maskz_permutex2var_epi16 (__mmask16 __U, __m256i __A,
645 __m256i __I, __m256i __B)
646 {
647 return (__m256i) __builtin_ia32_vpermt2varhi256_maskz ((__v16hi) __I
648 /* idx */ ,
649 (__v16hi) __A,
650 (__v16hi) __B,
651 (__mmask16)
652 __U);
653 }
654
655 extern __inline __m128i
656 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
657 _mm_permutex2var_epi16 (__m128i __A, __m128i __I, __m128i __B)
658 {
659 return (__m128i) __builtin_ia32_vpermt2varhi128_mask ((__v8hi) __I
660 /* idx */ ,
661 (__v8hi) __A,
662 (__v8hi) __B,
663 (__mmask8) -1);
664 }
665
666 extern __inline __m128i
667 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
668 _mm_mask_permutex2var_epi16 (__m128i __A, __mmask8 __U, __m128i __I,
669 __m128i __B)
670 {
671 return (__m128i) __builtin_ia32_vpermt2varhi128_mask ((__v8hi) __I
672 /* idx */ ,
673 (__v8hi) __A,
674 (__v8hi) __B,
675 (__mmask8)
676 __U);
677 }
678
679 extern __inline __m128i
680 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
681 _mm_mask2_permutex2var_epi16 (__m128i __A, __m128i __I, __mmask8 __U,
682 __m128i __B)
683 {
684 return (__m128i) __builtin_ia32_vpermi2varhi128_mask ((__v8hi) __A,
685 (__v8hi) __I
686 /* idx */ ,
687 (__v8hi) __B,
688 (__mmask8)
689 __U);
690 }
691
692 extern __inline __m128i
693 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
694 _mm_maskz_permutex2var_epi16 (__mmask8 __U, __m128i __A, __m128i __I,
695 __m128i __B)
696 {
697 return (__m128i) __builtin_ia32_vpermt2varhi128_maskz ((__v8hi) __I
698 /* idx */ ,
699 (__v8hi) __A,
700 (__v8hi) __B,
701 (__mmask8)
702 __U);
703 }
704
705 extern __inline __m256i
706 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
707 _mm256_mask_maddubs_epi16 (__m256i __W, __mmask16 __U, __m256i __X,
708 __m256i __Y)
709 {
710 return (__m256i) __builtin_ia32_pmaddubsw256_mask ((__v32qi) __X,
711 (__v32qi) __Y,
712 (__v16hi) __W,
713 (__mmask16) __U);
714 }
715
716 extern __inline __m256i
717 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
718 _mm256_maskz_maddubs_epi16 (__mmask16 __U, __m256i __X, __m256i __Y)
719 {
720 return (__m256i) __builtin_ia32_pmaddubsw256_mask ((__v32qi) __X,
721 (__v32qi) __Y,
722 (__v16hi)
723 _mm256_setzero_si256 (),
724 (__mmask16) __U);
725 }
726
727 extern __inline __m128i
728 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
729 _mm_mask_maddubs_epi16 (__m128i __W, __mmask8 __U, __m128i __X,
730 __m128i __Y)
731 {
732 return (__m128i) __builtin_ia32_pmaddubsw128_mask ((__v16qi) __X,
733 (__v16qi) __Y,
734 (__v8hi) __W,
735 (__mmask8) __U);
736 }
737
738 extern __inline __m128i
739 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
740 _mm_maskz_maddubs_epi16 (__mmask8 __U, __m128i __X, __m128i __Y)
741 {
742 return (__m128i) __builtin_ia32_pmaddubsw128_mask ((__v16qi) __X,
743 (__v16qi) __Y,
744 (__v8hi)
745 _mm_setzero_si128 (),
746 (__mmask8) __U);
747 }
748
749 extern __inline __m256i
750 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
751 _mm256_mask_madd_epi16 (__m256i __W, __mmask8 __U, __m256i __A,
752 __m256i __B)
753 {
754 return (__m256i) __builtin_ia32_pmaddwd256_mask ((__v16hi) __A,
755 (__v16hi) __B,
756 (__v8si) __W,
757 (__mmask8) __U);
758 }
759
760 extern __inline __m256i
761 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
762 _mm256_maskz_madd_epi16 (__mmask8 __U, __m256i __A, __m256i __B)
763 {
764 return (__m256i) __builtin_ia32_pmaddwd256_mask ((__v16hi) __A,
765 (__v16hi) __B,
766 (__v8si)
767 _mm256_setzero_si256 (),
768 (__mmask8) __U);
769 }
770
771 extern __inline __m128i
772 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
773 _mm_mask_madd_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
774 __m128i __B)
775 {
776 return (__m128i) __builtin_ia32_pmaddwd128_mask ((__v8hi) __A,
777 (__v8hi) __B,
778 (__v4si) __W,
779 (__mmask8) __U);
780 }
781
782 extern __inline __m128i
783 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
784 _mm_maskz_madd_epi16 (__mmask8 __U, __m128i __A, __m128i __B)
785 {
786 return (__m128i) __builtin_ia32_pmaddwd128_mask ((__v8hi) __A,
787 (__v8hi) __B,
788 (__v4si)
789 _mm_setzero_si128 (),
790 (__mmask8) __U);
791 }
792
793 extern __inline __mmask16
794 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
795 _mm_movepi8_mask (__m128i __A)
796 {
797 return (__mmask16) __builtin_ia32_cvtb2mask128 ((__v16qi) __A);
798 }
799
800 extern __inline __mmask32
801 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
802 _mm256_movepi8_mask (__m256i __A)
803 {
804 return (__mmask32) __builtin_ia32_cvtb2mask256 ((__v32qi) __A);
805 }
806
807 extern __inline __mmask8
808 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
809 _mm_movepi16_mask (__m128i __A)
810 {
811 return (__mmask8) __builtin_ia32_cvtw2mask128 ((__v8hi) __A);
812 }
813
814 extern __inline __mmask16
815 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
816 _mm256_movepi16_mask (__m256i __A)
817 {
818 return (__mmask16) __builtin_ia32_cvtw2mask256 ((__v16hi) __A);
819 }
820
821 extern __inline __m128i
822 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
823 _mm_movm_epi8 (__mmask16 __A)
824 {
825 return (__m128i) __builtin_ia32_cvtmask2b128 (__A);
826 }
827
828 extern __inline __m256i
829 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
830 _mm256_movm_epi8 (__mmask32 __A)
831 {
832 return (__m256i) __builtin_ia32_cvtmask2b256 (__A);
833 }
834
835 extern __inline __m128i
836 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
837 _mm_movm_epi16 (__mmask8 __A)
838 {
839 return (__m128i) __builtin_ia32_cvtmask2w128 (__A);
840 }
841
842 extern __inline __m256i
843 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
844 _mm256_movm_epi16 (__mmask16 __A)
845 {
846 return (__m256i) __builtin_ia32_cvtmask2w256 (__A);
847 }
848
849 extern __inline __mmask16
850 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
851 _mm_test_epi8_mask (__m128i __A, __m128i __B)
852 {
853 return (__mmask16) __builtin_ia32_ptestmb128 ((__v16qi) __A,
854 (__v16qi) __B,
855 (__mmask16) -1);
856 }
857
858 extern __inline __mmask16
859 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
860 _mm_mask_test_epi8_mask (__mmask16 __U, __m128i __A, __m128i __B)
861 {
862 return (__mmask16) __builtin_ia32_ptestmb128 ((__v16qi) __A,
863 (__v16qi) __B, __U);
864 }
865
866 extern __inline __mmask32
867 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
868 _mm256_test_epi8_mask (__m256i __A, __m256i __B)
869 {
870 return (__mmask32) __builtin_ia32_ptestmb256 ((__v32qi) __A,
871 (__v32qi) __B,
872 (__mmask32) -1);
873 }
874
875 extern __inline __mmask32
876 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
877 _mm256_mask_test_epi8_mask (__mmask32 __U, __m256i __A, __m256i __B)
878 {
879 return (__mmask32) __builtin_ia32_ptestmb256 ((__v32qi) __A,
880 (__v32qi) __B, __U);
881 }
882
883 extern __inline __mmask8
884 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
885 _mm_test_epi16_mask (__m128i __A, __m128i __B)
886 {
887 return (__mmask8) __builtin_ia32_ptestmw128 ((__v8hi) __A,
888 (__v8hi) __B,
889 (__mmask8) -1);
890 }
891
892 extern __inline __mmask8
893 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
894 _mm_mask_test_epi16_mask (__mmask8 __U, __m128i __A, __m128i __B)
895 {
896 return (__mmask8) __builtin_ia32_ptestmw128 ((__v8hi) __A,
897 (__v8hi) __B, __U);
898 }
899
900 extern __inline __mmask16
901 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
902 _mm256_test_epi16_mask (__m256i __A, __m256i __B)
903 {
904 return (__mmask16) __builtin_ia32_ptestmw256 ((__v16hi) __A,
905 (__v16hi) __B,
906 (__mmask16) -1);
907 }
908
909 extern __inline __mmask16
910 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
911 _mm256_mask_test_epi16_mask (__mmask16 __U, __m256i __A, __m256i __B)
912 {
913 return (__mmask16) __builtin_ia32_ptestmw256 ((__v16hi) __A,
914 (__v16hi) __B, __U);
915 }
916
917 extern __inline __m256i
918 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
919 _mm256_maskz_min_epu16 (__mmask16 __M, __m256i __A, __m256i __B)
920 {
921 return (__m256i) __builtin_ia32_pminuw256_mask ((__v16hi) __A,
922 (__v16hi) __B,
923 (__v16hi)
924 _mm256_setzero_si256 (),
925 (__mmask16) __M);
926 }
927
928 extern __inline __m256i
929 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
930 _mm256_mask_min_epu16 (__m256i __W, __mmask16 __M, __m256i __A,
931 __m256i __B)
932 {
933 return (__m256i) __builtin_ia32_pminuw256_mask ((__v16hi) __A,
934 (__v16hi) __B,
935 (__v16hi) __W,
936 (__mmask16) __M);
937 }
938
939 extern __inline __m128i
940 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
941 _mm_maskz_min_epu16 (__mmask8 __M, __m128i __A, __m128i __B)
942 {
943 return (__m128i) __builtin_ia32_pminuw128_mask ((__v8hi) __A,
944 (__v8hi) __B,
945 (__v8hi)
946 _mm_setzero_si128 (),
947 (__mmask8) __M);
948 }
949
950 extern __inline __m128i
951 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
952 _mm_mask_min_epu16 (__m128i __W, __mmask8 __M, __m128i __A,
953 __m128i __B)
954 {
955 return (__m128i) __builtin_ia32_pminuw128_mask ((__v8hi) __A,
956 (__v8hi) __B,
957 (__v8hi) __W,
958 (__mmask8) __M);
959 }
960
961 extern __inline __m256i
962 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
963 _mm256_maskz_min_epi16 (__mmask16 __M, __m256i __A, __m256i __B)
964 {
965 return (__m256i) __builtin_ia32_pminsw256_mask ((__v16hi) __A,
966 (__v16hi) __B,
967 (__v16hi)
968 _mm256_setzero_si256 (),
969 (__mmask16) __M);
970 }
971
972 extern __inline __m256i
973 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
974 _mm256_mask_min_epi16 (__m256i __W, __mmask16 __M, __m256i __A,
975 __m256i __B)
976 {
977 return (__m256i) __builtin_ia32_pminsw256_mask ((__v16hi) __A,
978 (__v16hi) __B,
979 (__v16hi) __W,
980 (__mmask16) __M);
981 }
982
983 extern __inline __m256i
984 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
985 _mm256_maskz_max_epu8 (__mmask32 __M, __m256i __A, __m256i __B)
986 {
987 return (__m256i) __builtin_ia32_pmaxub256_mask ((__v32qi) __A,
988 (__v32qi) __B,
989 (__v32qi)
990 _mm256_setzero_si256 (),
991 (__mmask32) __M);
992 }
993
994 extern __inline __m256i
995 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
996 _mm256_mask_max_epu8 (__m256i __W, __mmask32 __M, __m256i __A,
997 __m256i __B)
998 {
999 return (__m256i) __builtin_ia32_pmaxub256_mask ((__v32qi) __A,
1000 (__v32qi) __B,
1001 (__v32qi) __W,
1002 (__mmask32) __M);
1003 }
1004
1005 extern __inline __m128i
1006 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1007 _mm_maskz_max_epu8 (__mmask16 __M, __m128i __A, __m128i __B)
1008 {
1009 return (__m128i) __builtin_ia32_pmaxub128_mask ((__v16qi) __A,
1010 (__v16qi) __B,
1011 (__v16qi)
1012 _mm_setzero_si128 (),
1013 (__mmask16) __M);
1014 }
1015
1016 extern __inline __m128i
1017 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1018 _mm_mask_max_epu8 (__m128i __W, __mmask16 __M, __m128i __A,
1019 __m128i __B)
1020 {
1021 return (__m128i) __builtin_ia32_pmaxub128_mask ((__v16qi) __A,
1022 (__v16qi) __B,
1023 (__v16qi) __W,
1024 (__mmask16) __M);
1025 }
1026
1027 extern __inline __m256i
1028 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1029 _mm256_maskz_max_epi8 (__mmask32 __M, __m256i __A, __m256i __B)
1030 {
1031 return (__m256i) __builtin_ia32_pmaxsb256_mask ((__v32qi) __A,
1032 (__v32qi) __B,
1033 (__v32qi)
1034 _mm256_setzero_si256 (),
1035 (__mmask32) __M);
1036 }
1037
1038 extern __inline __m256i
1039 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1040 _mm256_mask_max_epi8 (__m256i __W, __mmask32 __M, __m256i __A,
1041 __m256i __B)
1042 {
1043 return (__m256i) __builtin_ia32_pmaxsb256_mask ((__v32qi) __A,
1044 (__v32qi) __B,
1045 (__v32qi) __W,
1046 (__mmask32) __M);
1047 }
1048
1049 extern __inline __m128i
1050 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1051 _mm_maskz_max_epi8 (__mmask16 __M, __m128i __A, __m128i __B)
1052 {
1053 return (__m128i) __builtin_ia32_pmaxsb128_mask ((__v16qi) __A,
1054 (__v16qi) __B,
1055 (__v16qi)
1056 _mm_setzero_si128 (),
1057 (__mmask16) __M);
1058 }
1059
1060 extern __inline __m128i
1061 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1062 _mm_mask_max_epi8 (__m128i __W, __mmask16 __M, __m128i __A,
1063 __m128i __B)
1064 {
1065 return (__m128i) __builtin_ia32_pmaxsb128_mask ((__v16qi) __A,
1066 (__v16qi) __B,
1067 (__v16qi) __W,
1068 (__mmask16) __M);
1069 }
1070
1071 extern __inline __m256i
1072 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1073 _mm256_maskz_min_epu8 (__mmask32 __M, __m256i __A, __m256i __B)
1074 {
1075 return (__m256i) __builtin_ia32_pminub256_mask ((__v32qi) __A,
1076 (__v32qi) __B,
1077 (__v32qi)
1078 _mm256_setzero_si256 (),
1079 (__mmask32) __M);
1080 }
1081
1082 extern __inline __m256i
1083 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1084 _mm256_mask_min_epu8 (__m256i __W, __mmask32 __M, __m256i __A,
1085 __m256i __B)
1086 {
1087 return (__m256i) __builtin_ia32_pminub256_mask ((__v32qi) __A,
1088 (__v32qi) __B,
1089 (__v32qi) __W,
1090 (__mmask32) __M);
1091 }
1092
1093 extern __inline __m128i
1094 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1095 _mm_maskz_min_epu8 (__mmask16 __M, __m128i __A, __m128i __B)
1096 {
1097 return (__m128i) __builtin_ia32_pminub128_mask ((__v16qi) __A,
1098 (__v16qi) __B,
1099 (__v16qi)
1100 _mm_setzero_si128 (),
1101 (__mmask16) __M);
1102 }
1103
1104 extern __inline __m128i
1105 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1106 _mm_mask_min_epu8 (__m128i __W, __mmask16 __M, __m128i __A,
1107 __m128i __B)
1108 {
1109 return (__m128i) __builtin_ia32_pminub128_mask ((__v16qi) __A,
1110 (__v16qi) __B,
1111 (__v16qi) __W,
1112 (__mmask16) __M);
1113 }
1114
1115 extern __inline __m256i
1116 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1117 _mm256_maskz_min_epi8 (__mmask32 __M, __m256i __A, __m256i __B)
1118 {
1119 return (__m256i) __builtin_ia32_pminsb256_mask ((__v32qi) __A,
1120 (__v32qi) __B,
1121 (__v32qi)
1122 _mm256_setzero_si256 (),
1123 (__mmask32) __M);
1124 }
1125
1126 extern __inline __m256i
1127 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1128 _mm256_mask_min_epi8 (__m256i __W, __mmask32 __M, __m256i __A,
1129 __m256i __B)
1130 {
1131 return (__m256i) __builtin_ia32_pminsb256_mask ((__v32qi) __A,
1132 (__v32qi) __B,
1133 (__v32qi) __W,
1134 (__mmask32) __M);
1135 }
1136
1137 extern __inline __m128i
1138 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1139 _mm_maskz_min_epi8 (__mmask16 __M, __m128i __A, __m128i __B)
1140 {
1141 return (__m128i) __builtin_ia32_pminsb128_mask ((__v16qi) __A,
1142 (__v16qi) __B,
1143 (__v16qi)
1144 _mm_setzero_si128 (),
1145 (__mmask16) __M);
1146 }
1147
1148 extern __inline __m128i
1149 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1150 _mm_mask_min_epi8 (__m128i __W, __mmask16 __M, __m128i __A,
1151 __m128i __B)
1152 {
1153 return (__m128i) __builtin_ia32_pminsb128_mask ((__v16qi) __A,
1154 (__v16qi) __B,
1155 (__v16qi) __W,
1156 (__mmask16) __M);
1157 }
1158
1159 extern __inline __m256i
1160 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1161 _mm256_maskz_max_epi16 (__mmask16 __M, __m256i __A, __m256i __B)
1162 {
1163 return (__m256i) __builtin_ia32_pmaxsw256_mask ((__v16hi) __A,
1164 (__v16hi) __B,
1165 (__v16hi)
1166 _mm256_setzero_si256 (),
1167 (__mmask16) __M);
1168 }
1169
1170 extern __inline __m256i
1171 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1172 _mm256_mask_max_epi16 (__m256i __W, __mmask16 __M, __m256i __A,
1173 __m256i __B)
1174 {
1175 return (__m256i) __builtin_ia32_pmaxsw256_mask ((__v16hi) __A,
1176 (__v16hi) __B,
1177 (__v16hi) __W,
1178 (__mmask16) __M);
1179 }
1180
1181 extern __inline __m128i
1182 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1183 _mm_maskz_max_epi16 (__mmask8 __M, __m128i __A, __m128i __B)
1184 {
1185 return (__m128i) __builtin_ia32_pmaxsw128_mask ((__v8hi) __A,
1186 (__v8hi) __B,
1187 (__v8hi)
1188 _mm_setzero_si128 (),
1189 (__mmask8) __M);
1190 }
1191
1192 extern __inline __m128i
1193 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1194 _mm_mask_max_epi16 (__m128i __W, __mmask8 __M, __m128i __A,
1195 __m128i __B)
1196 {
1197 return (__m128i) __builtin_ia32_pmaxsw128_mask ((__v8hi) __A,
1198 (__v8hi) __B,
1199 (__v8hi) __W,
1200 (__mmask8) __M);
1201 }
1202
1203 extern __inline __m256i
1204 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1205 _mm256_maskz_max_epu16 (__mmask16 __M, __m256i __A, __m256i __B)
1206 {
1207 return (__m256i) __builtin_ia32_pmaxuw256_mask ((__v16hi) __A,
1208 (__v16hi) __B,
1209 (__v16hi)
1210 _mm256_setzero_si256 (),
1211 (__mmask16) __M);
1212 }
1213
1214 extern __inline __m256i
1215 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1216 _mm256_mask_max_epu16 (__m256i __W, __mmask16 __M, __m256i __A,
1217 __m256i __B)
1218 {
1219 return (__m256i) __builtin_ia32_pmaxuw256_mask ((__v16hi) __A,
1220 (__v16hi) __B,
1221 (__v16hi) __W,
1222 (__mmask16) __M);
1223 }
1224
1225 extern __inline __m128i
1226 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1227 _mm_maskz_max_epu16 (__mmask8 __M, __m128i __A, __m128i __B)
1228 {
1229 return (__m128i) __builtin_ia32_pmaxuw128_mask ((__v8hi) __A,
1230 (__v8hi) __B,
1231 (__v8hi)
1232 _mm_setzero_si128 (),
1233 (__mmask8) __M);
1234 }
1235
1236 extern __inline __m128i
1237 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1238 _mm_mask_max_epu16 (__m128i __W, __mmask8 __M, __m128i __A,
1239 __m128i __B)
1240 {
1241 return (__m128i) __builtin_ia32_pmaxuw128_mask ((__v8hi) __A,
1242 (__v8hi) __B,
1243 (__v8hi) __W,
1244 (__mmask8) __M);
1245 }
1246
1247 extern __inline __m128i
1248 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1249 _mm_maskz_min_epi16 (__mmask8 __M, __m128i __A, __m128i __B)
1250 {
1251 return (__m128i) __builtin_ia32_pminsw128_mask ((__v8hi) __A,
1252 (__v8hi) __B,
1253 (__v8hi)
1254 _mm_setzero_si128 (),
1255 (__mmask8) __M);
1256 }
1257
1258 extern __inline __m128i
1259 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1260 _mm_mask_min_epi16 (__m128i __W, __mmask8 __M, __m128i __A,
1261 __m128i __B)
1262 {
1263 return (__m128i) __builtin_ia32_pminsw128_mask ((__v8hi) __A,
1264 (__v8hi) __B,
1265 (__v8hi) __W,
1266 (__mmask8) __M);
1267 }
1268
1269 #ifdef __OPTIMIZE__
1270 extern __inline __m256i
1271 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1272 _mm256_mask_alignr_epi8 (__m256i __W, __mmask32 __U, __m256i __A,
1273 __m256i __B, const int __N)
1274 {
1275 return (__m256i) __builtin_ia32_palignr256_mask ((__v4di) __A,
1276 (__v4di) __B,
1277 __N * 8,
1278 (__v4di) __W,
1279 (__mmask32) __U);
1280 }
1281
1282 extern __inline __m256i
1283 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1284 _mm256_maskz_alignr_epi8 (__mmask32 __U, __m256i __A, __m256i __B,
1285 const int __N)
1286 {
1287 return (__m256i) __builtin_ia32_palignr256_mask ((__v4di) __A,
1288 (__v4di) __B,
1289 __N * 8,
1290 (__v4di)
1291 _mm256_setzero_si256 (),
1292 (__mmask32) __U);
1293 }
1294
1295 extern __inline __m128i
1296 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1297 _mm_mask_alignr_epi8 (__m128i __W, __mmask16 __U, __m128i __A,
1298 __m128i __B, const int __N)
1299 {
1300 return (__m128i) __builtin_ia32_palignr128_mask ((__v2di) __A,
1301 (__v2di) __B,
1302 __N * 8,
1303 (__v2di) __W,
1304 (__mmask16) __U);
1305 }
1306
1307 extern __inline __m128i
1308 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1309 _mm_maskz_alignr_epi8 (__mmask16 __U, __m128i __A, __m128i __B,
1310 const int __N)
1311 {
1312 return (__m128i) __builtin_ia32_palignr128_mask ((__v2di) __A,
1313 (__v2di) __B,
1314 __N * 8,
1315 (__v2di)
1316 _mm_setzero_si128 (),
1317 (__mmask16) __U);
1318 }
1319
1320 extern __inline __m256i
1321 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1322 _mm256_dbsad_epu8 (__m256i __A, __m256i __B, const int __imm)
1323 {
1324 return (__m256i) __builtin_ia32_dbpsadbw256_mask ((__v32qi) __A,
1325 (__v32qi) __B,
1326 __imm,
1327 (__v16hi)
1328 _mm256_setzero_si256 (),
1329 (__mmask16) -1);
1330 }
1331
1332 extern __inline __m256i
1333 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1334 _mm256_mask_dbsad_epu8 (__m256i __W, __mmask16 __U, __m256i __A,
1335 __m256i __B, const int __imm)
1336 {
1337 return (__m256i) __builtin_ia32_dbpsadbw256_mask ((__v32qi) __A,
1338 (__v32qi) __B,
1339 __imm,
1340 (__v16hi) __W,
1341 (__mmask16) __U);
1342 }
1343
1344 extern __inline __m256i
1345 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1346 _mm256_maskz_dbsad_epu8 (__mmask16 __U, __m256i __A, __m256i __B,
1347 const int __imm)
1348 {
1349 return (__m256i) __builtin_ia32_dbpsadbw256_mask ((__v32qi) __A,
1350 (__v32qi) __B,
1351 __imm,
1352 (__v16hi)
1353 _mm256_setzero_si256 (),
1354 (__mmask16) __U);
1355 }
1356
1357 extern __inline __m128i
1358 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1359 _mm_dbsad_epu8 (__m128i __A, __m128i __B, const int __imm)
1360 {
1361 return (__m128i) __builtin_ia32_dbpsadbw128_mask ((__v16qi) __A,
1362 (__v16qi) __B,
1363 __imm,
1364 (__v8hi)
1365 _mm_setzero_si128 (),
1366 (__mmask8) -1);
1367 }
1368
1369 extern __inline __m128i
1370 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1371 _mm_mask_dbsad_epu8 (__m128i __W, __mmask8 __U, __m128i __A,
1372 __m128i __B, const int __imm)
1373 {
1374 return (__m128i) __builtin_ia32_dbpsadbw128_mask ((__v16qi) __A,
1375 (__v16qi) __B,
1376 __imm,
1377 (__v8hi) __W,
1378 (__mmask8) __U);
1379 }
1380
1381 extern __inline __m128i
1382 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1383 _mm_maskz_dbsad_epu8 (__mmask8 __U, __m128i __A, __m128i __B,
1384 const int __imm)
1385 {
1386 return (__m128i) __builtin_ia32_dbpsadbw128_mask ((__v16qi) __A,
1387 (__v16qi) __B,
1388 __imm,
1389 (__v8hi)
1390 _mm_setzero_si128 (),
1391 (__mmask8) __U);
1392 }
1393
1394 extern __inline __m128i
1395 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1396 _mm_mask_blend_epi16 (__mmask8 __U, __m128i __A, __m128i __W)
1397 {
1398 return (__m128i) __builtin_ia32_blendmw_128_mask ((__v8hi) __A,
1399 (__v8hi) __W,
1400 (__mmask8) __U);
1401 }
1402
1403 extern __inline __m128i
1404 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1405 _mm_mask_blend_epi8 (__mmask16 __U, __m128i __A, __m128i __W)
1406 {
1407 return (__m128i) __builtin_ia32_blendmb_128_mask ((__v16qi) __A,
1408 (__v16qi) __W,
1409 (__mmask16) __U);
1410 }
1411
1412 extern __inline __m256i
1413 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1414 _mm256_mask_blend_epi16 (__mmask16 __U, __m256i __A, __m256i __W)
1415 {
1416 return (__m256i) __builtin_ia32_blendmw_256_mask ((__v16hi) __A,
1417 (__v16hi) __W,
1418 (__mmask16) __U);
1419 }
1420
1421 extern __inline __m256i
1422 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1423 _mm256_mask_blend_epi8 (__mmask32 __U, __m256i __A, __m256i __W)
1424 {
1425 return (__m256i) __builtin_ia32_blendmb_256_mask ((__v32qi) __A,
1426 (__v32qi) __W,
1427 (__mmask32) __U);
1428 }
1429
1430 extern __inline __mmask8
1431 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1432 _mm_mask_cmp_epi16_mask (__mmask8 __U, __m128i __X, __m128i __Y,
1433 const int __P)
1434 {
1435 return (__mmask8) __builtin_ia32_cmpw128_mask ((__v8hi) __X,
1436 (__v8hi) __Y, __P,
1437 (__mmask8) __U);
1438 }
1439
1440 extern __inline __mmask8
1441 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1442 _mm_cmp_epi16_mask (__m128i __X, __m128i __Y, const int __P)
1443 {
1444 return (__mmask8) __builtin_ia32_cmpw128_mask ((__v8hi) __X,
1445 (__v8hi) __Y, __P,
1446 (__mmask8) -1);
1447 }
1448
1449 extern __inline __mmask16
1450 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1451 _mm256_mask_cmp_epi16_mask (__mmask16 __U, __m256i __X, __m256i __Y,
1452 const int __P)
1453 {
1454 return (__mmask16) __builtin_ia32_cmpw256_mask ((__v16hi) __X,
1455 (__v16hi) __Y, __P,
1456 (__mmask16) __U);
1457 }
1458
1459 extern __inline __mmask16
1460 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1461 _mm256_cmp_epi16_mask (__m256i __X, __m256i __Y, const int __P)
1462 {
1463 return (__mmask16) __builtin_ia32_cmpw256_mask ((__v16hi) __X,
1464 (__v16hi) __Y, __P,
1465 (__mmask16) -1);
1466 }
1467
1468 extern __inline __mmask16
1469 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1470 _mm_mask_cmp_epi8_mask (__mmask16 __U, __m128i __X, __m128i __Y,
1471 const int __P)
1472 {
1473 return (__mmask16) __builtin_ia32_cmpb128_mask ((__v16qi) __X,
1474 (__v16qi) __Y, __P,
1475 (__mmask16) __U);
1476 }
1477
1478 extern __inline __mmask16
1479 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1480 _mm_cmp_epi8_mask (__m128i __X, __m128i __Y, const int __P)
1481 {
1482 return (__mmask16) __builtin_ia32_cmpb128_mask ((__v16qi) __X,
1483 (__v16qi) __Y, __P,
1484 (__mmask16) -1);
1485 }
1486
1487 extern __inline __mmask32
1488 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1489 _mm256_mask_cmp_epi8_mask (__mmask32 __U, __m256i __X, __m256i __Y,
1490 const int __P)
1491 {
1492 return (__mmask32) __builtin_ia32_cmpb256_mask ((__v32qi) __X,
1493 (__v32qi) __Y, __P,
1494 (__mmask32) __U);
1495 }
1496
1497 extern __inline __mmask32
1498 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1499 _mm256_cmp_epi8_mask (__m256i __X, __m256i __Y, const int __P)
1500 {
1501 return (__mmask32) __builtin_ia32_cmpb256_mask ((__v32qi) __X,
1502 (__v32qi) __Y, __P,
1503 (__mmask32) -1);
1504 }
1505
1506 extern __inline __mmask8
1507 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1508 _mm_mask_cmp_epu16_mask (__mmask8 __U, __m128i __X, __m128i __Y,
1509 const int __P)
1510 {
1511 return (__mmask8) __builtin_ia32_ucmpw128_mask ((__v8hi) __X,
1512 (__v8hi) __Y, __P,
1513 (__mmask8) __U);
1514 }
1515
1516 extern __inline __mmask8
1517 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1518 _mm_cmp_epu16_mask (__m128i __X, __m128i __Y, const int __P)
1519 {
1520 return (__mmask8) __builtin_ia32_ucmpw128_mask ((__v8hi) __X,
1521 (__v8hi) __Y, __P,
1522 (__mmask8) -1);
1523 }
1524
1525 extern __inline __mmask16
1526 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1527 _mm256_mask_cmp_epu16_mask (__mmask16 __U, __m256i __X, __m256i __Y,
1528 const int __P)
1529 {
1530 return (__mmask16) __builtin_ia32_ucmpw256_mask ((__v16hi) __X,
1531 (__v16hi) __Y, __P,
1532 (__mmask16) __U);
1533 }
1534
1535 extern __inline __mmask16
1536 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1537 _mm256_cmp_epu16_mask (__m256i __X, __m256i __Y, const int __P)
1538 {
1539 return (__mmask16) __builtin_ia32_ucmpw256_mask ((__v16hi) __X,
1540 (__v16hi) __Y, __P,
1541 (__mmask16) -1);
1542 }
1543
1544 extern __inline __mmask16
1545 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1546 _mm_mask_cmp_epu8_mask (__mmask16 __U, __m128i __X, __m128i __Y,
1547 const int __P)
1548 {
1549 return (__mmask16) __builtin_ia32_ucmpb128_mask ((__v16qi) __X,
1550 (__v16qi) __Y, __P,
1551 (__mmask16) __U);
1552 }
1553
1554 extern __inline __mmask16
1555 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1556 _mm_cmp_epu8_mask (__m128i __X, __m128i __Y, const int __P)
1557 {
1558 return (__mmask16) __builtin_ia32_ucmpb128_mask ((__v16qi) __X,
1559 (__v16qi) __Y, __P,
1560 (__mmask16) -1);
1561 }
1562
1563 extern __inline __mmask32
1564 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1565 _mm256_mask_cmp_epu8_mask (__mmask32 __U, __m256i __X, __m256i __Y,
1566 const int __P)
1567 {
1568 return (__mmask32) __builtin_ia32_ucmpb256_mask ((__v32qi) __X,
1569 (__v32qi) __Y, __P,
1570 (__mmask32) __U);
1571 }
1572
1573 extern __inline __mmask32
1574 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1575 _mm256_cmp_epu8_mask (__m256i __X, __m256i __Y, const int __P)
1576 {
1577 return (__mmask32) __builtin_ia32_ucmpb256_mask ((__v32qi) __X,
1578 (__v32qi) __Y, __P,
1579 (__mmask32) -1);
1580 }
1581
1582 extern __inline __m256i
1583 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1584 _mm256_mask_srli_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
1585 const int __imm)
1586 {
1587 return (__m256i) __builtin_ia32_psrlwi256_mask ((__v16hi) __A, __imm,
1588 (__v16hi) __W,
1589 (__mmask16) __U);
1590 }
1591
1592 extern __inline __m256i
1593 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1594 _mm256_maskz_srli_epi16 (__mmask16 __U, __m256i __A, const int __imm)
1595 {
1596 return (__m256i) __builtin_ia32_psrlwi256_mask ((__v16hi) __A, __imm,
1597 (__v16hi)
1598 _mm256_setzero_si256 (),
1599 (__mmask16) __U);
1600 }
1601
1602 extern __inline __m128i
1603 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1604 _mm_mask_srli_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
1605 const int __imm)
1606 {
1607 return (__m128i) __builtin_ia32_psrlwi128_mask ((__v8hi) __A, __imm,
1608 (__v8hi) __W,
1609 (__mmask8) __U);
1610 }
1611
1612 extern __inline __m128i
1613 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1614 _mm_maskz_srli_epi16 (__mmask8 __U, __m128i __A, const int __imm)
1615 {
1616 return (__m128i) __builtin_ia32_psrlwi128_mask ((__v8hi) __A, __imm,
1617 (__v8hi)
1618 _mm_setzero_si128 (),
1619 (__mmask8) __U);
1620 }
1621
1622 extern __inline __m256i
1623 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1624 _mm256_mask_shufflehi_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
1625 const int __imm)
1626 {
1627 return (__m256i) __builtin_ia32_pshufhw256_mask ((__v16hi) __A,
1628 __imm,
1629 (__v16hi) __W,
1630 (__mmask16) __U);
1631 }
1632
1633 extern __inline __m256i
1634 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1635 _mm256_maskz_shufflehi_epi16 (__mmask16 __U, __m256i __A,
1636 const int __imm)
1637 {
1638 return (__m256i) __builtin_ia32_pshufhw256_mask ((__v16hi) __A,
1639 __imm,
1640 (__v16hi)
1641 _mm256_setzero_si256 (),
1642 (__mmask16) __U);
1643 }
1644
1645 extern __inline __m128i
1646 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1647 _mm_mask_shufflehi_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
1648 const int __imm)
1649 {
1650 return (__m128i) __builtin_ia32_pshufhw128_mask ((__v8hi) __A, __imm,
1651 (__v8hi) __W,
1652 (__mmask8) __U);
1653 }
1654
1655 extern __inline __m128i
1656 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1657 _mm_maskz_shufflehi_epi16 (__mmask8 __U, __m128i __A, const int __imm)
1658 {
1659 return (__m128i) __builtin_ia32_pshufhw128_mask ((__v8hi) __A, __imm,
1660 (__v8hi)
1661 _mm_setzero_si128 (),
1662 (__mmask8) __U);
1663 }
1664
1665 extern __inline __m256i
1666 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1667 _mm256_mask_shufflelo_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
1668 const int __imm)
1669 {
1670 return (__m256i) __builtin_ia32_pshuflw256_mask ((__v16hi) __A,
1671 __imm,
1672 (__v16hi) __W,
1673 (__mmask16) __U);
1674 }
1675
1676 extern __inline __m256i
1677 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1678 _mm256_maskz_shufflelo_epi16 (__mmask16 __U, __m256i __A,
1679 const int __imm)
1680 {
1681 return (__m256i) __builtin_ia32_pshuflw256_mask ((__v16hi) __A,
1682 __imm,
1683 (__v16hi)
1684 _mm256_setzero_si256 (),
1685 (__mmask16) __U);
1686 }
1687
1688 extern __inline __m128i
1689 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1690 _mm_mask_shufflelo_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
1691 const int __imm)
1692 {
1693 return (__m128i) __builtin_ia32_pshuflw128_mask ((__v8hi) __A, __imm,
1694 (__v8hi) __W,
1695 (__mmask8) __U);
1696 }
1697
1698 extern __inline __m128i
1699 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1700 _mm_maskz_shufflelo_epi16 (__mmask8 __U, __m128i __A, const int __imm)
1701 {
1702 return (__m128i) __builtin_ia32_pshuflw128_mask ((__v8hi) __A, __imm,
1703 (__v8hi)
1704 _mm_setzero_si128 (),
1705 (__mmask8) __U);
1706 }
1707
1708 extern __inline __m256i
1709 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1710 _mm256_mask_srai_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
1711 const int __imm)
1712 {
1713 return (__m256i) __builtin_ia32_psrawi256_mask ((__v16hi) __A, __imm,
1714 (__v16hi) __W,
1715 (__mmask16) __U);
1716 }
1717
1718 extern __inline __m256i
1719 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1720 _mm256_maskz_srai_epi16 (__mmask16 __U, __m256i __A, const int __imm)
1721 {
1722 return (__m256i) __builtin_ia32_psrawi256_mask ((__v16hi) __A, __imm,
1723 (__v16hi)
1724 _mm256_setzero_si256 (),
1725 (__mmask16) __U);
1726 }
1727
1728 extern __inline __m128i
1729 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1730 _mm_mask_srai_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
1731 const int __imm)
1732 {
1733 return (__m128i) __builtin_ia32_psrawi128_mask ((__v8hi) __A, __imm,
1734 (__v8hi) __W,
1735 (__mmask8) __U);
1736 }
1737
1738 extern __inline __m128i
1739 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1740 _mm_maskz_srai_epi16 (__mmask8 __U, __m128i __A, const int __imm)
1741 {
1742 return (__m128i) __builtin_ia32_psrawi128_mask ((__v8hi) __A, __imm,
1743 (__v8hi)
1744 _mm_setzero_si128 (),
1745 (__mmask8) __U);
1746 }
1747
1748 extern __inline __m256i
1749 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1750 _mm256_mask_slli_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
1751 int __B)
1752 {
1753 return (__m256i) __builtin_ia32_psllwi256_mask ((__v16hi) __A, __B,
1754 (__v16hi) __W,
1755 (__mmask16) __U);
1756 }
1757
1758 extern __inline __m256i
1759 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1760 _mm256_maskz_slli_epi16 (__mmask16 __U, __m256i __A, int __B)
1761 {
1762 return (__m256i) __builtin_ia32_psllwi256_mask ((__v16hi) __A, __B,
1763 (__v16hi)
1764 _mm256_setzero_si256 (),
1765 (__mmask16) __U);
1766 }
1767
1768 extern __inline __m128i
1769 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1770 _mm_mask_slli_epi16 (__m128i __W, __mmask8 __U, __m128i __A, int __B)
1771 {
1772 return (__m128i) __builtin_ia32_psllwi128_mask ((__v8hi) __A, __B,
1773 (__v8hi) __W,
1774 (__mmask8) __U);
1775 }
1776
1777 extern __inline __m128i
1778 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
1779 _mm_maskz_slli_epi16 (__mmask8 __U, __m128i __A, int __B)
1780 {
1781 return (__m128i) __builtin_ia32_psllwi128_mask ((__v8hi) __A, __B,
1782 (__v8hi)
1783 _mm_setzero_si128 (),
1784 (__mmask8) __U);
1785 }
1786
1787 #else
1788 #define _mm256_mask_alignr_epi8(W, U, X, Y, N) \
1789 ((__m256i) __builtin_ia32_palignr256_mask ((__v4di)(__m256i)(X), \
1790 (__v4di)(__m256i)(Y), (int)(N * 8), \
1791 (__v4di)(__m256i)(X), (__mmask32)(U)))
1792
1793 #define _mm256_mask_srli_epi16(W, U, A, B) \
1794 ((__m256i) __builtin_ia32_psrlwi256_mask ((__v16hi)(__m256i)(A), \
1795 (int)(B), (__v16hi)(__m256i)(W), (__mmask16)(U)))
1796
1797 #define _mm256_maskz_srli_epi16(U, A, B) \
1798 ((__m256i) __builtin_ia32_psrlwi256_mask ((__v16hi)(__m256i)(A), \
1799 (int)(B), (__v16hi)_mm256_setzero_si256 (), (__mmask16)(U)))
1800
1801 #define _mm_mask_srli_epi16(W, U, A, B) \
1802 ((__m128i) __builtin_ia32_psrlwi128_mask ((__v8hi)(__m128i)(A), \
1803 (int)(B), (__v8hi)(__m128i)(W), (__mmask8)(U)))
1804
1805 #define _mm_maskz_srli_epi16(U, A, B) \
1806 ((__m128i) __builtin_ia32_psrlwi128_mask ((__v8hi)(__m128i)(A), \
1807 (int)(B), (__v8hi)_mm_setzero_si128(), (__mmask8)(U)))
1808
1809 #define _mm256_mask_srai_epi16(W, U, A, B) \
1810 ((__m256i) __builtin_ia32_psrawi256_mask ((__v16hi)(__m256i)(A), \
1811 (int)(B), (__v16hi)(__m256i)(W), (__mmask16)(U)))
1812
1813 #define _mm256_maskz_srai_epi16(U, A, B) \
1814 ((__m256i) __builtin_ia32_psrawi256_mask ((__v16hi)(__m256i)(A), \
1815 (int)(B), (__v16hi)_mm256_setzero_si256 (), (__mmask16)(U)))
1816
1817 #define _mm_mask_srai_epi16(W, U, A, B) \
1818 ((__m128i) __builtin_ia32_psrawi128_mask ((__v8hi)(__m128i)(A), \
1819 (int)(B), (__v8hi)(__m128i)(W), (__mmask8)(U)))
1820
1821 #define _mm_maskz_srai_epi16(U, A, B) \
1822 ((__m128i) __builtin_ia32_psrawi128_mask ((__v8hi)(__m128i)(A), \
1823 (int)(B), (__v8hi)_mm_setzero_si128(), (__mmask8)(U)))
1824
1825 #define _mm256_mask_shufflehi_epi16(W, U, A, B) \
1826 ((__m256i) __builtin_ia32_pshufhw256_mask ((__v16hi)(__m256i)(A), (int)(B), \
1827 (__v16hi)(__m256i)(W), \
1828 (__mmask16)(U)))
1829
1830 #define _mm256_maskz_shufflehi_epi16(U, A, B) \
1831 ((__m256i) __builtin_ia32_pshufhw256_mask ((__v16hi)(__m256i)(A), (int)(B), \
1832 (__v16hi)(__m256i)_mm256_setzero_si256 (), \
1833 (__mmask16)(U)))
1834
1835 #define _mm_mask_shufflehi_epi16(W, U, A, B) \
1836 ((__m128i) __builtin_ia32_pshufhw128_mask ((__v8hi)(__m128i)(A), (int)(B), \
1837 (__v8hi)(__m128i)(W), \
1838 (__mmask8)(U)))
1839
1840 #define _mm_maskz_shufflehi_epi16(U, A, B) \
1841 ((__m128i) __builtin_ia32_pshufhw128_mask ((__v8hi)(__m128i)(A), (int)(B), \
1842 (__v8hi)(__m128i)_mm_setzero_si128 (), \
1843 (__mmask8)(U)))
1844
1845 #define _mm256_mask_shufflelo_epi16(W, U, A, B) \
1846 ((__m256i) __builtin_ia32_pshuflw256_mask ((__v16hi)(__m256i)(A), (int)(B), \
1847 (__v16hi)(__m256i)(W), \
1848 (__mmask16)(U)))
1849
1850 #define _mm256_maskz_shufflelo_epi16(U, A, B) \
1851 ((__m256i) __builtin_ia32_pshuflw256_mask ((__v16hi)(__m256i)(A), (int)(B), \
1852 (__v16hi)(__m256i)_mm256_setzero_si256 (), \
1853 (__mmask16)(U)))
1854
1855 #define _mm_mask_shufflelo_epi16(W, U, A, B) \
1856 ((__m128i) __builtin_ia32_pshuflw128_mask ((__v8hi)(__m128i)(A), (int)(B), \
1857 (__v8hi)(__m128i)(W), \
1858 (__mmask8)(U)))
1859
1860 #define _mm_maskz_shufflelo_epi16(U, A, B) \
1861 ((__m128i) __builtin_ia32_pshuflw128_mask ((__v8hi)(__m128i)(A), (int)(B), \
1862 (__v8hi)(__m128i)_mm_setzero_si128 (), \
1863 (__mmask8)(U)))
1864
1865 #define _mm256_maskz_alignr_epi8(U, X, Y, N) \
1866 ((__m256i) __builtin_ia32_palignr256_mask ((__v4di)(__m256i)(X), \
1867 (__v4di)(__m256i)(Y), (int)(N * 8), \
1868 (__v4di)(__m256i)_mm256_setzero_si256 (), \
1869 (__mmask32)(U)))
1870
1871 #define _mm_mask_alignr_epi8(W, U, X, Y, N) \
1872 ((__m128i) __builtin_ia32_palignr128_mask ((__v2di)(__m128i)(X), \
1873 (__v2di)(__m128i)(Y), (int)(N * 8), \
1874 (__v2di)(__m128i)(X), (__mmask16)(U)))
1875
1876 #define _mm_maskz_alignr_epi8(U, X, Y, N) \
1877 ((__m128i) __builtin_ia32_palignr128_mask ((__v2di)(__m128i)(X), \
1878 (__v2di)(__m128i)(Y), (int)(N * 8), \
1879 (__v2di)(__m128i)_mm_setzero_si128 (), \
1880 (__mmask16)(U)))
1881
1882 #define _mm_mask_slli_epi16(W, U, X, C) \
1883 ((__m128i)__builtin_ia32_psllwi128_mask ((__v8hi)(__m128i)(X), (int)(C),\
1884 (__v8hi)(__m128i)(W),\
1885 (__mmask8)(U)))
1886
1887 #define _mm_maskz_slli_epi16(U, X, C) \
1888 ((__m128i)__builtin_ia32_psllwi128_mask ((__v8hi)(__m128i)(X), (int)(C),\
1889 (__v8hi)(__m128i)_mm_setzero_si128 (),\
1890 (__mmask8)(U)))
1891
1892 #define _mm256_dbsad_epu8(X, Y, C) \
1893 ((__m256i) __builtin_ia32_dbpsadbw256_mask ((__v32qi)(__m256i) (X), \
1894 (__v32qi)(__m256i) (Y), (int) (C), \
1895 (__v16hi)(__m256i)_mm256_setzero_si256(),\
1896 (__mmask16)-1))
1897
1898 #define _mm256_mask_slli_epi16(W, U, X, C) \
1899 ((__m256i)__builtin_ia32_psllwi256_mask ((__v16hi)(__m256i)(X), (int)(C),\
1900 (__v16hi)(__m256i)(W),\
1901 (__mmask16)(U)))
1902
1903 #define _mm256_maskz_slli_epi16(U, X, C) \
1904 ((__m256i)__builtin_ia32_psllwi256_mask ((__v16hi)(__m256i)(X), (int)(C),\
1905 (__v16hi)(__m256i)_mm256_setzero_si256 (),\
1906 (__mmask16)(U)))
1907
1908 #define _mm256_mask_dbsad_epu8(W, U, X, Y, C) \
1909 ((__m256i) __builtin_ia32_dbpsadbw256_mask ((__v32qi)(__m256i) (X), \
1910 (__v32qi)(__m256i) (Y), (int) (C), \
1911 (__v16hi)(__m256i)(W), \
1912 (__mmask16)(U)))
1913
1914 #define _mm256_maskz_dbsad_epu8(U, X, Y, C) \
1915 ((__m256i) __builtin_ia32_dbpsadbw256_mask ((__v32qi)(__m256i) (X), \
1916 (__v32qi)(__m256i) (Y), (int) (C), \
1917 (__v16hi)(__m256i)_mm256_setzero_si256(),\
1918 (__mmask16)(U)))
1919
1920 #define _mm_dbsad_epu8(X, Y, C) \
1921 ((__m128i) __builtin_ia32_dbpsadbw128_mask ((__v16qi)(__m128i) (X), \
1922 (__v16qi)(__m128i) (Y), (int) (C), \
1923 (__v8hi)(__m128i)_mm_setzero_si128(), \
1924 (__mmask8)-1))
1925
1926 #define _mm_mask_dbsad_epu8(W, U, X, Y, C) \
1927 ((__m128i) __builtin_ia32_dbpsadbw128_mask ((__v16qi)(__m128i) (X), \
1928 (__v16qi)(__m128i) (Y), (int) (C), \
1929 (__v8hi)(__m128i)(W), \
1930 (__mmask8)(U)))
1931
1932 #define _mm_maskz_dbsad_epu8(U, X, Y, C) \
1933 ((__m128i) __builtin_ia32_dbpsadbw128_mask ((__v16qi)(__m128i) (X), \
1934 (__v16qi)(__m128i) (Y), (int) (C), \
1935 (__v8hi)(__m128i)_mm_setzero_si128(), \
1936 (__mmask8)(U)))
1937
1938 #define _mm_mask_blend_epi16(__U, __A, __W) \
1939 ((__m128i) __builtin_ia32_blendmw_128_mask ((__v8hi) (__A), \
1940 (__v8hi) (__W), \
1941 (__mmask8) (__U)))
1942
1943 #define _mm_mask_blend_epi8(__U, __A, __W) \
1944 ((__m128i) __builtin_ia32_blendmb_128_mask ((__v16qi) (__A), \
1945 (__v16qi) (__W), \
1946 (__mmask16) (__U)))
1947
1948 #define _mm256_mask_blend_epi16(__U, __A, __W) \
1949 ((__m256i) __builtin_ia32_blendmw_256_mask ((__v16hi) (__A), \
1950 (__v16hi) (__W), \
1951 (__mmask16) (__U)))
1952
1953 #define _mm256_mask_blend_epi8(__U, __A, __W) \
1954 ((__m256i) __builtin_ia32_blendmb_256_mask ((__v32qi) (__A), \
1955 (__v32qi) (__W), \
1956 (__mmask32) (__U)))
1957
1958 #define _mm_cmp_epi16_mask(X, Y, P) \
1959 ((__mmask8) __builtin_ia32_cmpw128_mask ((__v8hi)(__m128i)(X), \
1960 (__v8hi)(__m128i)(Y), (int)(P),\
1961 (__mmask8)(-1)))
1962
1963 #define _mm_cmp_epi8_mask(X, Y, P) \
1964 ((__mmask16) __builtin_ia32_cmpb128_mask ((__v16qi)(__m128i)(X), \
1965 (__v16qi)(__m128i)(Y), (int)(P),\
1966 (__mmask16)(-1)))
1967
1968 #define _mm256_cmp_epi16_mask(X, Y, P) \
1969 ((__mmask16) __builtin_ia32_cmpw256_mask ((__v16hi)(__m256i)(X), \
1970 (__v16hi)(__m256i)(Y), (int)(P),\
1971 (__mmask16)(-1)))
1972
1973 #define _mm256_cmp_epi8_mask(X, Y, P) \
1974 ((__mmask32) __builtin_ia32_cmpb256_mask ((__v32qi)(__m256i)(X), \
1975 (__v32qi)(__m256i)(Y), (int)(P),\
1976 (__mmask32)(-1)))
1977
1978 #define _mm_cmp_epu16_mask(X, Y, P) \
1979 ((__mmask8) __builtin_ia32_ucmpw128_mask ((__v8hi)(__m128i)(X), \
1980 (__v8hi)(__m128i)(Y), (int)(P),\
1981 (__mmask8)(-1)))
1982
1983 #define _mm_cmp_epu8_mask(X, Y, P) \
1984 ((__mmask16) __builtin_ia32_ucmpb128_mask ((__v16qi)(__m128i)(X), \
1985 (__v16qi)(__m128i)(Y), (int)(P),\
1986 (__mmask16)(-1)))
1987
1988 #define _mm256_cmp_epu16_mask(X, Y, P) \
1989 ((__mmask16) __builtin_ia32_ucmpw256_mask ((__v16hi)(__m256i)(X), \
1990 (__v16hi)(__m256i)(Y), (int)(P),\
1991 (__mmask16)(-1)))
1992
1993 #define _mm256_cmp_epu8_mask(X, Y, P) \
1994 ((__mmask32) __builtin_ia32_ucmpb256_mask ((__v32qi)(__m256i)(X), \
1995 (__v32qi)(__m256i)(Y), (int)(P),\
1996 (__mmask32)-1))
1997
1998 #define _mm_mask_cmp_epi16_mask(M, X, Y, P) \
1999 ((__mmask8) __builtin_ia32_cmpw128_mask ((__v8hi)(__m128i)(X), \
2000 (__v8hi)(__m128i)(Y), (int)(P),\
2001 (__mmask8)(M)))
2002
2003 #define _mm_mask_cmp_epi8_mask(M, X, Y, P) \
2004 ((__mmask16) __builtin_ia32_cmpb128_mask ((__v16qi)(__m128i)(X), \
2005 (__v16qi)(__m128i)(Y), (int)(P),\
2006 (__mmask16)(M)))
2007
2008 #define _mm256_mask_cmp_epi16_mask(M, X, Y, P) \
2009 ((__mmask16) __builtin_ia32_cmpw256_mask ((__v16hi)(__m256i)(X), \
2010 (__v16hi)(__m256i)(Y), (int)(P),\
2011 (__mmask16)(M)))
2012
2013 #define _mm256_mask_cmp_epi8_mask(M, X, Y, P) \
2014 ((__mmask32) __builtin_ia32_cmpb256_mask ((__v32qi)(__m256i)(X), \
2015 (__v32qi)(__m256i)(Y), (int)(P),\
2016 (__mmask32)(M)))
2017
2018 #define _mm_mask_cmp_epu16_mask(M, X, Y, P) \
2019 ((__mmask8) __builtin_ia32_ucmpw128_mask ((__v8hi)(__m128i)(X), \
2020 (__v8hi)(__m128i)(Y), (int)(P),\
2021 (__mmask8)(M)))
2022
2023 #define _mm_mask_cmp_epu8_mask(M, X, Y, P) \
2024 ((__mmask16) __builtin_ia32_ucmpb128_mask ((__v16qi)(__m128i)(X), \
2025 (__v16qi)(__m128i)(Y), (int)(P),\
2026 (__mmask16)(M)))
2027
2028 #define _mm256_mask_cmp_epu16_mask(M, X, Y, P) \
2029 ((__mmask16) __builtin_ia32_ucmpw256_mask ((__v16hi)(__m256i)(X), \
2030 (__v16hi)(__m256i)(Y), (int)(P),\
2031 (__mmask16)(M)))
2032
2033 #define _mm256_mask_cmp_epu8_mask(M, X, Y, P) \
2034 ((__mmask32) __builtin_ia32_ucmpb256_mask ((__v32qi)(__m256i)(X), \
2035 (__v32qi)(__m256i)(Y), (int)(P),\
2036 (__mmask32)M))
2037 #endif
2038
2039 extern __inline __mmask32
2040 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2041 _mm256_cmpneq_epi8_mask (__m256i __X, __m256i __Y)
2042 {
2043 return (__mmask32) __builtin_ia32_cmpb256_mask ((__v32qi) __X,
2044 (__v32qi) __Y, 4,
2045 (__mmask32) -1);
2046 }
2047
2048 extern __inline __mmask32
2049 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2050 _mm256_cmplt_epi8_mask (__m256i __X, __m256i __Y)
2051 {
2052 return (__mmask32) __builtin_ia32_cmpb256_mask ((__v32qi) __X,
2053 (__v32qi) __Y, 1,
2054 (__mmask32) -1);
2055 }
2056
2057 extern __inline __mmask32
2058 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2059 _mm256_cmpge_epi8_mask (__m256i __X, __m256i __Y)
2060 {
2061 return (__mmask32) __builtin_ia32_cmpb256_mask ((__v32qi) __X,
2062 (__v32qi) __Y, 5,
2063 (__mmask32) -1);
2064 }
2065
2066 extern __inline __mmask32
2067 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2068 _mm256_cmple_epi8_mask (__m256i __X, __m256i __Y)
2069 {
2070 return (__mmask32) __builtin_ia32_cmpb256_mask ((__v32qi) __X,
2071 (__v32qi) __Y, 2,
2072 (__mmask32) -1);
2073 }
2074
2075 extern __inline __mmask16
2076 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2077 _mm256_cmpneq_epi16_mask (__m256i __X, __m256i __Y)
2078 {
2079 return (__mmask16) __builtin_ia32_cmpw256_mask ((__v16hi) __X,
2080 (__v16hi) __Y, 4,
2081 (__mmask16) -1);
2082 }
2083
2084 extern __inline __mmask16
2085 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2086 _mm256_cmplt_epi16_mask (__m256i __X, __m256i __Y)
2087 {
2088 return (__mmask16) __builtin_ia32_cmpw256_mask ((__v16hi) __X,
2089 (__v16hi) __Y, 1,
2090 (__mmask16) -1);
2091 }
2092
2093 extern __inline __mmask16
2094 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2095 _mm256_cmpge_epi16_mask (__m256i __X, __m256i __Y)
2096 {
2097 return (__mmask16) __builtin_ia32_cmpw256_mask ((__v16hi) __X,
2098 (__v16hi) __Y, 5,
2099 (__mmask16) -1);
2100 }
2101
2102 extern __inline __mmask16
2103 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2104 _mm256_cmple_epi16_mask (__m256i __X, __m256i __Y)
2105 {
2106 return (__mmask16) __builtin_ia32_cmpw256_mask ((__v16hi) __X,
2107 (__v16hi) __Y, 2,
2108 (__mmask16) -1);
2109 }
2110
2111 extern __inline __mmask16
2112 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2113 _mm_cmpneq_epu8_mask (__m128i __X, __m128i __Y)
2114 {
2115 return (__mmask16) __builtin_ia32_ucmpb128_mask ((__v16qi) __X,
2116 (__v16qi) __Y, 4,
2117 (__mmask16) -1);
2118 }
2119
2120 extern __inline __mmask16
2121 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2122 _mm_cmplt_epu8_mask (__m128i __X, __m128i __Y)
2123 {
2124 return (__mmask16) __builtin_ia32_ucmpb128_mask ((__v16qi) __X,
2125 (__v16qi) __Y, 1,
2126 (__mmask16) -1);
2127 }
2128
2129 extern __inline __mmask16
2130 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2131 _mm_cmpge_epu8_mask (__m128i __X, __m128i __Y)
2132 {
2133 return (__mmask16) __builtin_ia32_ucmpb128_mask ((__v16qi) __X,
2134 (__v16qi) __Y, 5,
2135 (__mmask16) -1);
2136 }
2137
2138 extern __inline __mmask16
2139 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2140 _mm_cmple_epu8_mask (__m128i __X, __m128i __Y)
2141 {
2142 return (__mmask16) __builtin_ia32_ucmpb128_mask ((__v16qi) __X,
2143 (__v16qi) __Y, 2,
2144 (__mmask16) -1);
2145 }
2146
2147 extern __inline __mmask8
2148 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2149 _mm_cmpneq_epu16_mask (__m128i __X, __m128i __Y)
2150 {
2151 return (__mmask8) __builtin_ia32_ucmpw128_mask ((__v8hi) __X,
2152 (__v8hi) __Y, 4,
2153 (__mmask8) -1);
2154 }
2155
2156 extern __inline __mmask8
2157 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2158 _mm_cmplt_epu16_mask (__m128i __X, __m128i __Y)
2159 {
2160 return (__mmask8) __builtin_ia32_ucmpw128_mask ((__v8hi) __X,
2161 (__v8hi) __Y, 1,
2162 (__mmask8) -1);
2163 }
2164
2165 extern __inline __mmask8
2166 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2167 _mm_cmpge_epu16_mask (__m128i __X, __m128i __Y)
2168 {
2169 return (__mmask8) __builtin_ia32_ucmpw128_mask ((__v8hi) __X,
2170 (__v8hi) __Y, 5,
2171 (__mmask8) -1);
2172 }
2173
2174 extern __inline __mmask8
2175 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2176 _mm_cmple_epu16_mask (__m128i __X, __m128i __Y)
2177 {
2178 return (__mmask8) __builtin_ia32_ucmpw128_mask ((__v8hi) __X,
2179 (__v8hi) __Y, 2,
2180 (__mmask8) -1);
2181 }
2182
2183 extern __inline __mmask16
2184 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2185 _mm_cmpneq_epi8_mask (__m128i __X, __m128i __Y)
2186 {
2187 return (__mmask16) __builtin_ia32_cmpb128_mask ((__v16qi) __X,
2188 (__v16qi) __Y, 4,
2189 (__mmask16) -1);
2190 }
2191
2192 extern __inline __mmask16
2193 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2194 _mm_cmplt_epi8_mask (__m128i __X, __m128i __Y)
2195 {
2196 return (__mmask16) __builtin_ia32_cmpb128_mask ((__v16qi) __X,
2197 (__v16qi) __Y, 1,
2198 (__mmask16) -1);
2199 }
2200
2201 extern __inline __mmask16
2202 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2203 _mm_cmpge_epi8_mask (__m128i __X, __m128i __Y)
2204 {
2205 return (__mmask16) __builtin_ia32_cmpb128_mask ((__v16qi) __X,
2206 (__v16qi) __Y, 5,
2207 (__mmask16) -1);
2208 }
2209
2210 extern __inline __mmask16
2211 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2212 _mm_cmple_epi8_mask (__m128i __X, __m128i __Y)
2213 {
2214 return (__mmask16) __builtin_ia32_cmpb128_mask ((__v16qi) __X,
2215 (__v16qi) __Y, 2,
2216 (__mmask16) -1);
2217 }
2218
2219 extern __inline __mmask8
2220 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2221 _mm_cmpneq_epi16_mask (__m128i __X, __m128i __Y)
2222 {
2223 return (__mmask8) __builtin_ia32_cmpw128_mask ((__v8hi) __X,
2224 (__v8hi) __Y, 4,
2225 (__mmask8) -1);
2226 }
2227
2228 extern __inline __mmask8
2229 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2230 _mm_cmplt_epi16_mask (__m128i __X, __m128i __Y)
2231 {
2232 return (__mmask8) __builtin_ia32_cmpw128_mask ((__v8hi) __X,
2233 (__v8hi) __Y, 1,
2234 (__mmask8) -1);
2235 }
2236
2237 extern __inline __mmask8
2238 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2239 _mm_cmpge_epi16_mask (__m128i __X, __m128i __Y)
2240 {
2241 return (__mmask8) __builtin_ia32_cmpw128_mask ((__v8hi) __X,
2242 (__v8hi) __Y, 5,
2243 (__mmask8) -1);
2244 }
2245
2246 extern __inline __mmask8
2247 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2248 _mm_cmple_epi16_mask (__m128i __X, __m128i __Y)
2249 {
2250 return (__mmask8) __builtin_ia32_cmpw128_mask ((__v8hi) __X,
2251 (__v8hi) __Y, 2,
2252 (__mmask8) -1);
2253 }
2254
2255 extern __inline __m256i
2256 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2257 _mm256_mask_mulhrs_epi16 (__m256i __W, __mmask16 __U, __m256i __X,
2258 __m256i __Y)
2259 {
2260 return (__m256i) __builtin_ia32_pmulhrsw256_mask ((__v16hi) __X,
2261 (__v16hi) __Y,
2262 (__v16hi) __W,
2263 (__mmask16) __U);
2264 }
2265
2266 extern __inline __m256i
2267 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2268 _mm256_maskz_mulhrs_epi16 (__mmask16 __U, __m256i __X, __m256i __Y)
2269 {
2270 return (__m256i) __builtin_ia32_pmulhrsw256_mask ((__v16hi) __X,
2271 (__v16hi) __Y,
2272 (__v16hi)
2273 _mm256_setzero_si256 (),
2274 (__mmask16) __U);
2275 }
2276
2277 extern __inline __m256i
2278 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2279 _mm256_mask_mulhi_epu16 (__m256i __W, __mmask16 __U, __m256i __A,
2280 __m256i __B)
2281 {
2282 return (__m256i) __builtin_ia32_pmulhuw256_mask ((__v16hi) __A,
2283 (__v16hi) __B,
2284 (__v16hi) __W,
2285 (__mmask16) __U);
2286 }
2287
2288 extern __inline __m256i
2289 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2290 _mm256_maskz_mulhi_epu16 (__mmask16 __U, __m256i __A, __m256i __B)
2291 {
2292 return (__m256i) __builtin_ia32_pmulhuw256_mask ((__v16hi) __A,
2293 (__v16hi) __B,
2294 (__v16hi)
2295 _mm256_setzero_si256 (),
2296 (__mmask16) __U);
2297 }
2298
2299 extern __inline __m256i
2300 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2301 _mm256_mask_mulhi_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
2302 __m256i __B)
2303 {
2304 return (__m256i) __builtin_ia32_pmulhw256_mask ((__v16hi) __A,
2305 (__v16hi) __B,
2306 (__v16hi) __W,
2307 (__mmask16) __U);
2308 }
2309
2310 extern __inline __m256i
2311 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2312 _mm256_maskz_mulhi_epi16 (__mmask16 __U, __m256i __A, __m256i __B)
2313 {
2314 return (__m256i) __builtin_ia32_pmulhw256_mask ((__v16hi) __A,
2315 (__v16hi) __B,
2316 (__v16hi)
2317 _mm256_setzero_si256 (),
2318 (__mmask16) __U);
2319 }
2320
2321 extern __inline __m128i
2322 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2323 _mm_mask_mulhi_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
2324 __m128i __B)
2325 {
2326 return (__m128i) __builtin_ia32_pmulhw128_mask ((__v8hi) __A,
2327 (__v8hi) __B,
2328 (__v8hi) __W,
2329 (__mmask8) __U);
2330 }
2331
2332 extern __inline __m128i
2333 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2334 _mm_maskz_mulhi_epi16 (__mmask8 __U, __m128i __A, __m128i __B)
2335 {
2336 return (__m128i) __builtin_ia32_pmulhw128_mask ((__v8hi) __A,
2337 (__v8hi) __B,
2338 (__v8hi)
2339 _mm_setzero_si128 (),
2340 (__mmask8) __U);
2341 }
2342
2343 extern __inline __m128i
2344 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2345 _mm_mask_mulhi_epu16 (__m128i __W, __mmask8 __U, __m128i __A,
2346 __m128i __B)
2347 {
2348 return (__m128i) __builtin_ia32_pmulhuw128_mask ((__v8hi) __A,
2349 (__v8hi) __B,
2350 (__v8hi) __W,
2351 (__mmask8) __U);
2352 }
2353
2354 extern __inline __m128i
2355 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2356 _mm_maskz_mulhi_epu16 (__mmask8 __U, __m128i __A, __m128i __B)
2357 {
2358 return (__m128i) __builtin_ia32_pmulhuw128_mask ((__v8hi) __A,
2359 (__v8hi) __B,
2360 (__v8hi)
2361 _mm_setzero_si128 (),
2362 (__mmask8) __U);
2363 }
2364
2365 extern __inline __m128i
2366 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2367 _mm_mask_mulhrs_epi16 (__m128i __W, __mmask8 __U, __m128i __X,
2368 __m128i __Y)
2369 {
2370 return (__m128i) __builtin_ia32_pmulhrsw128_mask ((__v8hi) __X,
2371 (__v8hi) __Y,
2372 (__v8hi) __W,
2373 (__mmask8) __U);
2374 }
2375
2376 extern __inline __m128i
2377 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2378 _mm_maskz_mulhrs_epi16 (__mmask8 __U, __m128i __X, __m128i __Y)
2379 {
2380 return (__m128i) __builtin_ia32_pmulhrsw128_mask ((__v8hi) __X,
2381 (__v8hi) __Y,
2382 (__v8hi)
2383 _mm_setzero_si128 (),
2384 (__mmask8) __U);
2385 }
2386
2387 extern __inline __m256i
2388 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2389 _mm256_mask_mullo_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
2390 __m256i __B)
2391 {
2392 return (__m256i) __builtin_ia32_pmullw256_mask ((__v16hi) __A,
2393 (__v16hi) __B,
2394 (__v16hi) __W,
2395 (__mmask16) __U);
2396 }
2397
2398 extern __inline __m256i
2399 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2400 _mm256_maskz_mullo_epi16 (__mmask16 __U, __m256i __A, __m256i __B)
2401 {
2402 return (__m256i) __builtin_ia32_pmullw256_mask ((__v16hi) __A,
2403 (__v16hi) __B,
2404 (__v16hi)
2405 _mm256_setzero_si256 (),
2406 (__mmask16) __U);
2407 }
2408
2409 extern __inline __m128i
2410 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2411 _mm_mask_mullo_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
2412 __m128i __B)
2413 {
2414 return (__m128i) __builtin_ia32_pmullw128_mask ((__v8hi) __A,
2415 (__v8hi) __B,
2416 (__v8hi) __W,
2417 (__mmask8) __U);
2418 }
2419
2420 extern __inline __m128i
2421 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2422 _mm_maskz_mullo_epi16 (__mmask8 __U, __m128i __A, __m128i __B)
2423 {
2424 return (__m128i) __builtin_ia32_pmullw128_mask ((__v8hi) __A,
2425 (__v8hi) __B,
2426 (__v8hi)
2427 _mm_setzero_si128 (),
2428 (__mmask8) __U);
2429 }
2430
2431 extern __inline __m256i
2432 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2433 _mm256_mask_cvtepi8_epi16 (__m256i __W, __mmask16 __U, __m128i __A)
2434 {
2435 return (__m256i) __builtin_ia32_pmovsxbw256_mask ((__v16qi) __A,
2436 (__v16hi) __W,
2437 (__mmask16) __U);
2438 }
2439
2440 extern __inline __m256i
2441 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2442 _mm256_maskz_cvtepi8_epi16 (__mmask16 __U, __m128i __A)
2443 {
2444 return (__m256i) __builtin_ia32_pmovsxbw256_mask ((__v16qi) __A,
2445 (__v16hi)
2446 _mm256_setzero_si256 (),
2447 (__mmask16) __U);
2448 }
2449
2450 extern __inline __m128i
2451 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2452 _mm_mask_cvtepi8_epi16 (__m128i __W, __mmask8 __U, __m128i __A)
2453 {
2454 return (__m128i) __builtin_ia32_pmovsxbw128_mask ((__v16qi) __A,
2455 (__v8hi) __W,
2456 (__mmask8) __U);
2457 }
2458
2459 extern __inline __m128i
2460 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2461 _mm_maskz_cvtepi8_epi16 (__mmask8 __U, __m128i __A)
2462 {
2463 return (__m128i) __builtin_ia32_pmovsxbw128_mask ((__v16qi) __A,
2464 (__v8hi)
2465 _mm_setzero_si128 (),
2466 (__mmask8) __U);
2467 }
2468
2469 extern __inline __m256i
2470 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2471 _mm256_mask_cvtepu8_epi16 (__m256i __W, __mmask16 __U, __m128i __A)
2472 {
2473 return (__m256i) __builtin_ia32_pmovzxbw256_mask ((__v16qi) __A,
2474 (__v16hi) __W,
2475 (__mmask16) __U);
2476 }
2477
2478 extern __inline __m256i
2479 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2480 _mm256_maskz_cvtepu8_epi16 (__mmask16 __U, __m128i __A)
2481 {
2482 return (__m256i) __builtin_ia32_pmovzxbw256_mask ((__v16qi) __A,
2483 (__v16hi)
2484 _mm256_setzero_si256 (),
2485 (__mmask16) __U);
2486 }
2487
2488 extern __inline __m128i
2489 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2490 _mm_mask_cvtepu8_epi16 (__m128i __W, __mmask8 __U, __m128i __A)
2491 {
2492 return (__m128i) __builtin_ia32_pmovzxbw128_mask ((__v16qi) __A,
2493 (__v8hi) __W,
2494 (__mmask8) __U);
2495 }
2496
2497 extern __inline __m128i
2498 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2499 _mm_maskz_cvtepu8_epi16 (__mmask8 __U, __m128i __A)
2500 {
2501 return (__m128i) __builtin_ia32_pmovzxbw128_mask ((__v16qi) __A,
2502 (__v8hi)
2503 _mm_setzero_si128 (),
2504 (__mmask8) __U);
2505 }
2506
2507 extern __inline __m256i
2508 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2509 _mm256_mask_avg_epu8 (__m256i __W, __mmask32 __U, __m256i __A,
2510 __m256i __B)
2511 {
2512 return (__m256i) __builtin_ia32_pavgb256_mask ((__v32qi) __A,
2513 (__v32qi) __B,
2514 (__v32qi) __W,
2515 (__mmask32) __U);
2516 }
2517
2518 extern __inline __m256i
2519 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2520 _mm256_maskz_avg_epu8 (__mmask32 __U, __m256i __A, __m256i __B)
2521 {
2522 return (__m256i) __builtin_ia32_pavgb256_mask ((__v32qi) __A,
2523 (__v32qi) __B,
2524 (__v32qi)
2525 _mm256_setzero_si256 (),
2526 (__mmask32) __U);
2527 }
2528
2529 extern __inline __m128i
2530 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2531 _mm_mask_avg_epu8 (__m128i __W, __mmask16 __U, __m128i __A,
2532 __m128i __B)
2533 {
2534 return (__m128i) __builtin_ia32_pavgb128_mask ((__v16qi) __A,
2535 (__v16qi) __B,
2536 (__v16qi) __W,
2537 (__mmask16) __U);
2538 }
2539
2540 extern __inline __m128i
2541 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2542 _mm_maskz_avg_epu8 (__mmask16 __U, __m128i __A, __m128i __B)
2543 {
2544 return (__m128i) __builtin_ia32_pavgb128_mask ((__v16qi) __A,
2545 (__v16qi) __B,
2546 (__v16qi)
2547 _mm_setzero_si128 (),
2548 (__mmask16) __U);
2549 }
2550
2551 extern __inline __m256i
2552 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2553 _mm256_mask_avg_epu16 (__m256i __W, __mmask16 __U, __m256i __A,
2554 __m256i __B)
2555 {
2556 return (__m256i) __builtin_ia32_pavgw256_mask ((__v16hi) __A,
2557 (__v16hi) __B,
2558 (__v16hi) __W,
2559 (__mmask16) __U);
2560 }
2561
2562 extern __inline __m256i
2563 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2564 _mm256_maskz_avg_epu16 (__mmask16 __U, __m256i __A, __m256i __B)
2565 {
2566 return (__m256i) __builtin_ia32_pavgw256_mask ((__v16hi) __A,
2567 (__v16hi) __B,
2568 (__v16hi)
2569 _mm256_setzero_si256 (),
2570 (__mmask16) __U);
2571 }
2572
2573 extern __inline __m128i
2574 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2575 _mm_mask_avg_epu16 (__m128i __W, __mmask8 __U, __m128i __A,
2576 __m128i __B)
2577 {
2578 return (__m128i) __builtin_ia32_pavgw128_mask ((__v8hi) __A,
2579 (__v8hi) __B,
2580 (__v8hi) __W,
2581 (__mmask8) __U);
2582 }
2583
2584 extern __inline __m128i
2585 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2586 _mm_maskz_avg_epu16 (__mmask8 __U, __m128i __A, __m128i __B)
2587 {
2588 return (__m128i) __builtin_ia32_pavgw128_mask ((__v8hi) __A,
2589 (__v8hi) __B,
2590 (__v8hi)
2591 _mm_setzero_si128 (),
2592 (__mmask8) __U);
2593 }
2594
2595 extern __inline __m256i
2596 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2597 _mm256_mask_add_epi8 (__m256i __W, __mmask32 __U, __m256i __A,
2598 __m256i __B)
2599 {
2600 return (__m256i) __builtin_ia32_paddb256_mask ((__v32qi) __A,
2601 (__v32qi) __B,
2602 (__v32qi) __W,
2603 (__mmask32) __U);
2604 }
2605
2606 extern __inline __m256i
2607 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2608 _mm256_maskz_add_epi8 (__mmask32 __U, __m256i __A, __m256i __B)
2609 {
2610 return (__m256i) __builtin_ia32_paddb256_mask ((__v32qi) __A,
2611 (__v32qi) __B,
2612 (__v32qi)
2613 _mm256_setzero_si256 (),
2614 (__mmask32) __U);
2615 }
2616
2617 extern __inline __m256i
2618 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2619 _mm256_mask_add_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
2620 __m256i __B)
2621 {
2622 return (__m256i) __builtin_ia32_paddw256_mask ((__v16hi) __A,
2623 (__v16hi) __B,
2624 (__v16hi) __W,
2625 (__mmask16) __U);
2626 }
2627
2628 extern __inline __m256i
2629 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2630 _mm256_maskz_add_epi16 (__mmask16 __U, __m256i __A, __m256i __B)
2631 {
2632 return (__m256i) __builtin_ia32_paddw256_mask ((__v16hi) __A,
2633 (__v16hi) __B,
2634 (__v16hi)
2635 _mm256_setzero_si256 (),
2636 (__mmask16) __U);
2637 }
2638
2639 extern __inline __m256i
2640 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2641 _mm256_mask_adds_epi8 (__m256i __W, __mmask32 __U, __m256i __A,
2642 __m256i __B)
2643 {
2644 return (__m256i) __builtin_ia32_paddsb256_mask ((__v32qi) __A,
2645 (__v32qi) __B,
2646 (__v32qi) __W,
2647 (__mmask32) __U);
2648 }
2649
2650 extern __inline __m256i
2651 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2652 _mm256_maskz_adds_epi8 (__mmask32 __U, __m256i __A, __m256i __B)
2653 {
2654 return (__m256i) __builtin_ia32_paddsb256_mask ((__v32qi) __A,
2655 (__v32qi) __B,
2656 (__v32qi)
2657 _mm256_setzero_si256 (),
2658 (__mmask32) __U);
2659 }
2660
2661 extern __inline __m256i
2662 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2663 _mm256_mask_adds_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
2664 __m256i __B)
2665 {
2666 return (__m256i) __builtin_ia32_paddsw256_mask ((__v16hi) __A,
2667 (__v16hi) __B,
2668 (__v16hi) __W,
2669 (__mmask16) __U);
2670 }
2671
2672 extern __inline __m256i
2673 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2674 _mm256_maskz_adds_epi16 (__mmask16 __U, __m256i __A, __m256i __B)
2675 {
2676 return (__m256i) __builtin_ia32_paddsw256_mask ((__v16hi) __A,
2677 (__v16hi) __B,
2678 (__v16hi)
2679 _mm256_setzero_si256 (),
2680 (__mmask16) __U);
2681 }
2682
2683 extern __inline __m256i
2684 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2685 _mm256_mask_adds_epu8 (__m256i __W, __mmask32 __U, __m256i __A,
2686 __m256i __B)
2687 {
2688 return (__m256i) __builtin_ia32_paddusb256_mask ((__v32qi) __A,
2689 (__v32qi) __B,
2690 (__v32qi) __W,
2691 (__mmask32) __U);
2692 }
2693
2694 extern __inline __m256i
2695 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2696 _mm256_maskz_adds_epu8 (__mmask32 __U, __m256i __A, __m256i __B)
2697 {
2698 return (__m256i) __builtin_ia32_paddusb256_mask ((__v32qi) __A,
2699 (__v32qi) __B,
2700 (__v32qi)
2701 _mm256_setzero_si256 (),
2702 (__mmask32) __U);
2703 }
2704
2705 extern __inline __m256i
2706 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2707 _mm256_mask_adds_epu16 (__m256i __W, __mmask16 __U, __m256i __A,
2708 __m256i __B)
2709 {
2710 return (__m256i) __builtin_ia32_paddusw256_mask ((__v16hi) __A,
2711 (__v16hi) __B,
2712 (__v16hi) __W,
2713 (__mmask16) __U);
2714 }
2715
2716 extern __inline __m256i
2717 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2718 _mm256_maskz_adds_epu16 (__mmask16 __U, __m256i __A, __m256i __B)
2719 {
2720 return (__m256i) __builtin_ia32_paddusw256_mask ((__v16hi) __A,
2721 (__v16hi) __B,
2722 (__v16hi)
2723 _mm256_setzero_si256 (),
2724 (__mmask16) __U);
2725 }
2726
2727 extern __inline __m256i
2728 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2729 _mm256_mask_sub_epi8 (__m256i __W, __mmask32 __U, __m256i __A,
2730 __m256i __B)
2731 {
2732 return (__m256i) __builtin_ia32_psubb256_mask ((__v32qi) __A,
2733 (__v32qi) __B,
2734 (__v32qi) __W,
2735 (__mmask32) __U);
2736 }
2737
2738 extern __inline __m256i
2739 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2740 _mm256_maskz_sub_epi8 (__mmask32 __U, __m256i __A, __m256i __B)
2741 {
2742 return (__m256i) __builtin_ia32_psubb256_mask ((__v32qi) __A,
2743 (__v32qi) __B,
2744 (__v32qi)
2745 _mm256_setzero_si256 (),
2746 (__mmask32) __U);
2747 }
2748
2749 extern __inline __m256i
2750 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2751 _mm256_mask_sub_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
2752 __m256i __B)
2753 {
2754 return (__m256i) __builtin_ia32_psubw256_mask ((__v16hi) __A,
2755 (__v16hi) __B,
2756 (__v16hi) __W,
2757 (__mmask16) __U);
2758 }
2759
2760 extern __inline __m256i
2761 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2762 _mm256_maskz_sub_epi16 (__mmask16 __U, __m256i __A, __m256i __B)
2763 {
2764 return (__m256i) __builtin_ia32_psubw256_mask ((__v16hi) __A,
2765 (__v16hi) __B,
2766 (__v16hi)
2767 _mm256_setzero_si256 (),
2768 (__mmask16) __U);
2769 }
2770
2771 extern __inline __m256i
2772 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2773 _mm256_mask_subs_epi8 (__m256i __W, __mmask32 __U, __m256i __A,
2774 __m256i __B)
2775 {
2776 return (__m256i) __builtin_ia32_psubsb256_mask ((__v32qi) __A,
2777 (__v32qi) __B,
2778 (__v32qi) __W,
2779 (__mmask32) __U);
2780 }
2781
2782 extern __inline __m256i
2783 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2784 _mm256_maskz_subs_epi8 (__mmask32 __U, __m256i __A, __m256i __B)
2785 {
2786 return (__m256i) __builtin_ia32_psubsb256_mask ((__v32qi) __A,
2787 (__v32qi) __B,
2788 (__v32qi)
2789 _mm256_setzero_si256 (),
2790 (__mmask32) __U);
2791 }
2792
2793 extern __inline __m256i
2794 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2795 _mm256_mask_subs_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
2796 __m256i __B)
2797 {
2798 return (__m256i) __builtin_ia32_psubsw256_mask ((__v16hi) __A,
2799 (__v16hi) __B,
2800 (__v16hi) __W,
2801 (__mmask16) __U);
2802 }
2803
2804 extern __inline __m256i
2805 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2806 _mm256_maskz_subs_epi16 (__mmask16 __U, __m256i __A, __m256i __B)
2807 {
2808 return (__m256i) __builtin_ia32_psubsw256_mask ((__v16hi) __A,
2809 (__v16hi) __B,
2810 (__v16hi)
2811 _mm256_setzero_si256 (),
2812 (__mmask16) __U);
2813 }
2814
2815 extern __inline __m256i
2816 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2817 _mm256_mask_subs_epu8 (__m256i __W, __mmask32 __U, __m256i __A,
2818 __m256i __B)
2819 {
2820 return (__m256i) __builtin_ia32_psubusb256_mask ((__v32qi) __A,
2821 (__v32qi) __B,
2822 (__v32qi) __W,
2823 (__mmask32) __U);
2824 }
2825
2826 extern __inline __m256i
2827 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2828 _mm256_maskz_subs_epu8 (__mmask32 __U, __m256i __A, __m256i __B)
2829 {
2830 return (__m256i) __builtin_ia32_psubusb256_mask ((__v32qi) __A,
2831 (__v32qi) __B,
2832 (__v32qi)
2833 _mm256_setzero_si256 (),
2834 (__mmask32) __U);
2835 }
2836
2837 extern __inline __m256i
2838 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2839 _mm256_mask_subs_epu16 (__m256i __W, __mmask16 __U, __m256i __A,
2840 __m256i __B)
2841 {
2842 return (__m256i) __builtin_ia32_psubusw256_mask ((__v16hi) __A,
2843 (__v16hi) __B,
2844 (__v16hi) __W,
2845 (__mmask16) __U);
2846 }
2847
2848 extern __inline __m256i
2849 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2850 _mm256_maskz_subs_epu16 (__mmask16 __U, __m256i __A, __m256i __B)
2851 {
2852 return (__m256i) __builtin_ia32_psubusw256_mask ((__v16hi) __A,
2853 (__v16hi) __B,
2854 (__v16hi)
2855 _mm256_setzero_si256 (),
2856 (__mmask16) __U);
2857 }
2858
2859 extern __inline __m128i
2860 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2861 _mm_mask_add_epi8 (__m128i __W, __mmask16 __U, __m128i __A,
2862 __m128i __B)
2863 {
2864 return (__m128i) __builtin_ia32_paddb128_mask ((__v16qi) __A,
2865 (__v16qi) __B,
2866 (__v16qi) __W,
2867 (__mmask16) __U);
2868 }
2869
2870 extern __inline __m128i
2871 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2872 _mm_maskz_add_epi8 (__mmask16 __U, __m128i __A, __m128i __B)
2873 {
2874 return (__m128i) __builtin_ia32_paddb128_mask ((__v16qi) __A,
2875 (__v16qi) __B,
2876 (__v16qi)
2877 _mm_setzero_si128 (),
2878 (__mmask16) __U);
2879 }
2880
2881 extern __inline __m128i
2882 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2883 _mm_mask_add_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
2884 __m128i __B)
2885 {
2886 return (__m128i) __builtin_ia32_paddw128_mask ((__v8hi) __A,
2887 (__v8hi) __B,
2888 (__v8hi) __W,
2889 (__mmask8) __U);
2890 }
2891
2892 extern __inline __m128i
2893 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2894 _mm_maskz_add_epi16 (__mmask8 __U, __m128i __A, __m128i __B)
2895 {
2896 return (__m128i) __builtin_ia32_paddw128_mask ((__v8hi) __A,
2897 (__v8hi) __B,
2898 (__v8hi)
2899 _mm_setzero_si128 (),
2900 (__mmask8) __U);
2901 }
2902
2903 extern __inline __m256i
2904 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2905 _mm256_mask_unpackhi_epi8 (__m256i __W, __mmask32 __U, __m256i __A,
2906 __m256i __B)
2907 {
2908 return (__m256i) __builtin_ia32_punpckhbw256_mask ((__v32qi) __A,
2909 (__v32qi) __B,
2910 (__v32qi) __W,
2911 (__mmask32) __U);
2912 }
2913
2914 extern __inline __m256i
2915 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2916 _mm256_maskz_unpackhi_epi8 (__mmask32 __U, __m256i __A, __m256i __B)
2917 {
2918 return (__m256i) __builtin_ia32_punpckhbw256_mask ((__v32qi) __A,
2919 (__v32qi) __B,
2920 (__v32qi)
2921 _mm256_setzero_si256 (),
2922 (__mmask32) __U);
2923 }
2924
2925 extern __inline __m128i
2926 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2927 _mm_mask_unpackhi_epi8 (__m128i __W, __mmask16 __U, __m128i __A,
2928 __m128i __B)
2929 {
2930 return (__m128i) __builtin_ia32_punpckhbw128_mask ((__v16qi) __A,
2931 (__v16qi) __B,
2932 (__v16qi) __W,
2933 (__mmask16) __U);
2934 }
2935
2936 extern __inline __m128i
2937 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2938 _mm_maskz_unpackhi_epi8 (__mmask16 __U, __m128i __A, __m128i __B)
2939 {
2940 return (__m128i) __builtin_ia32_punpckhbw128_mask ((__v16qi) __A,
2941 (__v16qi) __B,
2942 (__v16qi)
2943 _mm_setzero_si128 (),
2944 (__mmask16) __U);
2945 }
2946
2947 extern __inline __m256i
2948 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2949 _mm256_mask_unpackhi_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
2950 __m256i __B)
2951 {
2952 return (__m256i) __builtin_ia32_punpckhwd256_mask ((__v16hi) __A,
2953 (__v16hi) __B,
2954 (__v16hi) __W,
2955 (__mmask16) __U);
2956 }
2957
2958 extern __inline __m256i
2959 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2960 _mm256_maskz_unpackhi_epi16 (__mmask16 __U, __m256i __A, __m256i __B)
2961 {
2962 return (__m256i) __builtin_ia32_punpckhwd256_mask ((__v16hi) __A,
2963 (__v16hi) __B,
2964 (__v16hi)
2965 _mm256_setzero_si256 (),
2966 (__mmask16) __U);
2967 }
2968
2969 extern __inline __m128i
2970 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2971 _mm_mask_unpackhi_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
2972 __m128i __B)
2973 {
2974 return (__m128i) __builtin_ia32_punpckhwd128_mask ((__v8hi) __A,
2975 (__v8hi) __B,
2976 (__v8hi) __W,
2977 (__mmask8) __U);
2978 }
2979
2980 extern __inline __m128i
2981 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2982 _mm_maskz_unpackhi_epi16 (__mmask8 __U, __m128i __A, __m128i __B)
2983 {
2984 return (__m128i) __builtin_ia32_punpckhwd128_mask ((__v8hi) __A,
2985 (__v8hi) __B,
2986 (__v8hi)
2987 _mm_setzero_si128 (),
2988 (__mmask8) __U);
2989 }
2990
2991 extern __inline __m256i
2992 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
2993 _mm256_mask_unpacklo_epi8 (__m256i __W, __mmask32 __U, __m256i __A,
2994 __m256i __B)
2995 {
2996 return (__m256i) __builtin_ia32_punpcklbw256_mask ((__v32qi) __A,
2997 (__v32qi) __B,
2998 (__v32qi) __W,
2999 (__mmask32) __U);
3000 }
3001
3002 extern __inline __m256i
3003 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3004 _mm256_maskz_unpacklo_epi8 (__mmask32 __U, __m256i __A, __m256i __B)
3005 {
3006 return (__m256i) __builtin_ia32_punpcklbw256_mask ((__v32qi) __A,
3007 (__v32qi) __B,
3008 (__v32qi)
3009 _mm256_setzero_si256 (),
3010 (__mmask32) __U);
3011 }
3012
3013 extern __inline __m128i
3014 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3015 _mm_mask_unpacklo_epi8 (__m128i __W, __mmask16 __U, __m128i __A,
3016 __m128i __B)
3017 {
3018 return (__m128i) __builtin_ia32_punpcklbw128_mask ((__v16qi) __A,
3019 (__v16qi) __B,
3020 (__v16qi) __W,
3021 (__mmask16) __U);
3022 }
3023
3024 extern __inline __m128i
3025 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3026 _mm_maskz_unpacklo_epi8 (__mmask16 __U, __m128i __A, __m128i __B)
3027 {
3028 return (__m128i) __builtin_ia32_punpcklbw128_mask ((__v16qi) __A,
3029 (__v16qi) __B,
3030 (__v16qi)
3031 _mm_setzero_si128 (),
3032 (__mmask16) __U);
3033 }
3034
3035 extern __inline __m256i
3036 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3037 _mm256_mask_unpacklo_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
3038 __m256i __B)
3039 {
3040 return (__m256i) __builtin_ia32_punpcklwd256_mask ((__v16hi) __A,
3041 (__v16hi) __B,
3042 (__v16hi) __W,
3043 (__mmask16) __U);
3044 }
3045
3046 extern __inline __m256i
3047 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3048 _mm256_maskz_unpacklo_epi16 (__mmask16 __U, __m256i __A, __m256i __B)
3049 {
3050 return (__m256i) __builtin_ia32_punpcklwd256_mask ((__v16hi) __A,
3051 (__v16hi) __B,
3052 (__v16hi)
3053 _mm256_setzero_si256 (),
3054 (__mmask16) __U);
3055 }
3056
3057 extern __inline __m128i
3058 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3059 _mm_mask_unpacklo_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
3060 __m128i __B)
3061 {
3062 return (__m128i) __builtin_ia32_punpcklwd128_mask ((__v8hi) __A,
3063 (__v8hi) __B,
3064 (__v8hi) __W,
3065 (__mmask8) __U);
3066 }
3067
3068 extern __inline __m128i
3069 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3070 _mm_maskz_unpacklo_epi16 (__mmask8 __U, __m128i __A, __m128i __B)
3071 {
3072 return (__m128i) __builtin_ia32_punpcklwd128_mask ((__v8hi) __A,
3073 (__v8hi) __B,
3074 (__v8hi)
3075 _mm_setzero_si128 (),
3076 (__mmask8) __U);
3077 }
3078
3079 extern __inline __mmask16
3080 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3081 _mm_cmpeq_epi8_mask (__m128i __A, __m128i __B)
3082 {
3083 return (__mmask16) __builtin_ia32_pcmpeqb128_mask ((__v16qi) __A,
3084 (__v16qi) __B,
3085 (__mmask16) -1);
3086 }
3087
3088 extern __inline __mmask16
3089 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3090 _mm_cmpeq_epu8_mask (__m128i __A, __m128i __B)
3091 {
3092 return (__mmask16) __builtin_ia32_ucmpb128_mask ((__v16qi) __A,
3093 (__v16qi) __B, 0,
3094 (__mmask16) -1);
3095 }
3096
3097 extern __inline __mmask16
3098 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3099 _mm_mask_cmpeq_epu8_mask (__mmask16 __U, __m128i __A, __m128i __B)
3100 {
3101 return (__mmask16) __builtin_ia32_ucmpb128_mask ((__v16qi) __A,
3102 (__v16qi) __B, 0,
3103 __U);
3104 }
3105
3106 extern __inline __mmask16
3107 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3108 _mm_mask_cmpeq_epi8_mask (__mmask16 __U, __m128i __A, __m128i __B)
3109 {
3110 return (__mmask16) __builtin_ia32_pcmpeqb128_mask ((__v16qi) __A,
3111 (__v16qi) __B,
3112 __U);
3113 }
3114
3115 extern __inline __mmask32
3116 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3117 _mm256_cmpeq_epu8_mask (__m256i __A, __m256i __B)
3118 {
3119 return (__mmask32) __builtin_ia32_ucmpb256_mask ((__v32qi) __A,
3120 (__v32qi) __B, 0,
3121 (__mmask32) -1);
3122 }
3123
3124 extern __inline __mmask32
3125 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3126 _mm256_cmpeq_epi8_mask (__m256i __A, __m256i __B)
3127 {
3128 return (__mmask32) __builtin_ia32_pcmpeqb256_mask ((__v32qi) __A,
3129 (__v32qi) __B,
3130 (__mmask32) -1);
3131 }
3132
3133 extern __inline __mmask32
3134 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3135 _mm256_mask_cmpeq_epu8_mask (__mmask32 __U, __m256i __A, __m256i __B)
3136 {
3137 return (__mmask32) __builtin_ia32_ucmpb256_mask ((__v32qi) __A,
3138 (__v32qi) __B, 0,
3139 __U);
3140 }
3141
3142 extern __inline __mmask32
3143 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3144 _mm256_mask_cmpeq_epi8_mask (__mmask32 __U, __m256i __A, __m256i __B)
3145 {
3146 return (__mmask32) __builtin_ia32_pcmpeqb256_mask ((__v32qi) __A,
3147 (__v32qi) __B,
3148 __U);
3149 }
3150
3151 extern __inline __mmask8
3152 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3153 _mm_cmpeq_epu16_mask (__m128i __A, __m128i __B)
3154 {
3155 return (__mmask8) __builtin_ia32_ucmpw128_mask ((__v8hi) __A,
3156 (__v8hi) __B, 0,
3157 (__mmask8) -1);
3158 }
3159
3160 extern __inline __mmask8
3161 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3162 _mm_cmpeq_epi16_mask (__m128i __A, __m128i __B)
3163 {
3164 return (__mmask8) __builtin_ia32_pcmpeqw128_mask ((__v8hi) __A,
3165 (__v8hi) __B,
3166 (__mmask8) -1);
3167 }
3168
3169 extern __inline __mmask8
3170 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3171 _mm_mask_cmpeq_epu16_mask (__mmask8 __U, __m128i __A, __m128i __B)
3172 {
3173 return (__mmask8) __builtin_ia32_ucmpw128_mask ((__v8hi) __A,
3174 (__v8hi) __B, 0, __U);
3175 }
3176
3177 extern __inline __mmask8
3178 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3179 _mm_mask_cmpeq_epi16_mask (__mmask8 __U, __m128i __A, __m128i __B)
3180 {
3181 return (__mmask8) __builtin_ia32_pcmpeqw128_mask ((__v8hi) __A,
3182 (__v8hi) __B, __U);
3183 }
3184
3185 extern __inline __mmask16
3186 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3187 _mm256_cmpeq_epu16_mask (__m256i __A, __m256i __B)
3188 {
3189 return (__mmask16) __builtin_ia32_ucmpw256_mask ((__v16hi) __A,
3190 (__v16hi) __B, 0,
3191 (__mmask16) -1);
3192 }
3193
3194 extern __inline __mmask16
3195 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3196 _mm256_cmpeq_epi16_mask (__m256i __A, __m256i __B)
3197 {
3198 return (__mmask16) __builtin_ia32_pcmpeqw256_mask ((__v16hi) __A,
3199 (__v16hi) __B,
3200 (__mmask16) -1);
3201 }
3202
3203 extern __inline __mmask16
3204 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3205 _mm256_mask_cmpeq_epu16_mask (__mmask16 __U, __m256i __A, __m256i __B)
3206 {
3207 return (__mmask16) __builtin_ia32_ucmpw256_mask ((__v16hi) __A,
3208 (__v16hi) __B, 0,
3209 __U);
3210 }
3211
3212 extern __inline __mmask16
3213 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3214 _mm256_mask_cmpeq_epi16_mask (__mmask16 __U, __m256i __A, __m256i __B)
3215 {
3216 return (__mmask16) __builtin_ia32_pcmpeqw256_mask ((__v16hi) __A,
3217 (__v16hi) __B,
3218 __U);
3219 }
3220
3221 extern __inline __mmask16
3222 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3223 _mm_cmpgt_epu8_mask (__m128i __A, __m128i __B)
3224 {
3225 return (__mmask16) __builtin_ia32_ucmpb128_mask ((__v16qi) __A,
3226 (__v16qi) __B, 6,
3227 (__mmask16) -1);
3228 }
3229
3230 extern __inline __mmask16
3231 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3232 _mm_cmpgt_epi8_mask (__m128i __A, __m128i __B)
3233 {
3234 return (__mmask16) __builtin_ia32_pcmpgtb128_mask ((__v16qi) __A,
3235 (__v16qi) __B,
3236 (__mmask16) -1);
3237 }
3238
3239 extern __inline __mmask16
3240 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3241 _mm_mask_cmpgt_epu8_mask (__mmask16 __U, __m128i __A, __m128i __B)
3242 {
3243 return (__mmask16) __builtin_ia32_ucmpb128_mask ((__v16qi) __A,
3244 (__v16qi) __B, 6,
3245 __U);
3246 }
3247
3248 extern __inline __mmask16
3249 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3250 _mm_mask_cmpgt_epi8_mask (__mmask16 __U, __m128i __A, __m128i __B)
3251 {
3252 return (__mmask16) __builtin_ia32_pcmpgtb128_mask ((__v16qi) __A,
3253 (__v16qi) __B,
3254 __U);
3255 }
3256
3257 extern __inline __mmask32
3258 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3259 _mm256_cmpgt_epu8_mask (__m256i __A, __m256i __B)
3260 {
3261 return (__mmask32) __builtin_ia32_ucmpb256_mask ((__v32qi) __A,
3262 (__v32qi) __B, 6,
3263 (__mmask32) -1);
3264 }
3265
3266 extern __inline __mmask32
3267 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3268 _mm256_cmpgt_epi8_mask (__m256i __A, __m256i __B)
3269 {
3270 return (__mmask32) __builtin_ia32_pcmpgtb256_mask ((__v32qi) __A,
3271 (__v32qi) __B,
3272 (__mmask32) -1);
3273 }
3274
3275 extern __inline __mmask32
3276 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3277 _mm256_mask_cmpgt_epu8_mask (__mmask32 __U, __m256i __A, __m256i __B)
3278 {
3279 return (__mmask32) __builtin_ia32_ucmpb256_mask ((__v32qi) __A,
3280 (__v32qi) __B, 6,
3281 __U);
3282 }
3283
3284 extern __inline __mmask32
3285 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3286 _mm256_mask_cmpgt_epi8_mask (__mmask32 __U, __m256i __A, __m256i __B)
3287 {
3288 return (__mmask32) __builtin_ia32_pcmpgtb256_mask ((__v32qi) __A,
3289 (__v32qi) __B,
3290 __U);
3291 }
3292
3293 extern __inline __mmask8
3294 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3295 _mm_cmpgt_epu16_mask (__m128i __A, __m128i __B)
3296 {
3297 return (__mmask8) __builtin_ia32_ucmpw128_mask ((__v8hi) __A,
3298 (__v8hi) __B, 6,
3299 (__mmask8) -1);
3300 }
3301
3302 extern __inline __mmask8
3303 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3304 _mm_cmpgt_epi16_mask (__m128i __A, __m128i __B)
3305 {
3306 return (__mmask8) __builtin_ia32_pcmpgtw128_mask ((__v8hi) __A,
3307 (__v8hi) __B,
3308 (__mmask8) -1);
3309 }
3310
3311 extern __inline __mmask8
3312 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3313 _mm_mask_cmpgt_epu16_mask (__mmask8 __U, __m128i __A, __m128i __B)
3314 {
3315 return (__mmask8) __builtin_ia32_ucmpw128_mask ((__v8hi) __A,
3316 (__v8hi) __B, 6, __U);
3317 }
3318
3319 extern __inline __mmask8
3320 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3321 _mm_mask_cmpgt_epi16_mask (__mmask8 __U, __m128i __A, __m128i __B)
3322 {
3323 return (__mmask8) __builtin_ia32_pcmpgtw128_mask ((__v8hi) __A,
3324 (__v8hi) __B, __U);
3325 }
3326
3327 extern __inline __mmask16
3328 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3329 _mm256_cmpgt_epu16_mask (__m256i __A, __m256i __B)
3330 {
3331 return (__mmask16) __builtin_ia32_ucmpw256_mask ((__v16hi) __A,
3332 (__v16hi) __B, 6,
3333 (__mmask16) -1);
3334 }
3335
3336 extern __inline __mmask16
3337 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3338 _mm256_cmpgt_epi16_mask (__m256i __A, __m256i __B)
3339 {
3340 return (__mmask16) __builtin_ia32_pcmpgtw256_mask ((__v16hi) __A,
3341 (__v16hi) __B,
3342 (__mmask16) -1);
3343 }
3344
3345 extern __inline __mmask16
3346 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3347 _mm256_mask_cmpgt_epu16_mask (__mmask16 __U, __m256i __A, __m256i __B)
3348 {
3349 return (__mmask16) __builtin_ia32_ucmpw256_mask ((__v16hi) __A,
3350 (__v16hi) __B, 6,
3351 __U);
3352 }
3353
3354 extern __inline __mmask16
3355 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3356 _mm256_mask_cmpgt_epi16_mask (__mmask16 __U, __m256i __A, __m256i __B)
3357 {
3358 return (__mmask16) __builtin_ia32_pcmpgtw256_mask ((__v16hi) __A,
3359 (__v16hi) __B,
3360 __U);
3361 }
3362
3363 extern __inline __mmask16
3364 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3365 _mm_testn_epi8_mask (__m128i __A, __m128i __B)
3366 {
3367 return (__mmask16) __builtin_ia32_ptestnmb128 ((__v16qi) __A,
3368 (__v16qi) __B,
3369 (__mmask16) -1);
3370 }
3371
3372 extern __inline __mmask16
3373 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3374 _mm_mask_testn_epi8_mask (__mmask16 __U, __m128i __A, __m128i __B)
3375 {
3376 return (__mmask16) __builtin_ia32_ptestnmb128 ((__v16qi) __A,
3377 (__v16qi) __B, __U);
3378 }
3379
3380 extern __inline __mmask32
3381 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3382 _mm256_testn_epi8_mask (__m256i __A, __m256i __B)
3383 {
3384 return (__mmask32) __builtin_ia32_ptestnmb256 ((__v32qi) __A,
3385 (__v32qi) __B,
3386 (__mmask32) -1);
3387 }
3388
3389 extern __inline __mmask32
3390 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3391 _mm256_mask_testn_epi8_mask (__mmask32 __U, __m256i __A, __m256i __B)
3392 {
3393 return (__mmask32) __builtin_ia32_ptestnmb256 ((__v32qi) __A,
3394 (__v32qi) __B, __U);
3395 }
3396
3397 extern __inline __mmask8
3398 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3399 _mm_testn_epi16_mask (__m128i __A, __m128i __B)
3400 {
3401 return (__mmask8) __builtin_ia32_ptestnmw128 ((__v8hi) __A,
3402 (__v8hi) __B,
3403 (__mmask8) -1);
3404 }
3405
3406 extern __inline __mmask8
3407 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3408 _mm_mask_testn_epi16_mask (__mmask8 __U, __m128i __A, __m128i __B)
3409 {
3410 return (__mmask8) __builtin_ia32_ptestnmw128 ((__v8hi) __A,
3411 (__v8hi) __B, __U);
3412 }
3413
3414 extern __inline __mmask16
3415 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3416 _mm256_testn_epi16_mask (__m256i __A, __m256i __B)
3417 {
3418 return (__mmask16) __builtin_ia32_ptestnmw256 ((__v16hi) __A,
3419 (__v16hi) __B,
3420 (__mmask16) -1);
3421 }
3422
3423 extern __inline __mmask16
3424 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3425 _mm256_mask_testn_epi16_mask (__mmask16 __U, __m256i __A, __m256i __B)
3426 {
3427 return (__mmask16) __builtin_ia32_ptestnmw256 ((__v16hi) __A,
3428 (__v16hi) __B, __U);
3429 }
3430
3431 extern __inline __m256i
3432 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3433 _mm256_mask_shuffle_epi8 (__m256i __W, __mmask32 __U, __m256i __A,
3434 __m256i __B)
3435 {
3436 return (__m256i) __builtin_ia32_pshufb256_mask ((__v32qi) __A,
3437 (__v32qi) __B,
3438 (__v32qi) __W,
3439 (__mmask32) __U);
3440 }
3441
3442 extern __inline __m256i
3443 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3444 _mm256_maskz_shuffle_epi8 (__mmask32 __U, __m256i __A, __m256i __B)
3445 {
3446 return (__m256i) __builtin_ia32_pshufb256_mask ((__v32qi) __A,
3447 (__v32qi) __B,
3448 (__v32qi)
3449 _mm256_setzero_si256 (),
3450 (__mmask32) __U);
3451 }
3452
3453 extern __inline __m128i
3454 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3455 _mm_mask_shuffle_epi8 (__m128i __W, __mmask16 __U, __m128i __A,
3456 __m128i __B)
3457 {
3458 return (__m128i) __builtin_ia32_pshufb128_mask ((__v16qi) __A,
3459 (__v16qi) __B,
3460 (__v16qi) __W,
3461 (__mmask16) __U);
3462 }
3463
3464 extern __inline __m128i
3465 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3466 _mm_maskz_shuffle_epi8 (__mmask16 __U, __m128i __A, __m128i __B)
3467 {
3468 return (__m128i) __builtin_ia32_pshufb128_mask ((__v16qi) __A,
3469 (__v16qi) __B,
3470 (__v16qi)
3471 _mm_setzero_si128 (),
3472 (__mmask16) __U);
3473 }
3474
3475 extern __inline __m256i
3476 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3477 _mm256_maskz_packs_epi16 (__mmask32 __M, __m256i __A, __m256i __B)
3478 {
3479 return (__m256i) __builtin_ia32_packsswb256_mask ((__v16hi) __A,
3480 (__v16hi) __B,
3481 (__v32qi)
3482 _mm256_setzero_si256 (),
3483 __M);
3484 }
3485
3486 extern __inline __m256i
3487 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3488 _mm256_mask_packs_epi16 (__m256i __W, __mmask32 __M, __m256i __A,
3489 __m256i __B)
3490 {
3491 return (__m256i) __builtin_ia32_packsswb256_mask ((__v16hi) __A,
3492 (__v16hi) __B,
3493 (__v32qi) __W,
3494 __M);
3495 }
3496
3497 extern __inline __m128i
3498 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3499 _mm_maskz_packs_epi16 (__mmask16 __M, __m128i __A, __m128i __B)
3500 {
3501 return (__m128i) __builtin_ia32_packsswb128_mask ((__v8hi) __A,
3502 (__v8hi) __B,
3503 (__v16qi)
3504 _mm_setzero_si128 (),
3505 __M);
3506 }
3507
3508 extern __inline __m128i
3509 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3510 _mm_mask_packs_epi16 (__m128i __W, __mmask16 __M, __m128i __A,
3511 __m128i __B)
3512 {
3513 return (__m128i) __builtin_ia32_packsswb128_mask ((__v8hi) __A,
3514 (__v8hi) __B,
3515 (__v16qi) __W,
3516 __M);
3517 }
3518
3519 extern __inline __m256i
3520 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3521 _mm256_maskz_packus_epi16 (__mmask32 __M, __m256i __A, __m256i __B)
3522 {
3523 return (__m256i) __builtin_ia32_packuswb256_mask ((__v16hi) __A,
3524 (__v16hi) __B,
3525 (__v32qi)
3526 _mm256_setzero_si256 (),
3527 __M);
3528 }
3529
3530 extern __inline __m256i
3531 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3532 _mm256_mask_packus_epi16 (__m256i __W, __mmask32 __M, __m256i __A,
3533 __m256i __B)
3534 {
3535 return (__m256i) __builtin_ia32_packuswb256_mask ((__v16hi) __A,
3536 (__v16hi) __B,
3537 (__v32qi) __W,
3538 __M);
3539 }
3540
3541 extern __inline __m128i
3542 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3543 _mm_maskz_packus_epi16 (__mmask16 __M, __m128i __A, __m128i __B)
3544 {
3545 return (__m128i) __builtin_ia32_packuswb128_mask ((__v8hi) __A,
3546 (__v8hi) __B,
3547 (__v16qi)
3548 _mm_setzero_si128 (),
3549 __M);
3550 }
3551
3552 extern __inline __m128i
3553 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3554 _mm_mask_packus_epi16 (__m128i __W, __mmask16 __M, __m128i __A,
3555 __m128i __B)
3556 {
3557 return (__m128i) __builtin_ia32_packuswb128_mask ((__v8hi) __A,
3558 (__v8hi) __B,
3559 (__v16qi) __W,
3560 __M);
3561 }
3562
3563 extern __inline __m256i
3564 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3565 _mm256_mask_abs_epi8 (__m256i __W, __mmask32 __U, __m256i __A)
3566 {
3567 return (__m256i) __builtin_ia32_pabsb256_mask ((__v32qi) __A,
3568 (__v32qi) __W,
3569 (__mmask32) __U);
3570 }
3571
3572 extern __inline __m256i
3573 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3574 _mm256_maskz_abs_epi8 (__mmask32 __U, __m256i __A)
3575 {
3576 return (__m256i) __builtin_ia32_pabsb256_mask ((__v32qi) __A,
3577 (__v32qi)
3578 _mm256_setzero_si256 (),
3579 (__mmask32) __U);
3580 }
3581
3582 extern __inline __m128i
3583 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3584 _mm_mask_abs_epi8 (__m128i __W, __mmask16 __U, __m128i __A)
3585 {
3586 return (__m128i) __builtin_ia32_pabsb128_mask ((__v16qi) __A,
3587 (__v16qi) __W,
3588 (__mmask16) __U);
3589 }
3590
3591 extern __inline __m128i
3592 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3593 _mm_maskz_abs_epi8 (__mmask16 __U, __m128i __A)
3594 {
3595 return (__m128i) __builtin_ia32_pabsb128_mask ((__v16qi) __A,
3596 (__v16qi)
3597 _mm_setzero_si128 (),
3598 (__mmask16) __U);
3599 }
3600
3601 extern __inline __m256i
3602 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3603 _mm256_mask_abs_epi16 (__m256i __W, __mmask16 __U, __m256i __A)
3604 {
3605 return (__m256i) __builtin_ia32_pabsw256_mask ((__v16hi) __A,
3606 (__v16hi) __W,
3607 (__mmask16) __U);
3608 }
3609
3610 extern __inline __m256i
3611 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3612 _mm256_maskz_abs_epi16 (__mmask16 __U, __m256i __A)
3613 {
3614 return (__m256i) __builtin_ia32_pabsw256_mask ((__v16hi) __A,
3615 (__v16hi)
3616 _mm256_setzero_si256 (),
3617 (__mmask16) __U);
3618 }
3619
3620 extern __inline __m128i
3621 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3622 _mm_mask_abs_epi16 (__m128i __W, __mmask8 __U, __m128i __A)
3623 {
3624 return (__m128i) __builtin_ia32_pabsw128_mask ((__v8hi) __A,
3625 (__v8hi) __W,
3626 (__mmask8) __U);
3627 }
3628
3629 extern __inline __m128i
3630 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3631 _mm_maskz_abs_epi16 (__mmask8 __U, __m128i __A)
3632 {
3633 return (__m128i) __builtin_ia32_pabsw128_mask ((__v8hi) __A,
3634 (__v8hi)
3635 _mm_setzero_si128 (),
3636 (__mmask8) __U);
3637 }
3638
3639 extern __inline __mmask32
3640 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3641 _mm256_cmpneq_epu8_mask (__m256i __X, __m256i __Y)
3642 {
3643 return (__mmask32) __builtin_ia32_ucmpb256_mask ((__v32qi) __X,
3644 (__v32qi) __Y, 4,
3645 (__mmask32) -1);
3646 }
3647
3648 extern __inline __mmask32
3649 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3650 _mm256_cmplt_epu8_mask (__m256i __X, __m256i __Y)
3651 {
3652 return (__mmask32) __builtin_ia32_ucmpb256_mask ((__v32qi) __X,
3653 (__v32qi) __Y, 1,
3654 (__mmask32) -1);
3655 }
3656
3657 extern __inline __mmask32
3658 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3659 _mm256_cmpge_epu8_mask (__m256i __X, __m256i __Y)
3660 {
3661 return (__mmask32) __builtin_ia32_ucmpb256_mask ((__v32qi) __X,
3662 (__v32qi) __Y, 5,
3663 (__mmask32) -1);
3664 }
3665
3666 extern __inline __mmask32
3667 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3668 _mm256_cmple_epu8_mask (__m256i __X, __m256i __Y)
3669 {
3670 return (__mmask32) __builtin_ia32_ucmpb256_mask ((__v32qi) __X,
3671 (__v32qi) __Y, 2,
3672 (__mmask32) -1);
3673 }
3674
3675 extern __inline __mmask16
3676 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3677 _mm256_cmpneq_epu16_mask (__m256i __X, __m256i __Y)
3678 {
3679 return (__mmask16) __builtin_ia32_ucmpw256_mask ((__v16hi) __X,
3680 (__v16hi) __Y, 4,
3681 (__mmask16) -1);
3682 }
3683
3684 extern __inline __mmask16
3685 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3686 _mm256_cmplt_epu16_mask (__m256i __X, __m256i __Y)
3687 {
3688 return (__mmask16) __builtin_ia32_ucmpw256_mask ((__v16hi) __X,
3689 (__v16hi) __Y, 1,
3690 (__mmask16) -1);
3691 }
3692
3693 extern __inline __mmask16
3694 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3695 _mm256_cmpge_epu16_mask (__m256i __X, __m256i __Y)
3696 {
3697 return (__mmask16) __builtin_ia32_ucmpw256_mask ((__v16hi) __X,
3698 (__v16hi) __Y, 5,
3699 (__mmask16) -1);
3700 }
3701
3702 extern __inline __mmask16
3703 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3704 _mm256_cmple_epu16_mask (__m256i __X, __m256i __Y)
3705 {
3706 return (__mmask16) __builtin_ia32_ucmpw256_mask ((__v16hi) __X,
3707 (__v16hi) __Y, 2,
3708 (__mmask16) -1);
3709 }
3710
3711 extern __inline void
3712 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3713 _mm256_mask_storeu_epi16 (void *__P, __mmask16 __U, __m256i __A)
3714 {
3715 __builtin_ia32_storedquhi256_mask ((short *) __P,
3716 (__v16hi) __A,
3717 (__mmask16) __U);
3718 }
3719
3720 extern __inline void
3721 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3722 _mm_mask_storeu_epi16 (void *__P, __mmask8 __U, __m128i __A)
3723 {
3724 __builtin_ia32_storedquhi128_mask ((short *) __P,
3725 (__v8hi) __A,
3726 (__mmask8) __U);
3727 }
3728
3729 extern __inline __m128i
3730 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3731 _mm_mask_adds_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
3732 __m128i __B)
3733 {
3734 return (__m128i) __builtin_ia32_paddsw128_mask ((__v8hi) __A,
3735 (__v8hi) __B,
3736 (__v8hi) __W,
3737 (__mmask8) __U);
3738 }
3739
3740 extern __inline __m128i
3741 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3742 _mm_mask_subs_epi8 (__m128i __W, __mmask16 __U, __m128i __A,
3743 __m128i __B)
3744 {
3745 return (__m128i) __builtin_ia32_psubsb128_mask ((__v16qi) __A,
3746 (__v16qi) __B,
3747 (__v16qi) __W,
3748 (__mmask16) __U);
3749 }
3750
3751 extern __inline __m128i
3752 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3753 _mm_maskz_subs_epi8 (__mmask16 __U, __m128i __A, __m128i __B)
3754 {
3755 return (__m128i) __builtin_ia32_psubsb128_mask ((__v16qi) __A,
3756 (__v16qi) __B,
3757 (__v16qi)
3758 _mm_setzero_si128 (),
3759 (__mmask16) __U);
3760 }
3761
3762 extern __inline __m128i
3763 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3764 _mm_mask_subs_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
3765 __m128i __B)
3766 {
3767 return (__m128i) __builtin_ia32_psubsw128_mask ((__v8hi) __A,
3768 (__v8hi) __B,
3769 (__v8hi) __W,
3770 (__mmask8) __U);
3771 }
3772
3773 extern __inline __m128i
3774 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3775 _mm_maskz_subs_epi16 (__mmask8 __U, __m128i __A, __m128i __B)
3776 {
3777 return (__m128i) __builtin_ia32_psubsw128_mask ((__v8hi) __A,
3778 (__v8hi) __B,
3779 (__v8hi)
3780 _mm_setzero_si128 (),
3781 (__mmask8) __U);
3782 }
3783
3784 extern __inline __m128i
3785 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3786 _mm_mask_subs_epu8 (__m128i __W, __mmask16 __U, __m128i __A,
3787 __m128i __B)
3788 {
3789 return (__m128i) __builtin_ia32_psubusb128_mask ((__v16qi) __A,
3790 (__v16qi) __B,
3791 (__v16qi) __W,
3792 (__mmask16) __U);
3793 }
3794
3795 extern __inline __m128i
3796 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3797 _mm_maskz_subs_epu8 (__mmask16 __U, __m128i __A, __m128i __B)
3798 {
3799 return (__m128i) __builtin_ia32_psubusb128_mask ((__v16qi) __A,
3800 (__v16qi) __B,
3801 (__v16qi)
3802 _mm_setzero_si128 (),
3803 (__mmask16) __U);
3804 }
3805
3806 extern __inline __m128i
3807 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3808 _mm_mask_subs_epu16 (__m128i __W, __mmask8 __U, __m128i __A,
3809 __m128i __B)
3810 {
3811 return (__m128i) __builtin_ia32_psubusw128_mask ((__v8hi) __A,
3812 (__v8hi) __B,
3813 (__v8hi) __W,
3814 (__mmask8) __U);
3815 }
3816
3817 extern __inline __m128i
3818 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3819 _mm_maskz_subs_epu16 (__mmask8 __U, __m128i __A, __m128i __B)
3820 {
3821 return (__m128i) __builtin_ia32_psubusw128_mask ((__v8hi) __A,
3822 (__v8hi) __B,
3823 (__v8hi)
3824 _mm_setzero_si128 (),
3825 (__mmask8) __U);
3826 }
3827
3828 extern __inline __m256i
3829 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3830 _mm256_mask_srl_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
3831 __m128i __B)
3832 {
3833 return (__m256i) __builtin_ia32_psrlw256_mask ((__v16hi) __A,
3834 (__v8hi) __B,
3835 (__v16hi) __W,
3836 (__mmask16) __U);
3837 }
3838
3839 extern __inline __m256i
3840 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3841 _mm256_maskz_srl_epi16 (__mmask16 __U, __m256i __A, __m128i __B)
3842 {
3843 return (__m256i) __builtin_ia32_psrlw256_mask ((__v16hi) __A,
3844 (__v8hi) __B,
3845 (__v16hi)
3846 _mm256_setzero_si256 (),
3847 (__mmask16) __U);
3848 }
3849
3850 extern __inline __m128i
3851 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3852 _mm_mask_srl_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
3853 __m128i __B)
3854 {
3855 return (__m128i) __builtin_ia32_psrlw128_mask ((__v8hi) __A,
3856 (__v8hi) __B,
3857 (__v8hi) __W,
3858 (__mmask8) __U);
3859 }
3860
3861 extern __inline __m128i
3862 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3863 _mm_maskz_srl_epi16 (__mmask8 __U, __m128i __A, __m128i __B)
3864 {
3865 return (__m128i) __builtin_ia32_psrlw128_mask ((__v8hi) __A,
3866 (__v8hi) __B,
3867 (__v8hi)
3868 _mm_setzero_si128 (),
3869 (__mmask8) __U);
3870 }
3871
3872 extern __inline __m256i
3873 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3874 _mm256_mask_sra_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
3875 __m128i __B)
3876 {
3877 return (__m256i) __builtin_ia32_psraw256_mask ((__v16hi) __A,
3878 (__v8hi) __B,
3879 (__v16hi) __W,
3880 (__mmask16) __U);
3881 }
3882
3883 extern __inline __m256i
3884 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3885 _mm256_maskz_sra_epi16 (__mmask16 __U, __m256i __A, __m128i __B)
3886 {
3887 return (__m256i) __builtin_ia32_psraw256_mask ((__v16hi) __A,
3888 (__v8hi) __B,
3889 (__v16hi)
3890 _mm256_setzero_si256 (),
3891 (__mmask16) __U);
3892 }
3893
3894 extern __inline __m128i
3895 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3896 _mm_mask_sra_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
3897 __m128i __B)
3898 {
3899 return (__m128i) __builtin_ia32_psraw128_mask ((__v8hi) __A,
3900 (__v8hi) __B,
3901 (__v8hi) __W,
3902 (__mmask8) __U);
3903 }
3904
3905 extern __inline __m128i
3906 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3907 _mm_maskz_sra_epi16 (__mmask8 __U, __m128i __A, __m128i __B)
3908 {
3909 return (__m128i) __builtin_ia32_psraw128_mask ((__v8hi) __A,
3910 (__v8hi) __B,
3911 (__v8hi)
3912 _mm_setzero_si128 (),
3913 (__mmask8) __U);
3914 }
3915
3916 extern __inline __m128i
3917 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3918 _mm_maskz_adds_epi16 (__mmask8 __U, __m128i __A, __m128i __B)
3919 {
3920 return (__m128i) __builtin_ia32_paddsw128_mask ((__v8hi) __A,
3921 (__v8hi) __B,
3922 (__v8hi)
3923 _mm_setzero_si128 (),
3924 (__mmask8) __U);
3925 }
3926
3927 extern __inline __m128i
3928 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3929 _mm_mask_adds_epu8 (__m128i __W, __mmask16 __U, __m128i __A,
3930 __m128i __B)
3931 {
3932 return (__m128i) __builtin_ia32_paddusb128_mask ((__v16qi) __A,
3933 (__v16qi) __B,
3934 (__v16qi) __W,
3935 (__mmask16) __U);
3936 }
3937
3938 extern __inline __m128i
3939 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3940 _mm_maskz_adds_epu8 (__mmask16 __U, __m128i __A, __m128i __B)
3941 {
3942 return (__m128i) __builtin_ia32_paddusb128_mask ((__v16qi) __A,
3943 (__v16qi) __B,
3944 (__v16qi)
3945 _mm_setzero_si128 (),
3946 (__mmask16) __U);
3947 }
3948
3949 extern __inline __m128i
3950 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3951 _mm_mask_adds_epu16 (__m128i __W, __mmask8 __U, __m128i __A,
3952 __m128i __B)
3953 {
3954 return (__m128i) __builtin_ia32_paddusw128_mask ((__v8hi) __A,
3955 (__v8hi) __B,
3956 (__v8hi) __W,
3957 (__mmask8) __U);
3958 }
3959
3960 extern __inline __m128i
3961 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3962 _mm_maskz_adds_epu16 (__mmask8 __U, __m128i __A, __m128i __B)
3963 {
3964 return (__m128i) __builtin_ia32_paddusw128_mask ((__v8hi) __A,
3965 (__v8hi) __B,
3966 (__v8hi)
3967 _mm_setzero_si128 (),
3968 (__mmask8) __U);
3969 }
3970
3971 extern __inline __m128i
3972 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3973 _mm_mask_sub_epi8 (__m128i __W, __mmask16 __U, __m128i __A,
3974 __m128i __B)
3975 {
3976 return (__m128i) __builtin_ia32_psubb128_mask ((__v16qi) __A,
3977 (__v16qi) __B,
3978 (__v16qi) __W,
3979 (__mmask16) __U);
3980 }
3981
3982 extern __inline __m128i
3983 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3984 _mm_maskz_sub_epi8 (__mmask16 __U, __m128i __A, __m128i __B)
3985 {
3986 return (__m128i) __builtin_ia32_psubb128_mask ((__v16qi) __A,
3987 (__v16qi) __B,
3988 (__v16qi)
3989 _mm_setzero_si128 (),
3990 (__mmask16) __U);
3991 }
3992
3993 extern __inline __m128i
3994 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
3995 _mm_mask_sub_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
3996 __m128i __B)
3997 {
3998 return (__m128i) __builtin_ia32_psubw128_mask ((__v8hi) __A,
3999 (__v8hi) __B,
4000 (__v8hi) __W,
4001 (__mmask8) __U);
4002 }
4003
4004 extern __inline __m128i
4005 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4006 _mm_maskz_sub_epi16 (__mmask8 __U, __m128i __A, __m128i __B)
4007 {
4008 return (__m128i) __builtin_ia32_psubw128_mask ((__v8hi) __A,
4009 (__v8hi) __B,
4010 (__v8hi)
4011 _mm_setzero_si128 (),
4012 (__mmask8) __U);
4013 }
4014
4015 extern __inline __m128i
4016 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4017 _mm_mask_adds_epi8 (__m128i __W, __mmask16 __U, __m128i __A,
4018 __m128i __B)
4019 {
4020 return (__m128i) __builtin_ia32_paddsb128_mask ((__v16qi) __A,
4021 (__v16qi) __B,
4022 (__v16qi) __W,
4023 (__mmask16) __U);
4024 }
4025
4026 extern __inline __m128i
4027 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4028 _mm_maskz_adds_epi8 (__mmask16 __U, __m128i __A, __m128i __B)
4029 {
4030 return (__m128i) __builtin_ia32_paddsb128_mask ((__v16qi) __A,
4031 (__v16qi) __B,
4032 (__v16qi)
4033 _mm_setzero_si128 (),
4034 (__mmask16) __U);
4035 }
4036
4037 extern __inline __m128i
4038 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4039 _mm_cvtepi16_epi8 (__m128i __A)
4040 {
4041
4042 return (__m128i) __builtin_ia32_pmovwb128_mask ((__v8hi) __A,
4043 (__v16qi)_mm_undefined_si128(),
4044 (__mmask8) -1);
4045 }
4046
4047 extern __inline void
4048 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4049 _mm_mask_cvtepi16_storeu_epi8 (void * __P, __mmask8 __M,__m128i __A)
4050 {
4051 __builtin_ia32_pmovwb128mem_mask ((__v8qi *) __P , (__v8hi) __A, __M);
4052 }
4053
4054 extern __inline __m128i
4055 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4056 _mm_mask_cvtepi16_epi8 (__m128i __O, __mmask8 __M, __m128i __A)
4057 {
4058 return (__m128i) __builtin_ia32_pmovwb128_mask ((__v8hi) __A,
4059 (__v16qi) __O, __M);
4060 }
4061
4062 extern __inline __m128i
4063 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4064 _mm_maskz_cvtepi16_epi8 (__mmask8 __M, __m128i __A)
4065 {
4066 return (__m128i) __builtin_ia32_pmovwb128_mask ((__v8hi) __A,
4067 (__v16qi)
4068 _mm_setzero_si128 (),
4069 __M);
4070 }
4071
4072 extern __inline __m256i
4073 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4074 _mm256_srav_epi16 (__m256i __A, __m256i __B)
4075 {
4076 return (__m256i) __builtin_ia32_psrav16hi_mask ((__v16hi) __A,
4077 (__v16hi) __B,
4078 (__v16hi)
4079 _mm256_setzero_si256 (),
4080 (__mmask16) -1);
4081 }
4082
4083 extern __inline __m256i
4084 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4085 _mm256_mask_srav_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
4086 __m256i __B)
4087 {
4088 return (__m256i) __builtin_ia32_psrav16hi_mask ((__v16hi) __A,
4089 (__v16hi) __B,
4090 (__v16hi) __W,
4091 (__mmask16) __U);
4092 }
4093
4094 extern __inline __m256i
4095 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4096 _mm256_maskz_srav_epi16 (__mmask16 __U, __m256i __A, __m256i __B)
4097 {
4098 return (__m256i) __builtin_ia32_psrav16hi_mask ((__v16hi) __A,
4099 (__v16hi) __B,
4100 (__v16hi)
4101 _mm256_setzero_si256 (),
4102 (__mmask16) __U);
4103 }
4104
4105 extern __inline __m128i
4106 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4107 _mm_srav_epi16 (__m128i __A, __m128i __B)
4108 {
4109 return (__m128i) __builtin_ia32_psrav8hi_mask ((__v8hi) __A,
4110 (__v8hi) __B,
4111 (__v8hi)
4112 _mm_setzero_si128 (),
4113 (__mmask8) -1);
4114 }
4115
4116 extern __inline __m128i
4117 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4118 _mm_mask_srav_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
4119 __m128i __B)
4120 {
4121 return (__m128i) __builtin_ia32_psrav8hi_mask ((__v8hi) __A,
4122 (__v8hi) __B,
4123 (__v8hi) __W,
4124 (__mmask8) __U);
4125 }
4126
4127 extern __inline __m128i
4128 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4129 _mm_maskz_srav_epi16 (__mmask8 __U, __m128i __A, __m128i __B)
4130 {
4131 return (__m128i) __builtin_ia32_psrav8hi_mask ((__v8hi) __A,
4132 (__v8hi) __B,
4133 (__v8hi)
4134 _mm_setzero_si128 (),
4135 (__mmask8) __U);
4136 }
4137
4138 extern __inline __m256i
4139 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4140 _mm256_srlv_epi16 (__m256i __A, __m256i __B)
4141 {
4142 return (__m256i) __builtin_ia32_psrlv16hi_mask ((__v16hi) __A,
4143 (__v16hi) __B,
4144 (__v16hi)
4145 _mm256_setzero_si256 (),
4146 (__mmask16) -1);
4147 }
4148
4149 extern __inline __m256i
4150 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4151 _mm256_mask_srlv_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
4152 __m256i __B)
4153 {
4154 return (__m256i) __builtin_ia32_psrlv16hi_mask ((__v16hi) __A,
4155 (__v16hi) __B,
4156 (__v16hi) __W,
4157 (__mmask16) __U);
4158 }
4159
4160 extern __inline __m256i
4161 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4162 _mm256_maskz_srlv_epi16 (__mmask16 __U, __m256i __A, __m256i __B)
4163 {
4164 return (__m256i) __builtin_ia32_psrlv16hi_mask ((__v16hi) __A,
4165 (__v16hi) __B,
4166 (__v16hi)
4167 _mm256_setzero_si256 (),
4168 (__mmask16) __U);
4169 }
4170
4171 extern __inline __m128i
4172 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4173 _mm_srlv_epi16 (__m128i __A, __m128i __B)
4174 {
4175 return (__m128i) __builtin_ia32_psrlv8hi_mask ((__v8hi) __A,
4176 (__v8hi) __B,
4177 (__v8hi)
4178 _mm_setzero_si128 (),
4179 (__mmask8) -1);
4180 }
4181
4182 extern __inline __m128i
4183 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4184 _mm_mask_srlv_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
4185 __m128i __B)
4186 {
4187 return (__m128i) __builtin_ia32_psrlv8hi_mask ((__v8hi) __A,
4188 (__v8hi) __B,
4189 (__v8hi) __W,
4190 (__mmask8) __U);
4191 }
4192
4193 extern __inline __m128i
4194 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4195 _mm_maskz_srlv_epi16 (__mmask8 __U, __m128i __A, __m128i __B)
4196 {
4197 return (__m128i) __builtin_ia32_psrlv8hi_mask ((__v8hi) __A,
4198 (__v8hi) __B,
4199 (__v8hi)
4200 _mm_setzero_si128 (),
4201 (__mmask8) __U);
4202 }
4203
4204 extern __inline __m256i
4205 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4206 _mm256_sllv_epi16 (__m256i __A, __m256i __B)
4207 {
4208 return (__m256i) __builtin_ia32_psllv16hi_mask ((__v16hi) __A,
4209 (__v16hi) __B,
4210 (__v16hi)
4211 _mm256_setzero_si256 (),
4212 (__mmask16) -1);
4213 }
4214
4215 extern __inline __m256i
4216 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4217 _mm256_mask_sllv_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
4218 __m256i __B)
4219 {
4220 return (__m256i) __builtin_ia32_psllv16hi_mask ((__v16hi) __A,
4221 (__v16hi) __B,
4222 (__v16hi) __W,
4223 (__mmask16) __U);
4224 }
4225
4226 extern __inline __m256i
4227 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4228 _mm256_maskz_sllv_epi16 (__mmask16 __U, __m256i __A, __m256i __B)
4229 {
4230 return (__m256i) __builtin_ia32_psllv16hi_mask ((__v16hi) __A,
4231 (__v16hi) __B,
4232 (__v16hi)
4233 _mm256_setzero_si256 (),
4234 (__mmask16) __U);
4235 }
4236
4237 extern __inline __m128i
4238 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4239 _mm_sllv_epi16 (__m128i __A, __m128i __B)
4240 {
4241 return (__m128i) __builtin_ia32_psllv8hi_mask ((__v8hi) __A,
4242 (__v8hi) __B,
4243 (__v8hi)
4244 _mm_setzero_si128 (),
4245 (__mmask8) -1);
4246 }
4247
4248 extern __inline __m128i
4249 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4250 _mm_mask_sllv_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
4251 __m128i __B)
4252 {
4253 return (__m128i) __builtin_ia32_psllv8hi_mask ((__v8hi) __A,
4254 (__v8hi) __B,
4255 (__v8hi) __W,
4256 (__mmask8) __U);
4257 }
4258
4259 extern __inline __m128i
4260 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4261 _mm_maskz_sllv_epi16 (__mmask8 __U, __m128i __A, __m128i __B)
4262 {
4263 return (__m128i) __builtin_ia32_psllv8hi_mask ((__v8hi) __A,
4264 (__v8hi) __B,
4265 (__v8hi)
4266 _mm_setzero_si128 (),
4267 (__mmask8) __U);
4268 }
4269
4270 extern __inline __m128i
4271 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4272 _mm_mask_sll_epi16 (__m128i __W, __mmask8 __U, __m128i __A,
4273 __m128i __B)
4274 {
4275 return (__m128i) __builtin_ia32_psllw128_mask ((__v8hi) __A,
4276 (__v8hi) __B,
4277 (__v8hi) __W,
4278 (__mmask8) __U);
4279 }
4280
4281 extern __inline __m128i
4282 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4283 _mm_maskz_sll_epi16 (__mmask8 __U, __m128i __A, __m128i __B)
4284 {
4285 return (__m128i) __builtin_ia32_psllw128_mask ((__v8hi) __A,
4286 (__v8hi) __B,
4287 (__v8hi)
4288 _mm_setzero_si128 (),
4289 (__mmask8) __U);
4290 }
4291
4292 extern __inline __m256i
4293 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4294 _mm256_mask_sll_epi16 (__m256i __W, __mmask16 __U, __m256i __A,
4295 __m128i __B)
4296 {
4297 return (__m256i) __builtin_ia32_psllw256_mask ((__v16hi) __A,
4298 (__v8hi) __B,
4299 (__v16hi) __W,
4300 (__mmask16) __U);
4301 }
4302
4303 extern __inline __m256i
4304 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4305 _mm256_maskz_sll_epi16 (__mmask16 __U, __m256i __A, __m128i __B)
4306 {
4307 return (__m256i) __builtin_ia32_psllw256_mask ((__v16hi) __A,
4308 (__v8hi) __B,
4309 (__v16hi)
4310 _mm256_setzero_si256 (),
4311 (__mmask16) __U);
4312 }
4313
4314 extern __inline __m256i
4315 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4316 _mm256_maskz_packus_epi32 (__mmask16 __M, __m256i __A, __m256i __B)
4317 {
4318 return (__m256i) __builtin_ia32_packusdw256_mask ((__v8si) __A,
4319 (__v8si) __B,
4320 (__v16hi)
4321 _mm256_setzero_si256 (),
4322 __M);
4323 }
4324
4325 extern __inline __m256i
4326 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4327 _mm256_mask_packus_epi32 (__m256i __W, __mmask16 __M, __m256i __A,
4328 __m256i __B)
4329 {
4330 return (__m256i) __builtin_ia32_packusdw256_mask ((__v8si) __A,
4331 (__v8si) __B,
4332 (__v16hi) __W,
4333 __M);
4334 }
4335
4336 extern __inline __m128i
4337 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4338 _mm_maskz_packus_epi32 (__mmask8 __M, __m128i __A, __m128i __B)
4339 {
4340 return (__m128i) __builtin_ia32_packusdw128_mask ((__v4si) __A,
4341 (__v4si) __B,
4342 (__v8hi)
4343 _mm_setzero_si128 (),
4344 __M);
4345 }
4346
4347 extern __inline __m128i
4348 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4349 _mm_mask_packus_epi32 (__m128i __W, __mmask16 __M, __m128i __A,
4350 __m128i __B)
4351 {
4352 return (__m128i) __builtin_ia32_packusdw128_mask ((__v4si) __A,
4353 (__v4si) __B,
4354 (__v8hi) __W, __M);
4355 }
4356
4357 extern __inline __m256i
4358 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4359 _mm256_maskz_packs_epi32 (__mmask16 __M, __m256i __A, __m256i __B)
4360 {
4361 return (__m256i) __builtin_ia32_packssdw256_mask ((__v8si) __A,
4362 (__v8si) __B,
4363 (__v16hi)
4364 _mm256_setzero_si256 (),
4365 __M);
4366 }
4367
4368 extern __inline __m256i
4369 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4370 _mm256_mask_packs_epi32 (__m256i __W, __mmask16 __M, __m256i __A,
4371 __m256i __B)
4372 {
4373 return (__m256i) __builtin_ia32_packssdw256_mask ((__v8si) __A,
4374 (__v8si) __B,
4375 (__v16hi) __W,
4376 __M);
4377 }
4378
4379 extern __inline __m128i
4380 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4381 _mm_maskz_packs_epi32 (__mmask8 __M, __m128i __A, __m128i __B)
4382 {
4383 return (__m128i) __builtin_ia32_packssdw128_mask ((__v4si) __A,
4384 (__v4si) __B,
4385 (__v8hi)
4386 _mm_setzero_si128 (),
4387 __M);
4388 }
4389
4390 extern __inline __m128i
4391 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4392 _mm_mask_packs_epi32 (__m128i __W, __mmask16 __M, __m128i __A,
4393 __m128i __B)
4394 {
4395 return (__m128i) __builtin_ia32_packssdw128_mask ((__v4si) __A,
4396 (__v4si) __B,
4397 (__v8hi) __W, __M);
4398 }
4399
4400 extern __inline __mmask16
4401 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4402 _mm_mask_cmpneq_epu8_mask (__mmask16 __M, __m128i __X, __m128i __Y)
4403 {
4404 return (__mmask16) __builtin_ia32_ucmpb128_mask ((__v16qi) __X,
4405 (__v16qi) __Y, 4,
4406 (__mmask16) __M);
4407 }
4408
4409 extern __inline __mmask16
4410 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4411 _mm_mask_cmplt_epu8_mask (__mmask16 __M, __m128i __X, __m128i __Y)
4412 {
4413 return (__mmask16) __builtin_ia32_ucmpb128_mask ((__v16qi) __X,
4414 (__v16qi) __Y, 1,
4415 (__mmask16) __M);
4416 }
4417
4418 extern __inline __mmask16
4419 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4420 _mm_mask_cmpge_epu8_mask (__mmask16 __M, __m128i __X, __m128i __Y)
4421 {
4422 return (__mmask16) __builtin_ia32_ucmpb128_mask ((__v16qi) __X,
4423 (__v16qi) __Y, 5,
4424 (__mmask16) __M);
4425 }
4426
4427 extern __inline __mmask16
4428 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4429 _mm_mask_cmple_epu8_mask (__mmask16 __M, __m128i __X, __m128i __Y)
4430 {
4431 return (__mmask16) __builtin_ia32_ucmpb128_mask ((__v16qi) __X,
4432 (__v16qi) __Y, 2,
4433 (__mmask16) __M);
4434 }
4435
4436 extern __inline __mmask8
4437 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4438 _mm_mask_cmpneq_epu16_mask (__mmask8 __M, __m128i __X, __m128i __Y)
4439 {
4440 return (__mmask8) __builtin_ia32_ucmpw128_mask ((__v8hi) __X,
4441 (__v8hi) __Y, 4,
4442 (__mmask8) __M);
4443 }
4444
4445 extern __inline __mmask8
4446 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4447 _mm_mask_cmplt_epu16_mask (__mmask8 __M, __m128i __X, __m128i __Y)
4448 {
4449 return (__mmask8) __builtin_ia32_ucmpw128_mask ((__v8hi) __X,
4450 (__v8hi) __Y, 1,
4451 (__mmask8) __M);
4452 }
4453
4454 extern __inline __mmask8
4455 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4456 _mm_mask_cmpge_epu16_mask (__mmask8 __M, __m128i __X, __m128i __Y)
4457 {
4458 return (__mmask8) __builtin_ia32_ucmpw128_mask ((__v8hi) __X,
4459 (__v8hi) __Y, 5,
4460 (__mmask8) __M);
4461 }
4462
4463 extern __inline __mmask8
4464 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4465 _mm_mask_cmple_epu16_mask (__mmask8 __M, __m128i __X, __m128i __Y)
4466 {
4467 return (__mmask8) __builtin_ia32_ucmpw128_mask ((__v8hi) __X,
4468 (__v8hi) __Y, 2,
4469 (__mmask8) __M);
4470 }
4471
4472 extern __inline __mmask16
4473 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4474 _mm_mask_cmpneq_epi8_mask (__mmask16 __M, __m128i __X, __m128i __Y)
4475 {
4476 return (__mmask16) __builtin_ia32_cmpb128_mask ((__v16qi) __X,
4477 (__v16qi) __Y, 4,
4478 (__mmask16) __M);
4479 }
4480
4481 extern __inline __mmask16
4482 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4483 _mm_mask_cmplt_epi8_mask (__mmask16 __M, __m128i __X, __m128i __Y)
4484 {
4485 return (__mmask16) __builtin_ia32_cmpb128_mask ((__v16qi) __X,
4486 (__v16qi) __Y, 1,
4487 (__mmask16) __M);
4488 }
4489
4490 extern __inline __mmask16
4491 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4492 _mm_mask_cmpge_epi8_mask (__mmask16 __M, __m128i __X, __m128i __Y)
4493 {
4494 return (__mmask16) __builtin_ia32_cmpb128_mask ((__v16qi) __X,
4495 (__v16qi) __Y, 5,
4496 (__mmask16) __M);
4497 }
4498
4499 extern __inline __mmask16
4500 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4501 _mm_mask_cmple_epi8_mask (__mmask16 __M, __m128i __X, __m128i __Y)
4502 {
4503 return (__mmask16) __builtin_ia32_cmpb128_mask ((__v16qi) __X,
4504 (__v16qi) __Y, 2,
4505 (__mmask16) __M);
4506 }
4507
4508 extern __inline __mmask8
4509 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4510 _mm_mask_cmpneq_epi16_mask (__mmask8 __M, __m128i __X, __m128i __Y)
4511 {
4512 return (__mmask8) __builtin_ia32_cmpw128_mask ((__v8hi) __X,
4513 (__v8hi) __Y, 4,
4514 (__mmask8) __M);
4515 }
4516
4517 extern __inline __mmask8
4518 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4519 _mm_mask_cmplt_epi16_mask (__mmask8 __M, __m128i __X, __m128i __Y)
4520 {
4521 return (__mmask8) __builtin_ia32_cmpw128_mask ((__v8hi) __X,
4522 (__v8hi) __Y, 1,
4523 (__mmask8) __M);
4524 }
4525
4526 extern __inline __mmask8
4527 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4528 _mm_mask_cmpge_epi16_mask (__mmask8 __M, __m128i __X, __m128i __Y)
4529 {
4530 return (__mmask8) __builtin_ia32_cmpw128_mask ((__v8hi) __X,
4531 (__v8hi) __Y, 5,
4532 (__mmask8) __M);
4533 }
4534
4535 extern __inline __mmask8
4536 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4537 _mm_mask_cmple_epi16_mask (__mmask8 __M, __m128i __X, __m128i __Y)
4538 {
4539 return (__mmask8) __builtin_ia32_cmpw128_mask ((__v8hi) __X,
4540 (__v8hi) __Y, 2,
4541 (__mmask8) __M);
4542 }
4543
4544 extern __inline __mmask32
4545 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4546 _mm256_mask_cmpneq_epu8_mask (__mmask32 __M, __m256i __X, __m256i __Y)
4547 {
4548 return (__mmask32) __builtin_ia32_ucmpb256_mask ((__v32qi) __X,
4549 (__v32qi) __Y, 4,
4550 (__mmask32) __M);
4551 }
4552
4553 extern __inline __mmask32
4554 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4555 _mm256_mask_cmplt_epu8_mask (__mmask32 __M, __m256i __X, __m256i __Y)
4556 {
4557 return (__mmask32) __builtin_ia32_ucmpb256_mask ((__v32qi) __X,
4558 (__v32qi) __Y, 1,
4559 (__mmask32) __M);
4560 }
4561
4562 extern __inline __mmask32
4563 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4564 _mm256_mask_cmpge_epu8_mask (__mmask32 __M, __m256i __X, __m256i __Y)
4565 {
4566 return (__mmask32) __builtin_ia32_ucmpb256_mask ((__v32qi) __X,
4567 (__v32qi) __Y, 5,
4568 (__mmask32) __M);
4569 }
4570
4571 extern __inline __mmask32
4572 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4573 _mm256_mask_cmple_epu8_mask (__mmask32 __M, __m256i __X, __m256i __Y)
4574 {
4575 return (__mmask32) __builtin_ia32_ucmpb256_mask ((__v32qi) __X,
4576 (__v32qi) __Y, 2,
4577 (__mmask32) __M);
4578 }
4579
4580 extern __inline __mmask16
4581 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4582 _mm256_mask_cmpneq_epu16_mask (__mmask16 __M, __m256i __X, __m256i __Y)
4583 {
4584 return (__mmask16) __builtin_ia32_ucmpw256_mask ((__v16hi) __X,
4585 (__v16hi) __Y, 4,
4586 (__mmask16) __M);
4587 }
4588
4589 extern __inline __mmask16
4590 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4591 _mm256_mask_cmplt_epu16_mask (__mmask16 __M, __m256i __X, __m256i __Y)
4592 {
4593 return (__mmask16) __builtin_ia32_ucmpw256_mask ((__v16hi) __X,
4594 (__v16hi) __Y, 1,
4595 (__mmask16) __M);
4596 }
4597
4598 extern __inline __mmask16
4599 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4600 _mm256_mask_cmpge_epu16_mask (__mmask16 __M, __m256i __X, __m256i __Y)
4601 {
4602 return (__mmask16) __builtin_ia32_ucmpw256_mask ((__v16hi) __X,
4603 (__v16hi) __Y, 5,
4604 (__mmask16) __M);
4605 }
4606
4607 extern __inline __mmask16
4608 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4609 _mm256_mask_cmple_epu16_mask (__mmask16 __M, __m256i __X, __m256i __Y)
4610 {
4611 return (__mmask16) __builtin_ia32_ucmpw256_mask ((__v16hi) __X,
4612 (__v16hi) __Y, 2,
4613 (__mmask16) __M);
4614 }
4615
4616 extern __inline __mmask32
4617 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4618 _mm256_mask_cmpneq_epi8_mask (__mmask32 __M, __m256i __X, __m256i __Y)
4619 {
4620 return (__mmask32) __builtin_ia32_cmpb256_mask ((__v32qi) __X,
4621 (__v32qi) __Y, 4,
4622 (__mmask32) __M);
4623 }
4624
4625 extern __inline __mmask32
4626 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4627 _mm256_mask_cmplt_epi8_mask (__mmask32 __M, __m256i __X, __m256i __Y)
4628 {
4629 return (__mmask32) __builtin_ia32_cmpb256_mask ((__v32qi) __X,
4630 (__v32qi) __Y, 1,
4631 (__mmask32) __M);
4632 }
4633
4634 extern __inline __mmask32
4635 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4636 _mm256_mask_cmpge_epi8_mask (__mmask32 __M, __m256i __X, __m256i __Y)
4637 {
4638 return (__mmask32) __builtin_ia32_cmpb256_mask ((__v32qi) __X,
4639 (__v32qi) __Y, 5,
4640 (__mmask32) __M);
4641 }
4642
4643 extern __inline __mmask32
4644 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4645 _mm256_mask_cmple_epi8_mask (__mmask32 __M, __m256i __X, __m256i __Y)
4646 {
4647 return (__mmask32) __builtin_ia32_cmpb256_mask ((__v32qi) __X,
4648 (__v32qi) __Y, 2,
4649 (__mmask32) __M);
4650 }
4651
4652 extern __inline __mmask16
4653 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4654 _mm256_mask_cmpneq_epi16_mask (__mmask16 __M, __m256i __X, __m256i __Y)
4655 {
4656 return (__mmask16) __builtin_ia32_cmpw256_mask ((__v16hi) __X,
4657 (__v16hi) __Y, 4,
4658 (__mmask16) __M);
4659 }
4660
4661 extern __inline __mmask16
4662 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4663 _mm256_mask_cmplt_epi16_mask (__mmask16 __M, __m256i __X, __m256i __Y)
4664 {
4665 return (__mmask16) __builtin_ia32_cmpw256_mask ((__v16hi) __X,
4666 (__v16hi) __Y, 1,
4667 (__mmask16) __M);
4668 }
4669
4670 extern __inline __mmask16
4671 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4672 _mm256_mask_cmpge_epi16_mask (__mmask16 __M, __m256i __X, __m256i __Y)
4673 {
4674 return (__mmask16) __builtin_ia32_cmpw256_mask ((__v16hi) __X,
4675 (__v16hi) __Y, 5,
4676 (__mmask16) __M);
4677 }
4678
4679 extern __inline __mmask16
4680 __attribute__ ((__gnu_inline__, __always_inline__, __artificial__))
4681 _mm256_mask_cmple_epi16_mask (__mmask16 __M, __m256i __X, __m256i __Y)
4682 {
4683 return (__mmask16) __builtin_ia32_cmpw256_mask ((__v16hi) __X,
4684 (__v16hi) __Y, 2,
4685 (__mmask16) __M);
4686 }
4687
4688 #ifdef __DISABLE_AVX512VLBW__
4689 #undef __DISABLE_AVX512VLBW__
4690 #pragma GCC pop_options
4691 #endif /* __DISABLE_AVX512VLBW__ */
4692
4693 #endif /* _AVX512VLBWINTRIN_H_INCLUDED */
Mirror of the offical gcc git repository hosted at gcc.gnu.org