test/CodeGen/Thumb2/mve-vcmpfz.ll

   1 ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
   2 ; RUN: llc -mtriple=thumbv8.1m.main-arm-none-eabi -mattr=+mve,+fullfp16 -verify-machineinstrs %s -o - | FileCheck %s --check-prefix=CHECK --check-prefix=CHECK-MVE
   3 ; RUN: llc -mtriple=thumbv8.1m.main-arm-none-eabi -mattr=+mve.fp -verify-machineinstrs %s -o - | FileCheck %s --check-prefix=CHECK --check-prefix=CHECK-MVEFP
   4
   5 define arm_aapcs_vfpcc <4 x float> @vcmp_oeq_v4f32(<4 x float> %src, <4 x float> %a, <4 x float> %b) {
   6 ; CHECK-MVE-LABEL: vcmp_oeq_v4f32:
   7 ; CHECK-MVE:       @ %bb.0: @ %entry
   8 ; CHECK-MVE-NEXT:    vcmp.f32 s0, #0
   9 ; CHECK-MVE-NEXT:    movs r1, #0
  10 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
  11 ; CHECK-MVE-NEXT:    it eq
  12 ; CHECK-MVE-NEXT:    moveq r1, #1
  13 ; CHECK-MVE-NEXT:    cmp r1, #0
  14 ; CHECK-MVE-NEXT:    vcmp.f32 s1, #0
  15 ; CHECK-MVE-NEXT:    cset r1, ne
  16 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
  17 ; CHECK-MVE-NEXT:    mov.w r2, #0
  18 ; CHECK-MVE-NEXT:    vcmp.f32 s2, #0
  19 ; CHECK-MVE-NEXT:    it eq
  20 ; CHECK-MVE-NEXT:    moveq r2, #1
  21 ; CHECK-MVE-NEXT:    cmp r2, #0
  22 ; CHECK-MVE-NEXT:    cset r2, ne
  23 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
  24 ; CHECK-MVE-NEXT:    mov.w r3, #0
  25 ; CHECK-MVE-NEXT:    vcmp.f32 s3, #0
  26 ; CHECK-MVE-NEXT:    it eq
  27 ; CHECK-MVE-NEXT:    moveq r3, #1
  28 ; CHECK-MVE-NEXT:    cmp r3, #0
  29 ; CHECK-MVE-NEXT:    cset r3, ne
  30 ; CHECK-MVE-NEXT:    movs r0, #0
  31 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
  32 ; CHECK-MVE-NEXT:    it eq
  33 ; CHECK-MVE-NEXT:    moveq r0, #1
  34 ; CHECK-MVE-NEXT:    cmp r0, #0
  35 ; CHECK-MVE-NEXT:    cset r0, ne
  36 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
  37 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s11, s7
  38 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
  39 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s10, s6
  40 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
  41 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s9, s5
  42 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
  43 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s8, s4
  44 ; CHECK-MVE-NEXT:    bx lr
  45 ;
  46 ; CHECK-MVEFP-LABEL: vcmp_oeq_v4f32:
  47 ; CHECK-MVEFP:       @ %bb.0: @ %entry
  48 ; CHECK-MVEFP-NEXT:    vcmp.f32 eq, q0, zr
  49 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
  50 ; CHECK-MVEFP-NEXT:    bx lr
  51 entry:
  52   %c = fcmp oeq <4 x float> %src, zeroinitializer
  53   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
  54   ret <4 x float> %s
  55 }
  56
  57 define arm_aapcs_vfpcc <4 x float> @vcmp_one_v4f32(<4 x float> %src, <4 x float> %a, <4 x float> %b) {
  58 ; CHECK-MVE-LABEL: vcmp_one_v4f32:
  59 ; CHECK-MVE:       @ %bb.0: @ %entry
  60 ; CHECK-MVE-NEXT:    vcmp.f32 s0, #0
  61 ; CHECK-MVE-NEXT:    movs r1, #0
  62 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
  63 ; CHECK-MVE-NEXT:    vcmp.f32 s0, #0
  64 ; CHECK-MVE-NEXT:    it mi
  65 ; CHECK-MVE-NEXT:    movmi r1, #1
  66 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
  67 ; CHECK-MVE-NEXT:    it gt
  68 ; CHECK-MVE-NEXT:    movgt r1, #1
  69 ; CHECK-MVE-NEXT:    cmp r1, #0
  70 ; CHECK-MVE-NEXT:    vcmp.f32 s1, #0
  71 ; CHECK-MVE-NEXT:    mov.w r2, #0
  72 ; CHECK-MVE-NEXT:    cset r1, ne
  73 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
  74 ; CHECK-MVE-NEXT:    it mi
  75 ; CHECK-MVE-NEXT:    movmi r2, #1
  76 ; CHECK-MVE-NEXT:    vcmp.f32 s2, #0
  77 ; CHECK-MVE-NEXT:    it gt
  78 ; CHECK-MVE-NEXT:    movgt r2, #1
  79 ; CHECK-MVE-NEXT:    cmp r2, #0
  80 ; CHECK-MVE-NEXT:    mov.w r3, #0
  81 ; CHECK-MVE-NEXT:    cset r2, ne
  82 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
  83 ; CHECK-MVE-NEXT:    it mi
  84 ; CHECK-MVE-NEXT:    movmi r3, #1
  85 ; CHECK-MVE-NEXT:    it gt
  86 ; CHECK-MVE-NEXT:    movgt r3, #1
  87 ; CHECK-MVE-NEXT:    cmp r3, #0
  88 ; CHECK-MVE-NEXT:    mov.w r0, #0
  89 ; CHECK-MVE-NEXT:    vcmp.f32 s3, #0
  90 ; CHECK-MVE-NEXT:    cset r3, ne
  91 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
  92 ; CHECK-MVE-NEXT:    it mi
  93 ; CHECK-MVE-NEXT:    movmi r0, #1
  94 ; CHECK-MVE-NEXT:    it gt
  95 ; CHECK-MVE-NEXT:    movgt r0, #1
  96 ; CHECK-MVE-NEXT:    cmp r0, #0
  97 ; CHECK-MVE-NEXT:    cset r0, ne
  98 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
  99 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s11, s7
 100 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 101 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s10, s6
 102 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 103 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s9, s5
 104 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 105 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s8, s4
 106 ; CHECK-MVE-NEXT:    bx lr
 107 ;
 108 ; CHECK-MVEFP-LABEL: vcmp_one_v4f32:
 109 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 110 ; CHECK-MVEFP-NEXT:    vmov.i32 q3, #0x0
 111 ; CHECK-MVEFP-NEXT:    vpt.f32 le, q3, q0
 112 ; CHECK-MVEFP-NEXT:    vcmpt.f32 le, q0, q3
 113 ; CHECK-MVEFP-NEXT:    vpnot
 114 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
 115 ; CHECK-MVEFP-NEXT:    bx lr
 116 entry:
 117   %c = fcmp one <4 x float> %src, zeroinitializer
 118   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 119   ret <4 x float> %s
 120 }
 121
 122 define arm_aapcs_vfpcc <4 x float> @vcmp_ogt_v4f32(<4 x float> %src, <4 x float> %a, <4 x float> %b) {
 123 ; CHECK-MVE-LABEL: vcmp_ogt_v4f32:
 124 ; CHECK-MVE:       @ %bb.0: @ %entry
 125 ; CHECK-MVE-NEXT:    vcmp.f32 s0, #0
 126 ; CHECK-MVE-NEXT:    movs r1, #0
 127 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 128 ; CHECK-MVE-NEXT:    it gt
 129 ; CHECK-MVE-NEXT:    movgt r1, #1
 130 ; CHECK-MVE-NEXT:    cmp r1, #0
 131 ; CHECK-MVE-NEXT:    vcmp.f32 s1, #0
 132 ; CHECK-MVE-NEXT:    cset r1, ne
 133 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 134 ; CHECK-MVE-NEXT:    mov.w r2, #0
 135 ; CHECK-MVE-NEXT:    vcmp.f32 s2, #0
 136 ; CHECK-MVE-NEXT:    it gt
 137 ; CHECK-MVE-NEXT:    movgt r2, #1
 138 ; CHECK-MVE-NEXT:    cmp r2, #0
 139 ; CHECK-MVE-NEXT:    cset r2, ne
 140 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 141 ; CHECK-MVE-NEXT:    mov.w r3, #0
 142 ; CHECK-MVE-NEXT:    vcmp.f32 s3, #0
 143 ; CHECK-MVE-NEXT:    it gt
 144 ; CHECK-MVE-NEXT:    movgt r3, #1
 145 ; CHECK-MVE-NEXT:    cmp r3, #0
 146 ; CHECK-MVE-NEXT:    cset r3, ne
 147 ; CHECK-MVE-NEXT:    movs r0, #0
 148 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 149 ; CHECK-MVE-NEXT:    it gt
 150 ; CHECK-MVE-NEXT:    movgt r0, #1
 151 ; CHECK-MVE-NEXT:    cmp r0, #0
 152 ; CHECK-MVE-NEXT:    cset r0, ne
 153 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 154 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s11, s7
 155 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 156 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s10, s6
 157 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 158 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s9, s5
 159 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 160 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s8, s4
 161 ; CHECK-MVE-NEXT:    bx lr
 162 ;
 163 ; CHECK-MVEFP-LABEL: vcmp_ogt_v4f32:
 164 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 165 ; CHECK-MVEFP-NEXT:    vcmp.f32 gt, q0, zr
 166 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
 167 ; CHECK-MVEFP-NEXT:    bx lr
 168 entry:
 169   %c = fcmp ogt <4 x float> %src, zeroinitializer
 170   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 171   ret <4 x float> %s
 172 }
 173
 174 define arm_aapcs_vfpcc <4 x float> @vcmp_oge_v4f32(<4 x float> %src, <4 x float> %a, <4 x float> %b) {
 175 ; CHECK-MVE-LABEL: vcmp_oge_v4f32:
 176 ; CHECK-MVE:       @ %bb.0: @ %entry
 177 ; CHECK-MVE-NEXT:    vcmp.f32 s0, #0
 178 ; CHECK-MVE-NEXT:    movs r1, #0
 179 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 180 ; CHECK-MVE-NEXT:    it ge
 181 ; CHECK-MVE-NEXT:    movge r1, #1
 182 ; CHECK-MVE-NEXT:    cmp r1, #0
 183 ; CHECK-MVE-NEXT:    vcmp.f32 s1, #0
 184 ; CHECK-MVE-NEXT:    cset r1, ne
 185 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 186 ; CHECK-MVE-NEXT:    mov.w r2, #0
 187 ; CHECK-MVE-NEXT:    vcmp.f32 s2, #0
 188 ; CHECK-MVE-NEXT:    it ge
 189 ; CHECK-MVE-NEXT:    movge r2, #1
 190 ; CHECK-MVE-NEXT:    cmp r2, #0
 191 ; CHECK-MVE-NEXT:    cset r2, ne
 192 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 193 ; CHECK-MVE-NEXT:    mov.w r3, #0
 194 ; CHECK-MVE-NEXT:    vcmp.f32 s3, #0
 195 ; CHECK-MVE-NEXT:    it ge
 196 ; CHECK-MVE-NEXT:    movge r3, #1
 197 ; CHECK-MVE-NEXT:    cmp r3, #0
 198 ; CHECK-MVE-NEXT:    cset r3, ne
 199 ; CHECK-MVE-NEXT:    movs r0, #0
 200 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 201 ; CHECK-MVE-NEXT:    it ge
 202 ; CHECK-MVE-NEXT:    movge r0, #1
 203 ; CHECK-MVE-NEXT:    cmp r0, #0
 204 ; CHECK-MVE-NEXT:    cset r0, ne
 205 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 206 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s11, s7
 207 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 208 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s10, s6
 209 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 210 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s9, s5
 211 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 212 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s8, s4
 213 ; CHECK-MVE-NEXT:    bx lr
 214 ;
 215 ; CHECK-MVEFP-LABEL: vcmp_oge_v4f32:
 216 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 217 ; CHECK-MVEFP-NEXT:    vcmp.f32 ge, q0, zr
 218 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
 219 ; CHECK-MVEFP-NEXT:    bx lr
 220 entry:
 221   %c = fcmp oge <4 x float> %src, zeroinitializer
 222   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 223   ret <4 x float> %s
 224 }
 225
 226 define arm_aapcs_vfpcc <4 x float> @vcmp_olt_v4f32(<4 x float> %src, <4 x float> %a, <4 x float> %b) {
 227 ; CHECK-MVE-LABEL: vcmp_olt_v4f32:
 228 ; CHECK-MVE:       @ %bb.0: @ %entry
 229 ; CHECK-MVE-NEXT:    vcmp.f32 s0, #0
 230 ; CHECK-MVE-NEXT:    movs r1, #0
 231 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 232 ; CHECK-MVE-NEXT:    it mi
 233 ; CHECK-MVE-NEXT:    movmi r1, #1
 234 ; CHECK-MVE-NEXT:    cmp r1, #0
 235 ; CHECK-MVE-NEXT:    vcmp.f32 s1, #0
 236 ; CHECK-MVE-NEXT:    cset r1, ne
 237 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 238 ; CHECK-MVE-NEXT:    mov.w r2, #0
 239 ; CHECK-MVE-NEXT:    vcmp.f32 s2, #0
 240 ; CHECK-MVE-NEXT:    it mi
 241 ; CHECK-MVE-NEXT:    movmi r2, #1
 242 ; CHECK-MVE-NEXT:    cmp r2, #0
 243 ; CHECK-MVE-NEXT:    cset r2, ne
 244 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 245 ; CHECK-MVE-NEXT:    mov.w r3, #0
 246 ; CHECK-MVE-NEXT:    vcmp.f32 s3, #0
 247 ; CHECK-MVE-NEXT:    it mi
 248 ; CHECK-MVE-NEXT:    movmi r3, #1
 249 ; CHECK-MVE-NEXT:    cmp r3, #0
 250 ; CHECK-MVE-NEXT:    cset r3, ne
 251 ; CHECK-MVE-NEXT:    movs r0, #0
 252 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 253 ; CHECK-MVE-NEXT:    it mi
 254 ; CHECK-MVE-NEXT:    movmi r0, #1
 255 ; CHECK-MVE-NEXT:    cmp r0, #0
 256 ; CHECK-MVE-NEXT:    cset r0, ne
 257 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 258 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s11, s7
 259 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 260 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s10, s6
 261 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 262 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s9, s5
 263 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 264 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s8, s4
 265 ; CHECK-MVE-NEXT:    bx lr
 266 ;
 267 ; CHECK-MVEFP-LABEL: vcmp_olt_v4f32:
 268 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 269 ; CHECK-MVEFP-NEXT:    vcmp.f32 lt, q0, zr
 270 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
 271 ; CHECK-MVEFP-NEXT:    bx lr
 272 entry:
 273   %c = fcmp olt <4 x float> %src, zeroinitializer
 274   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 275   ret <4 x float> %s
 276 }
 277
 278 define arm_aapcs_vfpcc <4 x float> @vcmp_ole_v4f32(<4 x float> %src, <4 x float> %a, <4 x float> %b) {
 279 ; CHECK-MVE-LABEL: vcmp_ole_v4f32:
 280 ; CHECK-MVE:       @ %bb.0: @ %entry
 281 ; CHECK-MVE-NEXT:    vcmp.f32 s0, #0
 282 ; CHECK-MVE-NEXT:    movs r1, #0
 283 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 284 ; CHECK-MVE-NEXT:    it ls
 285 ; CHECK-MVE-NEXT:    movls r1, #1
 286 ; CHECK-MVE-NEXT:    cmp r1, #0
 287 ; CHECK-MVE-NEXT:    vcmp.f32 s1, #0
 288 ; CHECK-MVE-NEXT:    cset r1, ne
 289 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 290 ; CHECK-MVE-NEXT:    mov.w r2, #0
 291 ; CHECK-MVE-NEXT:    vcmp.f32 s2, #0
 292 ; CHECK-MVE-NEXT:    it ls
 293 ; CHECK-MVE-NEXT:    movls r2, #1
 294 ; CHECK-MVE-NEXT:    cmp r2, #0
 295 ; CHECK-MVE-NEXT:    cset r2, ne
 296 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 297 ; CHECK-MVE-NEXT:    mov.w r3, #0
 298 ; CHECK-MVE-NEXT:    vcmp.f32 s3, #0
 299 ; CHECK-MVE-NEXT:    it ls
 300 ; CHECK-MVE-NEXT:    movls r3, #1
 301 ; CHECK-MVE-NEXT:    cmp r3, #0
 302 ; CHECK-MVE-NEXT:    cset r3, ne
 303 ; CHECK-MVE-NEXT:    movs r0, #0
 304 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 305 ; CHECK-MVE-NEXT:    it ls
 306 ; CHECK-MVE-NEXT:    movls r0, #1
 307 ; CHECK-MVE-NEXT:    cmp r0, #0
 308 ; CHECK-MVE-NEXT:    cset r0, ne
 309 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 310 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s11, s7
 311 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 312 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s10, s6
 313 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 314 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s9, s5
 315 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 316 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s8, s4
 317 ; CHECK-MVE-NEXT:    bx lr
 318 ;
 319 ; CHECK-MVEFP-LABEL: vcmp_ole_v4f32:
 320 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 321 ; CHECK-MVEFP-NEXT:    vcmp.f32 le, q0, zr
 322 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
 323 ; CHECK-MVEFP-NEXT:    bx lr
 324 entry:
 325   %c = fcmp ole <4 x float> %src, zeroinitializer
 326   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 327   ret <4 x float> %s
 328 }
 329
 330 define arm_aapcs_vfpcc <4 x float> @vcmp_ueq_v4f32(<4 x float> %src, <4 x float> %a, <4 x float> %b) {
 331 ; CHECK-MVE-LABEL: vcmp_ueq_v4f32:
 332 ; CHECK-MVE:       @ %bb.0: @ %entry
 333 ; CHECK-MVE-NEXT:    vcmp.f32 s0, #0
 334 ; CHECK-MVE-NEXT:    movs r1, #0
 335 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 336 ; CHECK-MVE-NEXT:    vcmp.f32 s0, #0
 337 ; CHECK-MVE-NEXT:    it eq
 338 ; CHECK-MVE-NEXT:    moveq r1, #1
 339 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 340 ; CHECK-MVE-NEXT:    it vs
 341 ; CHECK-MVE-NEXT:    movvs r1, #1
 342 ; CHECK-MVE-NEXT:    cmp r1, #0
 343 ; CHECK-MVE-NEXT:    vcmp.f32 s1, #0
 344 ; CHECK-MVE-NEXT:    mov.w r2, #0
 345 ; CHECK-MVE-NEXT:    cset r1, ne
 346 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 347 ; CHECK-MVE-NEXT:    it eq
 348 ; CHECK-MVE-NEXT:    moveq r2, #1
 349 ; CHECK-MVE-NEXT:    vcmp.f32 s2, #0
 350 ; CHECK-MVE-NEXT:    it vs
 351 ; CHECK-MVE-NEXT:    movvs r2, #1
 352 ; CHECK-MVE-NEXT:    cmp r2, #0
 353 ; CHECK-MVE-NEXT:    mov.w r3, #0
 354 ; CHECK-MVE-NEXT:    cset r2, ne
 355 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 356 ; CHECK-MVE-NEXT:    it eq
 357 ; CHECK-MVE-NEXT:    moveq r3, #1
 358 ; CHECK-MVE-NEXT:    it vs
 359 ; CHECK-MVE-NEXT:    movvs r3, #1
 360 ; CHECK-MVE-NEXT:    cmp r3, #0
 361 ; CHECK-MVE-NEXT:    mov.w r0, #0
 362 ; CHECK-MVE-NEXT:    vcmp.f32 s3, #0
 363 ; CHECK-MVE-NEXT:    cset r3, ne
 364 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 365 ; CHECK-MVE-NEXT:    it eq
 366 ; CHECK-MVE-NEXT:    moveq r0, #1
 367 ; CHECK-MVE-NEXT:    it vs
 368 ; CHECK-MVE-NEXT:    movvs r0, #1
 369 ; CHECK-MVE-NEXT:    cmp r0, #0
 370 ; CHECK-MVE-NEXT:    cset r0, ne
 371 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 372 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s11, s7
 373 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 374 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s10, s6
 375 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 376 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s9, s5
 377 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 378 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s8, s4
 379 ; CHECK-MVE-NEXT:    bx lr
 380 ;
 381 ; CHECK-MVEFP-LABEL: vcmp_ueq_v4f32:
 382 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 383 ; CHECK-MVEFP-NEXT:    vmov.i32 q3, #0x0
 384 ; CHECK-MVEFP-NEXT:    vpt.f32 le, q3, q0
 385 ; CHECK-MVEFP-NEXT:    vcmpt.f32 le, q0, q3
 386 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
 387 ; CHECK-MVEFP-NEXT:    bx lr
 388 entry:
 389   %c = fcmp ueq <4 x float> %src, zeroinitializer
 390   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 391   ret <4 x float> %s
 392 }
 393
 394 define arm_aapcs_vfpcc <4 x float> @vcmp_une_v4f32(<4 x float> %src, <4 x float> %a, <4 x float> %b) {
 395 ; CHECK-MVE-LABEL: vcmp_une_v4f32:
 396 ; CHECK-MVE:       @ %bb.0: @ %entry
 397 ; CHECK-MVE-NEXT:    vcmp.f32 s0, #0
 398 ; CHECK-MVE-NEXT:    movs r1, #0
 399 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 400 ; CHECK-MVE-NEXT:    it ne
 401 ; CHECK-MVE-NEXT:    movne r1, #1
 402 ; CHECK-MVE-NEXT:    cmp r1, #0
 403 ; CHECK-MVE-NEXT:    vcmp.f32 s1, #0
 404 ; CHECK-MVE-NEXT:    cset r1, ne
 405 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 406 ; CHECK-MVE-NEXT:    mov.w r2, #0
 407 ; CHECK-MVE-NEXT:    vcmp.f32 s2, #0
 408 ; CHECK-MVE-NEXT:    it ne
 409 ; CHECK-MVE-NEXT:    movne r2, #1
 410 ; CHECK-MVE-NEXT:    cmp r2, #0
 411 ; CHECK-MVE-NEXT:    cset r2, ne
 412 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 413 ; CHECK-MVE-NEXT:    mov.w r3, #0
 414 ; CHECK-MVE-NEXT:    vcmp.f32 s3, #0
 415 ; CHECK-MVE-NEXT:    it ne
 416 ; CHECK-MVE-NEXT:    movne r3, #1
 417 ; CHECK-MVE-NEXT:    cmp r3, #0
 418 ; CHECK-MVE-NEXT:    cset r3, ne
 419 ; CHECK-MVE-NEXT:    movs r0, #0
 420 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 421 ; CHECK-MVE-NEXT:    it ne
 422 ; CHECK-MVE-NEXT:    movne r0, #1
 423 ; CHECK-MVE-NEXT:    cmp r0, #0
 424 ; CHECK-MVE-NEXT:    cset r0, ne
 425 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 426 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s11, s7
 427 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 428 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s10, s6
 429 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 430 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s9, s5
 431 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 432 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s8, s4
 433 ; CHECK-MVE-NEXT:    bx lr
 434 ;
 435 ; CHECK-MVEFP-LABEL: vcmp_une_v4f32:
 436 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 437 ; CHECK-MVEFP-NEXT:    vcmp.f32 ne, q0, zr
 438 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
 439 ; CHECK-MVEFP-NEXT:    bx lr
 440 entry:
 441   %c = fcmp une <4 x float> %src, zeroinitializer
 442   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 443   ret <4 x float> %s
 444 }
 445
 446 define arm_aapcs_vfpcc <4 x float> @vcmp_ugt_v4f32(<4 x float> %src, <4 x float> %a, <4 x float> %b) {
 447 ; CHECK-MVE-LABEL: vcmp_ugt_v4f32:
 448 ; CHECK-MVE:       @ %bb.0: @ %entry
 449 ; CHECK-MVE-NEXT:    vcmp.f32 s0, #0
 450 ; CHECK-MVE-NEXT:    movs r1, #0
 451 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 452 ; CHECK-MVE-NEXT:    it hi
 453 ; CHECK-MVE-NEXT:    movhi r1, #1
 454 ; CHECK-MVE-NEXT:    cmp r1, #0
 455 ; CHECK-MVE-NEXT:    vcmp.f32 s1, #0
 456 ; CHECK-MVE-NEXT:    cset r1, ne
 457 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 458 ; CHECK-MVE-NEXT:    mov.w r2, #0
 459 ; CHECK-MVE-NEXT:    vcmp.f32 s2, #0
 460 ; CHECK-MVE-NEXT:    it hi
 461 ; CHECK-MVE-NEXT:    movhi r2, #1
 462 ; CHECK-MVE-NEXT:    cmp r2, #0
 463 ; CHECK-MVE-NEXT:    cset r2, ne
 464 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 465 ; CHECK-MVE-NEXT:    mov.w r3, #0
 466 ; CHECK-MVE-NEXT:    vcmp.f32 s3, #0
 467 ; CHECK-MVE-NEXT:    it hi
 468 ; CHECK-MVE-NEXT:    movhi r3, #1
 469 ; CHECK-MVE-NEXT:    cmp r3, #0
 470 ; CHECK-MVE-NEXT:    cset r3, ne
 471 ; CHECK-MVE-NEXT:    movs r0, #0
 472 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 473 ; CHECK-MVE-NEXT:    it hi
 474 ; CHECK-MVE-NEXT:    movhi r0, #1
 475 ; CHECK-MVE-NEXT:    cmp r0, #0
 476 ; CHECK-MVE-NEXT:    cset r0, ne
 477 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 478 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s11, s7
 479 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 480 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s10, s6
 481 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 482 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s9, s5
 483 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 484 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s8, s4
 485 ; CHECK-MVE-NEXT:    bx lr
 486 ;
 487 ; CHECK-MVEFP-LABEL: vcmp_ugt_v4f32:
 488 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 489 ; CHECK-MVEFP-NEXT:    vcmp.f32 le, q0, zr
 490 ; CHECK-MVEFP-NEXT:    vpnot
 491 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
 492 ; CHECK-MVEFP-NEXT:    bx lr
 493 entry:
 494   %c = fcmp ugt <4 x float> %src, zeroinitializer
 495   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 496   ret <4 x float> %s
 497 }
 498
 499 define arm_aapcs_vfpcc <4 x float> @vcmp_uge_v4f32(<4 x float> %src, <4 x float> %a, <4 x float> %b) {
 500 ; CHECK-MVE-LABEL: vcmp_uge_v4f32:
 501 ; CHECK-MVE:       @ %bb.0: @ %entry
 502 ; CHECK-MVE-NEXT:    vcmp.f32 s0, #0
 503 ; CHECK-MVE-NEXT:    movs r1, #0
 504 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 505 ; CHECK-MVE-NEXT:    it pl
 506 ; CHECK-MVE-NEXT:    movpl r1, #1
 507 ; CHECK-MVE-NEXT:    cmp r1, #0
 508 ; CHECK-MVE-NEXT:    vcmp.f32 s1, #0
 509 ; CHECK-MVE-NEXT:    cset r1, ne
 510 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 511 ; CHECK-MVE-NEXT:    mov.w r2, #0
 512 ; CHECK-MVE-NEXT:    vcmp.f32 s2, #0
 513 ; CHECK-MVE-NEXT:    it pl
 514 ; CHECK-MVE-NEXT:    movpl r2, #1
 515 ; CHECK-MVE-NEXT:    cmp r2, #0
 516 ; CHECK-MVE-NEXT:    cset r2, ne
 517 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 518 ; CHECK-MVE-NEXT:    mov.w r3, #0
 519 ; CHECK-MVE-NEXT:    vcmp.f32 s3, #0
 520 ; CHECK-MVE-NEXT:    it pl
 521 ; CHECK-MVE-NEXT:    movpl r3, #1
 522 ; CHECK-MVE-NEXT:    cmp r3, #0
 523 ; CHECK-MVE-NEXT:    cset r3, ne
 524 ; CHECK-MVE-NEXT:    movs r0, #0
 525 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 526 ; CHECK-MVE-NEXT:    it pl
 527 ; CHECK-MVE-NEXT:    movpl r0, #1
 528 ; CHECK-MVE-NEXT:    cmp r0, #0
 529 ; CHECK-MVE-NEXT:    cset r0, ne
 530 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 531 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s11, s7
 532 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 533 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s10, s6
 534 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 535 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s9, s5
 536 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 537 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s8, s4
 538 ; CHECK-MVE-NEXT:    bx lr
 539 ;
 540 ; CHECK-MVEFP-LABEL: vcmp_uge_v4f32:
 541 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 542 ; CHECK-MVEFP-NEXT:    vcmp.f32 lt, q0, zr
 543 ; CHECK-MVEFP-NEXT:    vpnot
 544 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
 545 ; CHECK-MVEFP-NEXT:    bx lr
 546 entry:
 547   %c = fcmp uge <4 x float> %src, zeroinitializer
 548   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 549   ret <4 x float> %s
 550 }
 551
 552 define arm_aapcs_vfpcc <4 x float> @vcmp_ult_v4f32(<4 x float> %src, <4 x float> %a, <4 x float> %b) {
 553 ; CHECK-MVE-LABEL: vcmp_ult_v4f32:
 554 ; CHECK-MVE:       @ %bb.0: @ %entry
 555 ; CHECK-MVE-NEXT:    vcmp.f32 s0, #0
 556 ; CHECK-MVE-NEXT:    movs r1, #0
 557 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 558 ; CHECK-MVE-NEXT:    it lt
 559 ; CHECK-MVE-NEXT:    movlt r1, #1
 560 ; CHECK-MVE-NEXT:    cmp r1, #0
 561 ; CHECK-MVE-NEXT:    vcmp.f32 s1, #0
 562 ; CHECK-MVE-NEXT:    cset r1, ne
 563 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 564 ; CHECK-MVE-NEXT:    mov.w r2, #0
 565 ; CHECK-MVE-NEXT:    vcmp.f32 s2, #0
 566 ; CHECK-MVE-NEXT:    it lt
 567 ; CHECK-MVE-NEXT:    movlt r2, #1
 568 ; CHECK-MVE-NEXT:    cmp r2, #0
 569 ; CHECK-MVE-NEXT:    cset r2, ne
 570 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 571 ; CHECK-MVE-NEXT:    mov.w r3, #0
 572 ; CHECK-MVE-NEXT:    vcmp.f32 s3, #0
 573 ; CHECK-MVE-NEXT:    it lt
 574 ; CHECK-MVE-NEXT:    movlt r3, #1
 575 ; CHECK-MVE-NEXT:    cmp r3, #0
 576 ; CHECK-MVE-NEXT:    cset r3, ne
 577 ; CHECK-MVE-NEXT:    movs r0, #0
 578 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 579 ; CHECK-MVE-NEXT:    it lt
 580 ; CHECK-MVE-NEXT:    movlt r0, #1
 581 ; CHECK-MVE-NEXT:    cmp r0, #0
 582 ; CHECK-MVE-NEXT:    cset r0, ne
 583 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 584 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s11, s7
 585 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 586 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s10, s6
 587 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 588 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s9, s5
 589 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 590 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s8, s4
 591 ; CHECK-MVE-NEXT:    bx lr
 592 ;
 593 ; CHECK-MVEFP-LABEL: vcmp_ult_v4f32:
 594 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 595 ; CHECK-MVEFP-NEXT:    vcmp.f32 ge, q0, zr
 596 ; CHECK-MVEFP-NEXT:    vpnot
 597 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
 598 ; CHECK-MVEFP-NEXT:    bx lr
 599 entry:
 600   %c = fcmp ult <4 x float> %src, zeroinitializer
 601   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 602   ret <4 x float> %s
 603 }
 604
 605 define arm_aapcs_vfpcc <4 x float> @vcmp_ule_v4f32(<4 x float> %src, <4 x float> %a, <4 x float> %b) {
 606 ; CHECK-MVE-LABEL: vcmp_ule_v4f32:
 607 ; CHECK-MVE:       @ %bb.0: @ %entry
 608 ; CHECK-MVE-NEXT:    vcmp.f32 s0, #0
 609 ; CHECK-MVE-NEXT:    movs r1, #0
 610 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 611 ; CHECK-MVE-NEXT:    it le
 612 ; CHECK-MVE-NEXT:    movle r1, #1
 613 ; CHECK-MVE-NEXT:    cmp r1, #0
 614 ; CHECK-MVE-NEXT:    vcmp.f32 s1, #0
 615 ; CHECK-MVE-NEXT:    cset r1, ne
 616 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 617 ; CHECK-MVE-NEXT:    mov.w r2, #0
 618 ; CHECK-MVE-NEXT:    vcmp.f32 s2, #0
 619 ; CHECK-MVE-NEXT:    it le
 620 ; CHECK-MVE-NEXT:    movle r2, #1
 621 ; CHECK-MVE-NEXT:    cmp r2, #0
 622 ; CHECK-MVE-NEXT:    cset r2, ne
 623 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 624 ; CHECK-MVE-NEXT:    mov.w r3, #0
 625 ; CHECK-MVE-NEXT:    vcmp.f32 s3, #0
 626 ; CHECK-MVE-NEXT:    it le
 627 ; CHECK-MVE-NEXT:    movle r3, #1
 628 ; CHECK-MVE-NEXT:    cmp r3, #0
 629 ; CHECK-MVE-NEXT:    cset r3, ne
 630 ; CHECK-MVE-NEXT:    movs r0, #0
 631 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 632 ; CHECK-MVE-NEXT:    it le
 633 ; CHECK-MVE-NEXT:    movle r0, #1
 634 ; CHECK-MVE-NEXT:    cmp r0, #0
 635 ; CHECK-MVE-NEXT:    cset r0, ne
 636 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 637 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s11, s7
 638 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 639 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s10, s6
 640 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 641 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s9, s5
 642 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 643 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s8, s4
 644 ; CHECK-MVE-NEXT:    bx lr
 645 ;
 646 ; CHECK-MVEFP-LABEL: vcmp_ule_v4f32:
 647 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 648 ; CHECK-MVEFP-NEXT:    vcmp.f32 gt, q0, zr
 649 ; CHECK-MVEFP-NEXT:    vpnot
 650 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
 651 ; CHECK-MVEFP-NEXT:    bx lr
 652 entry:
 653   %c = fcmp ule <4 x float> %src, zeroinitializer
 654   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 655   ret <4 x float> %s
 656 }
 657
 658 define arm_aapcs_vfpcc <4 x float> @vcmp_ord_v4f32(<4 x float> %src, <4 x float> %a, <4 x float> %b) {
 659 ; CHECK-MVE-LABEL: vcmp_ord_v4f32:
 660 ; CHECK-MVE:       @ %bb.0: @ %entry
 661 ; CHECK-MVE-NEXT:    vcmp.f32 s0, s0
 662 ; CHECK-MVE-NEXT:    movs r1, #0
 663 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 664 ; CHECK-MVE-NEXT:    it vc
 665 ; CHECK-MVE-NEXT:    movvc r1, #1
 666 ; CHECK-MVE-NEXT:    cmp r1, #0
 667 ; CHECK-MVE-NEXT:    vcmp.f32 s1, s1
 668 ; CHECK-MVE-NEXT:    cset r1, ne
 669 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 670 ; CHECK-MVE-NEXT:    mov.w r2, #0
 671 ; CHECK-MVE-NEXT:    vcmp.f32 s2, s2
 672 ; CHECK-MVE-NEXT:    it vc
 673 ; CHECK-MVE-NEXT:    movvc r2, #1
 674 ; CHECK-MVE-NEXT:    cmp r2, #0
 675 ; CHECK-MVE-NEXT:    cset r2, ne
 676 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 677 ; CHECK-MVE-NEXT:    mov.w r3, #0
 678 ; CHECK-MVE-NEXT:    vcmp.f32 s3, s3
 679 ; CHECK-MVE-NEXT:    it vc
 680 ; CHECK-MVE-NEXT:    movvc r3, #1
 681 ; CHECK-MVE-NEXT:    cmp r3, #0
 682 ; CHECK-MVE-NEXT:    cset r3, ne
 683 ; CHECK-MVE-NEXT:    movs r0, #0
 684 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 685 ; CHECK-MVE-NEXT:    it vc
 686 ; CHECK-MVE-NEXT:    movvc r0, #1
 687 ; CHECK-MVE-NEXT:    cmp r0, #0
 688 ; CHECK-MVE-NEXT:    cset r0, ne
 689 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 690 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s11, s7
 691 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 692 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s10, s6
 693 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 694 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s9, s5
 695 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 696 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s8, s4
 697 ; CHECK-MVE-NEXT:    bx lr
 698 ;
 699 ; CHECK-MVEFP-LABEL: vcmp_ord_v4f32:
 700 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 701 ; CHECK-MVEFP-NEXT:    vmov.i32 q3, #0x0
 702 ; CHECK-MVEFP-NEXT:    vpt.f32 le, q3, q0
 703 ; CHECK-MVEFP-NEXT:    vcmpt.f32 lt, q0, q3
 704 ; CHECK-MVEFP-NEXT:    vpnot
 705 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
 706 ; CHECK-MVEFP-NEXT:    bx lr
 707 entry:
 708   %c = fcmp ord <4 x float> %src, zeroinitializer
 709   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 710   ret <4 x float> %s
 711 }
 712
 713 define arm_aapcs_vfpcc <4 x float> @vcmp_uno_v4f32(<4 x float> %src, <4 x float> %a, <4 x float> %b) {
 714 ; CHECK-MVE-LABEL: vcmp_uno_v4f32:
 715 ; CHECK-MVE:       @ %bb.0: @ %entry
 716 ; CHECK-MVE-NEXT:    vcmp.f32 s0, s0
 717 ; CHECK-MVE-NEXT:    movs r1, #0
 718 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 719 ; CHECK-MVE-NEXT:    it vs
 720 ; CHECK-MVE-NEXT:    movvs r1, #1
 721 ; CHECK-MVE-NEXT:    cmp r1, #0
 722 ; CHECK-MVE-NEXT:    vcmp.f32 s1, s1
 723 ; CHECK-MVE-NEXT:    cset r1, ne
 724 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 725 ; CHECK-MVE-NEXT:    mov.w r2, #0
 726 ; CHECK-MVE-NEXT:    vcmp.f32 s2, s2
 727 ; CHECK-MVE-NEXT:    it vs
 728 ; CHECK-MVE-NEXT:    movvs r2, #1
 729 ; CHECK-MVE-NEXT:    cmp r2, #0
 730 ; CHECK-MVE-NEXT:    cset r2, ne
 731 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 732 ; CHECK-MVE-NEXT:    mov.w r3, #0
 733 ; CHECK-MVE-NEXT:    vcmp.f32 s3, s3
 734 ; CHECK-MVE-NEXT:    it vs
 735 ; CHECK-MVE-NEXT:    movvs r3, #1
 736 ; CHECK-MVE-NEXT:    cmp r3, #0
 737 ; CHECK-MVE-NEXT:    cset r3, ne
 738 ; CHECK-MVE-NEXT:    movs r0, #0
 739 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 740 ; CHECK-MVE-NEXT:    it vs
 741 ; CHECK-MVE-NEXT:    movvs r0, #1
 742 ; CHECK-MVE-NEXT:    cmp r0, #0
 743 ; CHECK-MVE-NEXT:    cset r0, ne
 744 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 745 ; CHECK-MVE-NEXT:    vseleq.f32 s3, s11, s7
 746 ; CHECK-MVE-NEXT:    lsls r0, r3, #31
 747 ; CHECK-MVE-NEXT:    vseleq.f32 s2, s10, s6
 748 ; CHECK-MVE-NEXT:    lsls r0, r2, #31
 749 ; CHECK-MVE-NEXT:    vseleq.f32 s1, s9, s5
 750 ; CHECK-MVE-NEXT:    lsls r0, r1, #31
 751 ; CHECK-MVE-NEXT:    vseleq.f32 s0, s8, s4
 752 ; CHECK-MVE-NEXT:    bx lr
 753 ;
 754 ; CHECK-MVEFP-LABEL: vcmp_uno_v4f32:
 755 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 756 ; CHECK-MVEFP-NEXT:    vmov.i32 q3, #0x0
 757 ; CHECK-MVEFP-NEXT:    vpt.f32 le, q3, q0
 758 ; CHECK-MVEFP-NEXT:    vcmpt.f32 lt, q0, q3
 759 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
 760 ; CHECK-MVEFP-NEXT:    bx lr
 761 entry:
 762   %c = fcmp uno <4 x float> %src, zeroinitializer
 763   %s = select <4 x i1> %c, <4 x float> %a, <4 x float> %b
 764   ret <4 x float> %s
 765 }
 766
 767
 768
 769 define arm_aapcs_vfpcc <8 x half> @vcmp_oeq_v8f16(<8 x half> %src, <8 x half> %a, <8 x half> %b) {
 770 ; CHECK-MVE-LABEL: vcmp_oeq_v8f16:
 771 ; CHECK-MVE:       @ %bb.0: @ %entry
 772 ; CHECK-MVE-NEXT:    .vsave {d8, d9}
 773 ; CHECK-MVE-NEXT:    vpush {d8, d9}
 774 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s0
 775 ; CHECK-MVE-NEXT:    movs r1, #0
 776 ; CHECK-MVE-NEXT:    vcmp.f16 s12, #0
 777 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s4
 778 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 779 ; CHECK-MVE-NEXT:    it eq
 780 ; CHECK-MVE-NEXT:    moveq r1, #1
 781 ; CHECK-MVE-NEXT:    cmp r1, #0
 782 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
 783 ; CHECK-MVE-NEXT:    cset r1, ne
 784 ; CHECK-MVE-NEXT:    vmovx.f16 s14, s8
 785 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 786 ; CHECK-MVE-NEXT:    mov.w r2, #0
 787 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s14, s12
 788 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 789 ; CHECK-MVE-NEXT:    it eq
 790 ; CHECK-MVE-NEXT:    moveq r2, #1
 791 ; CHECK-MVE-NEXT:    cmp r2, #0
 792 ; CHECK-MVE-NEXT:    cset r2, ne
 793 ; CHECK-MVE-NEXT:    vmov r1, s12
 794 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
 795 ; CHECK-MVE-NEXT:    vcmp.f16 s1, #0
 796 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s8, s4
 797 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 798 ; CHECK-MVE-NEXT:    vmov r2, s12
 799 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s9
 800 ; CHECK-MVE-NEXT:    vmov.16 q3[0], r2
 801 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
 802 ; CHECK-MVE-NEXT:    vmov.16 q3[1], r1
 803 ; CHECK-MVE-NEXT:    mov.w r1, #0
 804 ; CHECK-MVE-NEXT:    it eq
 805 ; CHECK-MVE-NEXT:    moveq r1, #1
 806 ; CHECK-MVE-NEXT:    cmp r1, #0
 807 ; CHECK-MVE-NEXT:    cset r1, ne
 808 ; CHECK-MVE-NEXT:    movs r0, #0
 809 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 810 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s9, s5
 811 ; CHECK-MVE-NEXT:    vmov r1, s16
 812 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s1
 813 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
 814 ; CHECK-MVE-NEXT:    vmov.16 q3[2], r1
 815 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 816 ; CHECK-MVE-NEXT:    mov.w r1, #0
 817 ; CHECK-MVE-NEXT:    it eq
 818 ; CHECK-MVE-NEXT:    moveq r1, #1
 819 ; CHECK-MVE-NEXT:    cmp r1, #0
 820 ; CHECK-MVE-NEXT:    cset r1, ne
 821 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s5
 822 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 823 ; CHECK-MVE-NEXT:    vcmp.f16 s2, #0
 824 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
 825 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 826 ; CHECK-MVE-NEXT:    vmov r1, s16
 827 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s10
 828 ; CHECK-MVE-NEXT:    vmov.16 q3[3], r1
 829 ; CHECK-MVE-NEXT:    mov.w r1, #0
 830 ; CHECK-MVE-NEXT:    it eq
 831 ; CHECK-MVE-NEXT:    moveq r1, #1
 832 ; CHECK-MVE-NEXT:    cmp r1, #0
 833 ; CHECK-MVE-NEXT:    cset r1, ne
 834 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 835 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s10, s6
 836 ; CHECK-MVE-NEXT:    vmov r1, s16
 837 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s2
 838 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
 839 ; CHECK-MVE-NEXT:    vmov.16 q3[4], r1
 840 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 841 ; CHECK-MVE-NEXT:    mov.w r1, #0
 842 ; CHECK-MVE-NEXT:    it eq
 843 ; CHECK-MVE-NEXT:    moveq r1, #1
 844 ; CHECK-MVE-NEXT:    cmp r1, #0
 845 ; CHECK-MVE-NEXT:    cset r1, ne
 846 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s6
 847 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 848 ; CHECK-MVE-NEXT:    vcmp.f16 s3, #0
 849 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
 850 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 851 ; CHECK-MVE-NEXT:    vmov r1, s16
 852 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
 853 ; CHECK-MVE-NEXT:    vmov.16 q3[5], r1
 854 ; CHECK-MVE-NEXT:    mov.w r1, #0
 855 ; CHECK-MVE-NEXT:    it eq
 856 ; CHECK-MVE-NEXT:    moveq r1, #1
 857 ; CHECK-MVE-NEXT:    cmp r1, #0
 858 ; CHECK-MVE-NEXT:    cset r1, ne
 859 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s7
 860 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 861 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s11
 862 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s11, s7
 863 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 864 ; CHECK-MVE-NEXT:    it eq
 865 ; CHECK-MVE-NEXT:    moveq r0, #1
 866 ; CHECK-MVE-NEXT:    cmp r0, #0
 867 ; CHECK-MVE-NEXT:    cset r0, ne
 868 ; CHECK-MVE-NEXT:    vmov r1, s16
 869 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
 870 ; CHECK-MVE-NEXT:    vmov.16 q3[6], r1
 871 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
 872 ; CHECK-MVE-NEXT:    vmov r0, s0
 873 ; CHECK-MVE-NEXT:    vmov.16 q3[7], r0
 874 ; CHECK-MVE-NEXT:    vmov q0, q3
 875 ; CHECK-MVE-NEXT:    vpop {d8, d9}
 876 ; CHECK-MVE-NEXT:    bx lr
 877 ;
 878 ; CHECK-MVEFP-LABEL: vcmp_oeq_v8f16:
 879 ; CHECK-MVEFP:       @ %bb.0: @ %entry
 880 ; CHECK-MVEFP-NEXT:    vcmp.f16 eq, q0, zr
 881 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
 882 ; CHECK-MVEFP-NEXT:    bx lr
 883 entry:
 884   %c = fcmp oeq <8 x half> %src, zeroinitializer
 885   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
 886   ret <8 x half> %s
 887 }
 888
 889 define arm_aapcs_vfpcc <8 x half> @vcmp_one_v8f16(<8 x half> %src, <8 x half> %a, <8 x half> %b) {
 890 ; CHECK-MVE-LABEL: vcmp_one_v8f16:
 891 ; CHECK-MVE:       @ %bb.0: @ %entry
 892 ; CHECK-MVE-NEXT:    .vsave {d8, d9}
 893 ; CHECK-MVE-NEXT:    vpush {d8, d9}
 894 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s0
 895 ; CHECK-MVE-NEXT:    movs r1, #0
 896 ; CHECK-MVE-NEXT:    vcmp.f16 s12, #0
 897 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s4
 898 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 899 ; CHECK-MVE-NEXT:    it mi
 900 ; CHECK-MVE-NEXT:    movmi r1, #1
 901 ; CHECK-MVE-NEXT:    it gt
 902 ; CHECK-MVE-NEXT:    movgt r1, #1
 903 ; CHECK-MVE-NEXT:    cmp r1, #0
 904 ; CHECK-MVE-NEXT:    cset r1, ne
 905 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
 906 ; CHECK-MVE-NEXT:    vmovx.f16 s14, s8
 907 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 908 ; CHECK-MVE-NEXT:    mov.w r2, #0
 909 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s14, s12
 910 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 911 ; CHECK-MVE-NEXT:    it mi
 912 ; CHECK-MVE-NEXT:    movmi r2, #1
 913 ; CHECK-MVE-NEXT:    it gt
 914 ; CHECK-MVE-NEXT:    movgt r2, #1
 915 ; CHECK-MVE-NEXT:    cmp r2, #0
 916 ; CHECK-MVE-NEXT:    cset r2, ne
 917 ; CHECK-MVE-NEXT:    vmov r1, s12
 918 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
 919 ; CHECK-MVE-NEXT:    vcmp.f16 s1, #0
 920 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s8, s4
 921 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 922 ; CHECK-MVE-NEXT:    vmov r2, s12
 923 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s9
 924 ; CHECK-MVE-NEXT:    vmov.16 q3[0], r2
 925 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
 926 ; CHECK-MVE-NEXT:    vmov.16 q3[1], r1
 927 ; CHECK-MVE-NEXT:    mov.w r1, #0
 928 ; CHECK-MVE-NEXT:    it mi
 929 ; CHECK-MVE-NEXT:    movmi r1, #1
 930 ; CHECK-MVE-NEXT:    mov.w r0, #0
 931 ; CHECK-MVE-NEXT:    it gt
 932 ; CHECK-MVE-NEXT:    movgt r1, #1
 933 ; CHECK-MVE-NEXT:    cmp r1, #0
 934 ; CHECK-MVE-NEXT:    cset r1, ne
 935 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 936 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s9, s5
 937 ; CHECK-MVE-NEXT:    vmov r1, s16
 938 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s1
 939 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
 940 ; CHECK-MVE-NEXT:    vmov.16 q3[2], r1
 941 ; CHECK-MVE-NEXT:    movs r1, #0
 942 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 943 ; CHECK-MVE-NEXT:    it mi
 944 ; CHECK-MVE-NEXT:    movmi r1, #1
 945 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s5
 946 ; CHECK-MVE-NEXT:    it gt
 947 ; CHECK-MVE-NEXT:    movgt r1, #1
 948 ; CHECK-MVE-NEXT:    cmp r1, #0
 949 ; CHECK-MVE-NEXT:    cset r1, ne
 950 ; CHECK-MVE-NEXT:    vcmp.f16 s2, #0
 951 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 952 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
 953 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 954 ; CHECK-MVE-NEXT:    vmov r1, s16
 955 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s10
 956 ; CHECK-MVE-NEXT:    vmov.16 q3[3], r1
 957 ; CHECK-MVE-NEXT:    mov.w r1, #0
 958 ; CHECK-MVE-NEXT:    it mi
 959 ; CHECK-MVE-NEXT:    movmi r1, #1
 960 ; CHECK-MVE-NEXT:    it gt
 961 ; CHECK-MVE-NEXT:    movgt r1, #1
 962 ; CHECK-MVE-NEXT:    cmp r1, #0
 963 ; CHECK-MVE-NEXT:    cset r1, ne
 964 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 965 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s10, s6
 966 ; CHECK-MVE-NEXT:    vmov r1, s16
 967 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s2
 968 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
 969 ; CHECK-MVE-NEXT:    vmov.16 q3[4], r1
 970 ; CHECK-MVE-NEXT:    movs r1, #0
 971 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 972 ; CHECK-MVE-NEXT:    it mi
 973 ; CHECK-MVE-NEXT:    movmi r1, #1
 974 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s6
 975 ; CHECK-MVE-NEXT:    it gt
 976 ; CHECK-MVE-NEXT:    movgt r1, #1
 977 ; CHECK-MVE-NEXT:    cmp r1, #0
 978 ; CHECK-MVE-NEXT:    cset r1, ne
 979 ; CHECK-MVE-NEXT:    vcmp.f16 s3, #0
 980 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 981 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s11
 982 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
 983 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 984 ; CHECK-MVE-NEXT:    vmov r1, s16
 985 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
 986 ; CHECK-MVE-NEXT:    vmov.16 q3[5], r1
 987 ; CHECK-MVE-NEXT:    mov.w r1, #0
 988 ; CHECK-MVE-NEXT:    it mi
 989 ; CHECK-MVE-NEXT:    movmi r1, #1
 990 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s7
 991 ; CHECK-MVE-NEXT:    it gt
 992 ; CHECK-MVE-NEXT:    movgt r1, #1
 993 ; CHECK-MVE-NEXT:    cmp r1, #0
 994 ; CHECK-MVE-NEXT:    cset r1, ne
 995 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
 996 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s11, s7
 997 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
 998 ; CHECK-MVE-NEXT:    it mi
 999 ; CHECK-MVE-NEXT:    movmi r0, #1
1000 ; CHECK-MVE-NEXT:    vmov r1, s16
1001 ; CHECK-MVE-NEXT:    it gt
1002 ; CHECK-MVE-NEXT:    movgt r0, #1
1003 ; CHECK-MVE-NEXT:    cmp r0, #0
1004 ; CHECK-MVE-NEXT:    cset r0, ne
1005 ; CHECK-MVE-NEXT:    vmov.16 q3[6], r1
1006 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
1007 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
1008 ; CHECK-MVE-NEXT:    vmov r0, s0
1009 ; CHECK-MVE-NEXT:    vmov.16 q3[7], r0
1010 ; CHECK-MVE-NEXT:    vmov q0, q3
1011 ; CHECK-MVE-NEXT:    vpop {d8, d9}
1012 ; CHECK-MVE-NEXT:    bx lr
1013 ;
1014 ; CHECK-MVEFP-LABEL: vcmp_one_v8f16:
1015 ; CHECK-MVEFP:       @ %bb.0: @ %entry
1016 ; CHECK-MVEFP-NEXT:    vmov.i32 q3, #0x0
1017 ; CHECK-MVEFP-NEXT:    vpt.f16 le, q3, q0
1018 ; CHECK-MVEFP-NEXT:    vcmpt.f16 le, q0, q3
1019 ; CHECK-MVEFP-NEXT:    vpnot
1020 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
1021 ; CHECK-MVEFP-NEXT:    bx lr
1022 entry:
1023   %c = fcmp one <8 x half> %src, zeroinitializer
1024   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
1025   ret <8 x half> %s
1026 }
1027
1028 define arm_aapcs_vfpcc <8 x half> @vcmp_ogt_v8f16(<8 x half> %src, <8 x half> %a, <8 x half> %b) {
1029 ; CHECK-MVE-LABEL: vcmp_ogt_v8f16:
1030 ; CHECK-MVE:       @ %bb.0: @ %entry
1031 ; CHECK-MVE-NEXT:    .vsave {d8, d9}
1032 ; CHECK-MVE-NEXT:    vpush {d8, d9}
1033 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s0
1034 ; CHECK-MVE-NEXT:    movs r1, #0
1035 ; CHECK-MVE-NEXT:    vcmp.f16 s12, #0
1036 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s4
1037 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1038 ; CHECK-MVE-NEXT:    it gt
1039 ; CHECK-MVE-NEXT:    movgt r1, #1
1040 ; CHECK-MVE-NEXT:    cmp r1, #0
1041 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
1042 ; CHECK-MVE-NEXT:    cset r1, ne
1043 ; CHECK-MVE-NEXT:    vmovx.f16 s14, s8
1044 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1045 ; CHECK-MVE-NEXT:    mov.w r2, #0
1046 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s14, s12
1047 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1048 ; CHECK-MVE-NEXT:    it gt
1049 ; CHECK-MVE-NEXT:    movgt r2, #1
1050 ; CHECK-MVE-NEXT:    cmp r2, #0
1051 ; CHECK-MVE-NEXT:    cset r2, ne
1052 ; CHECK-MVE-NEXT:    vmov r1, s12
1053 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
1054 ; CHECK-MVE-NEXT:    vcmp.f16 s1, #0
1055 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s8, s4
1056 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1057 ; CHECK-MVE-NEXT:    vmov r2, s12
1058 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s9
1059 ; CHECK-MVE-NEXT:    vmov.16 q3[0], r2
1060 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
1061 ; CHECK-MVE-NEXT:    vmov.16 q3[1], r1
1062 ; CHECK-MVE-NEXT:    mov.w r1, #0
1063 ; CHECK-MVE-NEXT:    it gt
1064 ; CHECK-MVE-NEXT:    movgt r1, #1
1065 ; CHECK-MVE-NEXT:    cmp r1, #0
1066 ; CHECK-MVE-NEXT:    cset r1, ne
1067 ; CHECK-MVE-NEXT:    movs r0, #0
1068 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1069 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s9, s5
1070 ; CHECK-MVE-NEXT:    vmov r1, s16
1071 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s1
1072 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
1073 ; CHECK-MVE-NEXT:    vmov.16 q3[2], r1
1074 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1075 ; CHECK-MVE-NEXT:    mov.w r1, #0
1076 ; CHECK-MVE-NEXT:    it gt
1077 ; CHECK-MVE-NEXT:    movgt r1, #1
1078 ; CHECK-MVE-NEXT:    cmp r1, #0
1079 ; CHECK-MVE-NEXT:    cset r1, ne
1080 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s5
1081 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1082 ; CHECK-MVE-NEXT:    vcmp.f16 s2, #0
1083 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1084 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1085 ; CHECK-MVE-NEXT:    vmov r1, s16
1086 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s10
1087 ; CHECK-MVE-NEXT:    vmov.16 q3[3], r1
1088 ; CHECK-MVE-NEXT:    mov.w r1, #0
1089 ; CHECK-MVE-NEXT:    it gt
1090 ; CHECK-MVE-NEXT:    movgt r1, #1
1091 ; CHECK-MVE-NEXT:    cmp r1, #0
1092 ; CHECK-MVE-NEXT:    cset r1, ne
1093 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1094 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s10, s6
1095 ; CHECK-MVE-NEXT:    vmov r1, s16
1096 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s2
1097 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
1098 ; CHECK-MVE-NEXT:    vmov.16 q3[4], r1
1099 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1100 ; CHECK-MVE-NEXT:    mov.w r1, #0
1101 ; CHECK-MVE-NEXT:    it gt
1102 ; CHECK-MVE-NEXT:    movgt r1, #1
1103 ; CHECK-MVE-NEXT:    cmp r1, #0
1104 ; CHECK-MVE-NEXT:    cset r1, ne
1105 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s6
1106 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1107 ; CHECK-MVE-NEXT:    vcmp.f16 s3, #0
1108 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1109 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1110 ; CHECK-MVE-NEXT:    vmov r1, s16
1111 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
1112 ; CHECK-MVE-NEXT:    vmov.16 q3[5], r1
1113 ; CHECK-MVE-NEXT:    mov.w r1, #0
1114 ; CHECK-MVE-NEXT:    it gt
1115 ; CHECK-MVE-NEXT:    movgt r1, #1
1116 ; CHECK-MVE-NEXT:    cmp r1, #0
1117 ; CHECK-MVE-NEXT:    cset r1, ne
1118 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s7
1119 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1120 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s11
1121 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s11, s7
1122 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1123 ; CHECK-MVE-NEXT:    it gt
1124 ; CHECK-MVE-NEXT:    movgt r0, #1
1125 ; CHECK-MVE-NEXT:    cmp r0, #0
1126 ; CHECK-MVE-NEXT:    cset r0, ne
1127 ; CHECK-MVE-NEXT:    vmov r1, s16
1128 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
1129 ; CHECK-MVE-NEXT:    vmov.16 q3[6], r1
1130 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
1131 ; CHECK-MVE-NEXT:    vmov r0, s0
1132 ; CHECK-MVE-NEXT:    vmov.16 q3[7], r0
1133 ; CHECK-MVE-NEXT:    vmov q0, q3
1134 ; CHECK-MVE-NEXT:    vpop {d8, d9}
1135 ; CHECK-MVE-NEXT:    bx lr
1136 ;
1137 ; CHECK-MVEFP-LABEL: vcmp_ogt_v8f16:
1138 ; CHECK-MVEFP:       @ %bb.0: @ %entry
1139 ; CHECK-MVEFP-NEXT:    vcmp.f16 gt, q0, zr
1140 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
1141 ; CHECK-MVEFP-NEXT:    bx lr
1142 entry:
1143   %c = fcmp ogt <8 x half> %src, zeroinitializer
1144   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
1145   ret <8 x half> %s
1146 }
1147
1148 define arm_aapcs_vfpcc <8 x half> @vcmp_oge_v8f16(<8 x half> %src, <8 x half> %a, <8 x half> %b) {
1149 ; CHECK-MVE-LABEL: vcmp_oge_v8f16:
1150 ; CHECK-MVE:       @ %bb.0: @ %entry
1151 ; CHECK-MVE-NEXT:    .vsave {d8, d9}
1152 ; CHECK-MVE-NEXT:    vpush {d8, d9}
1153 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s0
1154 ; CHECK-MVE-NEXT:    movs r1, #0
1155 ; CHECK-MVE-NEXT:    vcmp.f16 s12, #0
1156 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s4
1157 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1158 ; CHECK-MVE-NEXT:    it ge
1159 ; CHECK-MVE-NEXT:    movge r1, #1
1160 ; CHECK-MVE-NEXT:    cmp r1, #0
1161 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
1162 ; CHECK-MVE-NEXT:    cset r1, ne
1163 ; CHECK-MVE-NEXT:    vmovx.f16 s14, s8
1164 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1165 ; CHECK-MVE-NEXT:    mov.w r2, #0
1166 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s14, s12
1167 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1168 ; CHECK-MVE-NEXT:    it ge
1169 ; CHECK-MVE-NEXT:    movge r2, #1
1170 ; CHECK-MVE-NEXT:    cmp r2, #0
1171 ; CHECK-MVE-NEXT:    cset r2, ne
1172 ; CHECK-MVE-NEXT:    vmov r1, s12
1173 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
1174 ; CHECK-MVE-NEXT:    vcmp.f16 s1, #0
1175 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s8, s4
1176 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1177 ; CHECK-MVE-NEXT:    vmov r2, s12
1178 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s9
1179 ; CHECK-MVE-NEXT:    vmov.16 q3[0], r2
1180 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
1181 ; CHECK-MVE-NEXT:    vmov.16 q3[1], r1
1182 ; CHECK-MVE-NEXT:    mov.w r1, #0
1183 ; CHECK-MVE-NEXT:    it ge
1184 ; CHECK-MVE-NEXT:    movge r1, #1
1185 ; CHECK-MVE-NEXT:    cmp r1, #0
1186 ; CHECK-MVE-NEXT:    cset r1, ne
1187 ; CHECK-MVE-NEXT:    movs r0, #0
1188 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1189 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s9, s5
1190 ; CHECK-MVE-NEXT:    vmov r1, s16
1191 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s1
1192 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
1193 ; CHECK-MVE-NEXT:    vmov.16 q3[2], r1
1194 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1195 ; CHECK-MVE-NEXT:    mov.w r1, #0
1196 ; CHECK-MVE-NEXT:    it ge
1197 ; CHECK-MVE-NEXT:    movge r1, #1
1198 ; CHECK-MVE-NEXT:    cmp r1, #0
1199 ; CHECK-MVE-NEXT:    cset r1, ne
1200 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s5
1201 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1202 ; CHECK-MVE-NEXT:    vcmp.f16 s2, #0
1203 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1204 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1205 ; CHECK-MVE-NEXT:    vmov r1, s16
1206 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s10
1207 ; CHECK-MVE-NEXT:    vmov.16 q3[3], r1
1208 ; CHECK-MVE-NEXT:    mov.w r1, #0
1209 ; CHECK-MVE-NEXT:    it ge
1210 ; CHECK-MVE-NEXT:    movge r1, #1
1211 ; CHECK-MVE-NEXT:    cmp r1, #0
1212 ; CHECK-MVE-NEXT:    cset r1, ne
1213 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1214 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s10, s6
1215 ; CHECK-MVE-NEXT:    vmov r1, s16
1216 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s2
1217 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
1218 ; CHECK-MVE-NEXT:    vmov.16 q3[4], r1
1219 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1220 ; CHECK-MVE-NEXT:    mov.w r1, #0
1221 ; CHECK-MVE-NEXT:    it ge
1222 ; CHECK-MVE-NEXT:    movge r1, #1
1223 ; CHECK-MVE-NEXT:    cmp r1, #0
1224 ; CHECK-MVE-NEXT:    cset r1, ne
1225 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s6
1226 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1227 ; CHECK-MVE-NEXT:    vcmp.f16 s3, #0
1228 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1229 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1230 ; CHECK-MVE-NEXT:    vmov r1, s16
1231 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
1232 ; CHECK-MVE-NEXT:    vmov.16 q3[5], r1
1233 ; CHECK-MVE-NEXT:    mov.w r1, #0
1234 ; CHECK-MVE-NEXT:    it ge
1235 ; CHECK-MVE-NEXT:    movge r1, #1
1236 ; CHECK-MVE-NEXT:    cmp r1, #0
1237 ; CHECK-MVE-NEXT:    cset r1, ne
1238 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s7
1239 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1240 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s11
1241 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s11, s7
1242 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1243 ; CHECK-MVE-NEXT:    it ge
1244 ; CHECK-MVE-NEXT:    movge r0, #1
1245 ; CHECK-MVE-NEXT:    cmp r0, #0
1246 ; CHECK-MVE-NEXT:    cset r0, ne
1247 ; CHECK-MVE-NEXT:    vmov r1, s16
1248 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
1249 ; CHECK-MVE-NEXT:    vmov.16 q3[6], r1
1250 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
1251 ; CHECK-MVE-NEXT:    vmov r0, s0
1252 ; CHECK-MVE-NEXT:    vmov.16 q3[7], r0
1253 ; CHECK-MVE-NEXT:    vmov q0, q3
1254 ; CHECK-MVE-NEXT:    vpop {d8, d9}
1255 ; CHECK-MVE-NEXT:    bx lr
1256 ;
1257 ; CHECK-MVEFP-LABEL: vcmp_oge_v8f16:
1258 ; CHECK-MVEFP:       @ %bb.0: @ %entry
1259 ; CHECK-MVEFP-NEXT:    vcmp.f16 ge, q0, zr
1260 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
1261 ; CHECK-MVEFP-NEXT:    bx lr
1262 entry:
1263   %c = fcmp oge <8 x half> %src, zeroinitializer
1264   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
1265   ret <8 x half> %s
1266 }
1267
1268 define arm_aapcs_vfpcc <8 x half> @vcmp_olt_v8f16(<8 x half> %src, <8 x half> %a, <8 x half> %b) {
1269 ; CHECK-MVE-LABEL: vcmp_olt_v8f16:
1270 ; CHECK-MVE:       @ %bb.0: @ %entry
1271 ; CHECK-MVE-NEXT:    .vsave {d8, d9}
1272 ; CHECK-MVE-NEXT:    vpush {d8, d9}
1273 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s0
1274 ; CHECK-MVE-NEXT:    movs r1, #0
1275 ; CHECK-MVE-NEXT:    vcmp.f16 s12, #0
1276 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s4
1277 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1278 ; CHECK-MVE-NEXT:    it mi
1279 ; CHECK-MVE-NEXT:    movmi r1, #1
1280 ; CHECK-MVE-NEXT:    cmp r1, #0
1281 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
1282 ; CHECK-MVE-NEXT:    cset r1, ne
1283 ; CHECK-MVE-NEXT:    vmovx.f16 s14, s8
1284 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1285 ; CHECK-MVE-NEXT:    mov.w r2, #0
1286 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s14, s12
1287 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1288 ; CHECK-MVE-NEXT:    it mi
1289 ; CHECK-MVE-NEXT:    movmi r2, #1
1290 ; CHECK-MVE-NEXT:    cmp r2, #0
1291 ; CHECK-MVE-NEXT:    cset r2, ne
1292 ; CHECK-MVE-NEXT:    vmov r1, s12
1293 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
1294 ; CHECK-MVE-NEXT:    vcmp.f16 s1, #0
1295 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s8, s4
1296 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1297 ; CHECK-MVE-NEXT:    vmov r2, s12
1298 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s9
1299 ; CHECK-MVE-NEXT:    vmov.16 q3[0], r2
1300 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
1301 ; CHECK-MVE-NEXT:    vmov.16 q3[1], r1
1302 ; CHECK-MVE-NEXT:    mov.w r1, #0
1303 ; CHECK-MVE-NEXT:    it mi
1304 ; CHECK-MVE-NEXT:    movmi r1, #1
1305 ; CHECK-MVE-NEXT:    cmp r1, #0
1306 ; CHECK-MVE-NEXT:    cset r1, ne
1307 ; CHECK-MVE-NEXT:    movs r0, #0
1308 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1309 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s9, s5
1310 ; CHECK-MVE-NEXT:    vmov r1, s16
1311 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s1
1312 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
1313 ; CHECK-MVE-NEXT:    vmov.16 q3[2], r1
1314 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1315 ; CHECK-MVE-NEXT:    mov.w r1, #0
1316 ; CHECK-MVE-NEXT:    it mi
1317 ; CHECK-MVE-NEXT:    movmi r1, #1
1318 ; CHECK-MVE-NEXT:    cmp r1, #0
1319 ; CHECK-MVE-NEXT:    cset r1, ne
1320 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s5
1321 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1322 ; CHECK-MVE-NEXT:    vcmp.f16 s2, #0
1323 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1324 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1325 ; CHECK-MVE-NEXT:    vmov r1, s16
1326 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s10
1327 ; CHECK-MVE-NEXT:    vmov.16 q3[3], r1
1328 ; CHECK-MVE-NEXT:    mov.w r1, #0
1329 ; CHECK-MVE-NEXT:    it mi
1330 ; CHECK-MVE-NEXT:    movmi r1, #1
1331 ; CHECK-MVE-NEXT:    cmp r1, #0
1332 ; CHECK-MVE-NEXT:    cset r1, ne
1333 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1334 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s10, s6
1335 ; CHECK-MVE-NEXT:    vmov r1, s16
1336 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s2
1337 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
1338 ; CHECK-MVE-NEXT:    vmov.16 q3[4], r1
1339 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1340 ; CHECK-MVE-NEXT:    mov.w r1, #0
1341 ; CHECK-MVE-NEXT:    it mi
1342 ; CHECK-MVE-NEXT:    movmi r1, #1
1343 ; CHECK-MVE-NEXT:    cmp r1, #0
1344 ; CHECK-MVE-NEXT:    cset r1, ne
1345 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s6
1346 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1347 ; CHECK-MVE-NEXT:    vcmp.f16 s3, #0
1348 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1349 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1350 ; CHECK-MVE-NEXT:    vmov r1, s16
1351 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
1352 ; CHECK-MVE-NEXT:    vmov.16 q3[5], r1
1353 ; CHECK-MVE-NEXT:    mov.w r1, #0
1354 ; CHECK-MVE-NEXT:    it mi
1355 ; CHECK-MVE-NEXT:    movmi r1, #1
1356 ; CHECK-MVE-NEXT:    cmp r1, #0
1357 ; CHECK-MVE-NEXT:    cset r1, ne
1358 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s7
1359 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1360 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s11
1361 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s11, s7
1362 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1363 ; CHECK-MVE-NEXT:    it mi
1364 ; CHECK-MVE-NEXT:    movmi r0, #1
1365 ; CHECK-MVE-NEXT:    cmp r0, #0
1366 ; CHECK-MVE-NEXT:    cset r0, ne
1367 ; CHECK-MVE-NEXT:    vmov r1, s16
1368 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
1369 ; CHECK-MVE-NEXT:    vmov.16 q3[6], r1
1370 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
1371 ; CHECK-MVE-NEXT:    vmov r0, s0
1372 ; CHECK-MVE-NEXT:    vmov.16 q3[7], r0
1373 ; CHECK-MVE-NEXT:    vmov q0, q3
1374 ; CHECK-MVE-NEXT:    vpop {d8, d9}
1375 ; CHECK-MVE-NEXT:    bx lr
1376 ;
1377 ; CHECK-MVEFP-LABEL: vcmp_olt_v8f16:
1378 ; CHECK-MVEFP:       @ %bb.0: @ %entry
1379 ; CHECK-MVEFP-NEXT:    vcmp.f16 lt, q0, zr
1380 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
1381 ; CHECK-MVEFP-NEXT:    bx lr
1382 entry:
1383   %c = fcmp olt <8 x half> %src, zeroinitializer
1384   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
1385   ret <8 x half> %s
1386 }
1387
1388 define arm_aapcs_vfpcc <8 x half> @vcmp_ole_v8f16(<8 x half> %src, <8 x half> %a, <8 x half> %b) {
1389 ; CHECK-MVE-LABEL: vcmp_ole_v8f16:
1390 ; CHECK-MVE:       @ %bb.0: @ %entry
1391 ; CHECK-MVE-NEXT:    .vsave {d8, d9}
1392 ; CHECK-MVE-NEXT:    vpush {d8, d9}
1393 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s0
1394 ; CHECK-MVE-NEXT:    movs r1, #0
1395 ; CHECK-MVE-NEXT:    vcmp.f16 s12, #0
1396 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s4
1397 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1398 ; CHECK-MVE-NEXT:    it ls
1399 ; CHECK-MVE-NEXT:    movls r1, #1
1400 ; CHECK-MVE-NEXT:    cmp r1, #0
1401 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
1402 ; CHECK-MVE-NEXT:    cset r1, ne
1403 ; CHECK-MVE-NEXT:    vmovx.f16 s14, s8
1404 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1405 ; CHECK-MVE-NEXT:    mov.w r2, #0
1406 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s14, s12
1407 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1408 ; CHECK-MVE-NEXT:    it ls
1409 ; CHECK-MVE-NEXT:    movls r2, #1
1410 ; CHECK-MVE-NEXT:    cmp r2, #0
1411 ; CHECK-MVE-NEXT:    cset r2, ne
1412 ; CHECK-MVE-NEXT:    vmov r1, s12
1413 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
1414 ; CHECK-MVE-NEXT:    vcmp.f16 s1, #0
1415 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s8, s4
1416 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1417 ; CHECK-MVE-NEXT:    vmov r2, s12
1418 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s9
1419 ; CHECK-MVE-NEXT:    vmov.16 q3[0], r2
1420 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
1421 ; CHECK-MVE-NEXT:    vmov.16 q3[1], r1
1422 ; CHECK-MVE-NEXT:    mov.w r1, #0
1423 ; CHECK-MVE-NEXT:    it ls
1424 ; CHECK-MVE-NEXT:    movls r1, #1
1425 ; CHECK-MVE-NEXT:    cmp r1, #0
1426 ; CHECK-MVE-NEXT:    cset r1, ne
1427 ; CHECK-MVE-NEXT:    movs r0, #0
1428 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1429 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s9, s5
1430 ; CHECK-MVE-NEXT:    vmov r1, s16
1431 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s1
1432 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
1433 ; CHECK-MVE-NEXT:    vmov.16 q3[2], r1
1434 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1435 ; CHECK-MVE-NEXT:    mov.w r1, #0
1436 ; CHECK-MVE-NEXT:    it ls
1437 ; CHECK-MVE-NEXT:    movls r1, #1
1438 ; CHECK-MVE-NEXT:    cmp r1, #0
1439 ; CHECK-MVE-NEXT:    cset r1, ne
1440 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s5
1441 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1442 ; CHECK-MVE-NEXT:    vcmp.f16 s2, #0
1443 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1444 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1445 ; CHECK-MVE-NEXT:    vmov r1, s16
1446 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s10
1447 ; CHECK-MVE-NEXT:    vmov.16 q3[3], r1
1448 ; CHECK-MVE-NEXT:    mov.w r1, #0
1449 ; CHECK-MVE-NEXT:    it ls
1450 ; CHECK-MVE-NEXT:    movls r1, #1
1451 ; CHECK-MVE-NEXT:    cmp r1, #0
1452 ; CHECK-MVE-NEXT:    cset r1, ne
1453 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1454 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s10, s6
1455 ; CHECK-MVE-NEXT:    vmov r1, s16
1456 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s2
1457 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
1458 ; CHECK-MVE-NEXT:    vmov.16 q3[4], r1
1459 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1460 ; CHECK-MVE-NEXT:    mov.w r1, #0
1461 ; CHECK-MVE-NEXT:    it ls
1462 ; CHECK-MVE-NEXT:    movls r1, #1
1463 ; CHECK-MVE-NEXT:    cmp r1, #0
1464 ; CHECK-MVE-NEXT:    cset r1, ne
1465 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s6
1466 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1467 ; CHECK-MVE-NEXT:    vcmp.f16 s3, #0
1468 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1469 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1470 ; CHECK-MVE-NEXT:    vmov r1, s16
1471 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
1472 ; CHECK-MVE-NEXT:    vmov.16 q3[5], r1
1473 ; CHECK-MVE-NEXT:    mov.w r1, #0
1474 ; CHECK-MVE-NEXT:    it ls
1475 ; CHECK-MVE-NEXT:    movls r1, #1
1476 ; CHECK-MVE-NEXT:    cmp r1, #0
1477 ; CHECK-MVE-NEXT:    cset r1, ne
1478 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s7
1479 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1480 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s11
1481 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s11, s7
1482 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1483 ; CHECK-MVE-NEXT:    it ls
1484 ; CHECK-MVE-NEXT:    movls r0, #1
1485 ; CHECK-MVE-NEXT:    cmp r0, #0
1486 ; CHECK-MVE-NEXT:    cset r0, ne
1487 ; CHECK-MVE-NEXT:    vmov r1, s16
1488 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
1489 ; CHECK-MVE-NEXT:    vmov.16 q3[6], r1
1490 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
1491 ; CHECK-MVE-NEXT:    vmov r0, s0
1492 ; CHECK-MVE-NEXT:    vmov.16 q3[7], r0
1493 ; CHECK-MVE-NEXT:    vmov q0, q3
1494 ; CHECK-MVE-NEXT:    vpop {d8, d9}
1495 ; CHECK-MVE-NEXT:    bx lr
1496 ;
1497 ; CHECK-MVEFP-LABEL: vcmp_ole_v8f16:
1498 ; CHECK-MVEFP:       @ %bb.0: @ %entry
1499 ; CHECK-MVEFP-NEXT:    vcmp.f16 le, q0, zr
1500 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
1501 ; CHECK-MVEFP-NEXT:    bx lr
1502 entry:
1503   %c = fcmp ole <8 x half> %src, zeroinitializer
1504   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
1505   ret <8 x half> %s
1506 }
1507
1508 define arm_aapcs_vfpcc <8 x half> @vcmp_ueq_v8f16(<8 x half> %src, <8 x half> %a, <8 x half> %b) {
1509 ; CHECK-MVE-LABEL: vcmp_ueq_v8f16:
1510 ; CHECK-MVE:       @ %bb.0: @ %entry
1511 ; CHECK-MVE-NEXT:    .vsave {d8, d9}
1512 ; CHECK-MVE-NEXT:    vpush {d8, d9}
1513 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s0
1514 ; CHECK-MVE-NEXT:    movs r1, #0
1515 ; CHECK-MVE-NEXT:    vcmp.f16 s12, #0
1516 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s4
1517 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1518 ; CHECK-MVE-NEXT:    it eq
1519 ; CHECK-MVE-NEXT:    moveq r1, #1
1520 ; CHECK-MVE-NEXT:    it vs
1521 ; CHECK-MVE-NEXT:    movvs r1, #1
1522 ; CHECK-MVE-NEXT:    cmp r1, #0
1523 ; CHECK-MVE-NEXT:    cset r1, ne
1524 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
1525 ; CHECK-MVE-NEXT:    vmovx.f16 s14, s8
1526 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1527 ; CHECK-MVE-NEXT:    mov.w r2, #0
1528 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s14, s12
1529 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1530 ; CHECK-MVE-NEXT:    it eq
1531 ; CHECK-MVE-NEXT:    moveq r2, #1
1532 ; CHECK-MVE-NEXT:    it vs
1533 ; CHECK-MVE-NEXT:    movvs r2, #1
1534 ; CHECK-MVE-NEXT:    cmp r2, #0
1535 ; CHECK-MVE-NEXT:    cset r2, ne
1536 ; CHECK-MVE-NEXT:    vmov r1, s12
1537 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
1538 ; CHECK-MVE-NEXT:    vcmp.f16 s1, #0
1539 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s8, s4
1540 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1541 ; CHECK-MVE-NEXT:    vmov r2, s12
1542 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s9
1543 ; CHECK-MVE-NEXT:    vmov.16 q3[0], r2
1544 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
1545 ; CHECK-MVE-NEXT:    vmov.16 q3[1], r1
1546 ; CHECK-MVE-NEXT:    mov.w r1, #0
1547 ; CHECK-MVE-NEXT:    it eq
1548 ; CHECK-MVE-NEXT:    moveq r1, #1
1549 ; CHECK-MVE-NEXT:    mov.w r0, #0
1550 ; CHECK-MVE-NEXT:    it vs
1551 ; CHECK-MVE-NEXT:    movvs r1, #1
1552 ; CHECK-MVE-NEXT:    cmp r1, #0
1553 ; CHECK-MVE-NEXT:    cset r1, ne
1554 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1555 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s9, s5
1556 ; CHECK-MVE-NEXT:    vmov r1, s16
1557 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s1
1558 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
1559 ; CHECK-MVE-NEXT:    vmov.16 q3[2], r1
1560 ; CHECK-MVE-NEXT:    movs r1, #0
1561 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1562 ; CHECK-MVE-NEXT:    it eq
1563 ; CHECK-MVE-NEXT:    moveq r1, #1
1564 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s5
1565 ; CHECK-MVE-NEXT:    it vs
1566 ; CHECK-MVE-NEXT:    movvs r1, #1
1567 ; CHECK-MVE-NEXT:    cmp r1, #0
1568 ; CHECK-MVE-NEXT:    cset r1, ne
1569 ; CHECK-MVE-NEXT:    vcmp.f16 s2, #0
1570 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1571 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1572 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1573 ; CHECK-MVE-NEXT:    vmov r1, s16
1574 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s10
1575 ; CHECK-MVE-NEXT:    vmov.16 q3[3], r1
1576 ; CHECK-MVE-NEXT:    mov.w r1, #0
1577 ; CHECK-MVE-NEXT:    it eq
1578 ; CHECK-MVE-NEXT:    moveq r1, #1
1579 ; CHECK-MVE-NEXT:    it vs
1580 ; CHECK-MVE-NEXT:    movvs r1, #1
1581 ; CHECK-MVE-NEXT:    cmp r1, #0
1582 ; CHECK-MVE-NEXT:    cset r1, ne
1583 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1584 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s10, s6
1585 ; CHECK-MVE-NEXT:    vmov r1, s16
1586 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s2
1587 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
1588 ; CHECK-MVE-NEXT:    vmov.16 q3[4], r1
1589 ; CHECK-MVE-NEXT:    movs r1, #0
1590 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1591 ; CHECK-MVE-NEXT:    it eq
1592 ; CHECK-MVE-NEXT:    moveq r1, #1
1593 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s6
1594 ; CHECK-MVE-NEXT:    it vs
1595 ; CHECK-MVE-NEXT:    movvs r1, #1
1596 ; CHECK-MVE-NEXT:    cmp r1, #0
1597 ; CHECK-MVE-NEXT:    cset r1, ne
1598 ; CHECK-MVE-NEXT:    vcmp.f16 s3, #0
1599 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1600 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s11
1601 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1602 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1603 ; CHECK-MVE-NEXT:    vmov r1, s16
1604 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
1605 ; CHECK-MVE-NEXT:    vmov.16 q3[5], r1
1606 ; CHECK-MVE-NEXT:    mov.w r1, #0
1607 ; CHECK-MVE-NEXT:    it eq
1608 ; CHECK-MVE-NEXT:    moveq r1, #1
1609 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s7
1610 ; CHECK-MVE-NEXT:    it vs
1611 ; CHECK-MVE-NEXT:    movvs r1, #1
1612 ; CHECK-MVE-NEXT:    cmp r1, #0
1613 ; CHECK-MVE-NEXT:    cset r1, ne
1614 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1615 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s11, s7
1616 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1617 ; CHECK-MVE-NEXT:    it eq
1618 ; CHECK-MVE-NEXT:    moveq r0, #1
1619 ; CHECK-MVE-NEXT:    vmov r1, s16
1620 ; CHECK-MVE-NEXT:    it vs
1621 ; CHECK-MVE-NEXT:    movvs r0, #1
1622 ; CHECK-MVE-NEXT:    cmp r0, #0
1623 ; CHECK-MVE-NEXT:    cset r0, ne
1624 ; CHECK-MVE-NEXT:    vmov.16 q3[6], r1
1625 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
1626 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
1627 ; CHECK-MVE-NEXT:    vmov r0, s0
1628 ; CHECK-MVE-NEXT:    vmov.16 q3[7], r0
1629 ; CHECK-MVE-NEXT:    vmov q0, q3
1630 ; CHECK-MVE-NEXT:    vpop {d8, d9}
1631 ; CHECK-MVE-NEXT:    bx lr
1632 ;
1633 ; CHECK-MVEFP-LABEL: vcmp_ueq_v8f16:
1634 ; CHECK-MVEFP:       @ %bb.0: @ %entry
1635 ; CHECK-MVEFP-NEXT:    vmov.i32 q3, #0x0
1636 ; CHECK-MVEFP-NEXT:    vpt.f16 le, q3, q0
1637 ; CHECK-MVEFP-NEXT:    vcmpt.f16 le, q0, q3
1638 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
1639 ; CHECK-MVEFP-NEXT:    bx lr
1640 entry:
1641   %c = fcmp ueq <8 x half> %src, zeroinitializer
1642   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
1643   ret <8 x half> %s
1644 }
1645
1646 define arm_aapcs_vfpcc <8 x half> @vcmp_une_v8f16(<8 x half> %src, <8 x half> %a, <8 x half> %b) {
1647 ; CHECK-MVE-LABEL: vcmp_une_v8f16:
1648 ; CHECK-MVE:       @ %bb.0: @ %entry
1649 ; CHECK-MVE-NEXT:    .vsave {d8, d9}
1650 ; CHECK-MVE-NEXT:    vpush {d8, d9}
1651 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s0
1652 ; CHECK-MVE-NEXT:    movs r1, #0
1653 ; CHECK-MVE-NEXT:    vcmp.f16 s12, #0
1654 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s4
1655 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1656 ; CHECK-MVE-NEXT:    it ne
1657 ; CHECK-MVE-NEXT:    movne r1, #1
1658 ; CHECK-MVE-NEXT:    cmp r1, #0
1659 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
1660 ; CHECK-MVE-NEXT:    cset r1, ne
1661 ; CHECK-MVE-NEXT:    vmovx.f16 s14, s8
1662 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1663 ; CHECK-MVE-NEXT:    mov.w r2, #0
1664 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s14, s12
1665 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1666 ; CHECK-MVE-NEXT:    it ne
1667 ; CHECK-MVE-NEXT:    movne r2, #1
1668 ; CHECK-MVE-NEXT:    cmp r2, #0
1669 ; CHECK-MVE-NEXT:    cset r2, ne
1670 ; CHECK-MVE-NEXT:    vmov r1, s12
1671 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
1672 ; CHECK-MVE-NEXT:    vcmp.f16 s1, #0
1673 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s8, s4
1674 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1675 ; CHECK-MVE-NEXT:    vmov r2, s12
1676 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s9
1677 ; CHECK-MVE-NEXT:    vmov.16 q3[0], r2
1678 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
1679 ; CHECK-MVE-NEXT:    vmov.16 q3[1], r1
1680 ; CHECK-MVE-NEXT:    mov.w r1, #0
1681 ; CHECK-MVE-NEXT:    it ne
1682 ; CHECK-MVE-NEXT:    movne r1, #1
1683 ; CHECK-MVE-NEXT:    cmp r1, #0
1684 ; CHECK-MVE-NEXT:    cset r1, ne
1685 ; CHECK-MVE-NEXT:    movs r0, #0
1686 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1687 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s9, s5
1688 ; CHECK-MVE-NEXT:    vmov r1, s16
1689 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s1
1690 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
1691 ; CHECK-MVE-NEXT:    vmov.16 q3[2], r1
1692 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1693 ; CHECK-MVE-NEXT:    mov.w r1, #0
1694 ; CHECK-MVE-NEXT:    it ne
1695 ; CHECK-MVE-NEXT:    movne r1, #1
1696 ; CHECK-MVE-NEXT:    cmp r1, #0
1697 ; CHECK-MVE-NEXT:    cset r1, ne
1698 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s5
1699 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1700 ; CHECK-MVE-NEXT:    vcmp.f16 s2, #0
1701 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1702 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1703 ; CHECK-MVE-NEXT:    vmov r1, s16
1704 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s10
1705 ; CHECK-MVE-NEXT:    vmov.16 q3[3], r1
1706 ; CHECK-MVE-NEXT:    mov.w r1, #0
1707 ; CHECK-MVE-NEXT:    it ne
1708 ; CHECK-MVE-NEXT:    movne r1, #1
1709 ; CHECK-MVE-NEXT:    cmp r1, #0
1710 ; CHECK-MVE-NEXT:    cset r1, ne
1711 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1712 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s10, s6
1713 ; CHECK-MVE-NEXT:    vmov r1, s16
1714 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s2
1715 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
1716 ; CHECK-MVE-NEXT:    vmov.16 q3[4], r1
1717 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1718 ; CHECK-MVE-NEXT:    mov.w r1, #0
1719 ; CHECK-MVE-NEXT:    it ne
1720 ; CHECK-MVE-NEXT:    movne r1, #1
1721 ; CHECK-MVE-NEXT:    cmp r1, #0
1722 ; CHECK-MVE-NEXT:    cset r1, ne
1723 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s6
1724 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1725 ; CHECK-MVE-NEXT:    vcmp.f16 s3, #0
1726 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1727 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1728 ; CHECK-MVE-NEXT:    vmov r1, s16
1729 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
1730 ; CHECK-MVE-NEXT:    vmov.16 q3[5], r1
1731 ; CHECK-MVE-NEXT:    mov.w r1, #0
1732 ; CHECK-MVE-NEXT:    it ne
1733 ; CHECK-MVE-NEXT:    movne r1, #1
1734 ; CHECK-MVE-NEXT:    cmp r1, #0
1735 ; CHECK-MVE-NEXT:    cset r1, ne
1736 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s7
1737 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1738 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s11
1739 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s11, s7
1740 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1741 ; CHECK-MVE-NEXT:    it ne
1742 ; CHECK-MVE-NEXT:    movne r0, #1
1743 ; CHECK-MVE-NEXT:    cmp r0, #0
1744 ; CHECK-MVE-NEXT:    cset r0, ne
1745 ; CHECK-MVE-NEXT:    vmov r1, s16
1746 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
1747 ; CHECK-MVE-NEXT:    vmov.16 q3[6], r1
1748 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
1749 ; CHECK-MVE-NEXT:    vmov r0, s0
1750 ; CHECK-MVE-NEXT:    vmov.16 q3[7], r0
1751 ; CHECK-MVE-NEXT:    vmov q0, q3
1752 ; CHECK-MVE-NEXT:    vpop {d8, d9}
1753 ; CHECK-MVE-NEXT:    bx lr
1754 ;
1755 ; CHECK-MVEFP-LABEL: vcmp_une_v8f16:
1756 ; CHECK-MVEFP:       @ %bb.0: @ %entry
1757 ; CHECK-MVEFP-NEXT:    vcmp.f16 ne, q0, zr
1758 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
1759 ; CHECK-MVEFP-NEXT:    bx lr
1760 entry:
1761   %c = fcmp une <8 x half> %src, zeroinitializer
1762   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
1763   ret <8 x half> %s
1764 }
1765
1766 define arm_aapcs_vfpcc <8 x half> @vcmp_ugt_v8f16(<8 x half> %src, <8 x half> %a, <8 x half> %b) {
1767 ; CHECK-MVE-LABEL: vcmp_ugt_v8f16:
1768 ; CHECK-MVE:       @ %bb.0: @ %entry
1769 ; CHECK-MVE-NEXT:    .vsave {d8, d9}
1770 ; CHECK-MVE-NEXT:    vpush {d8, d9}
1771 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s0
1772 ; CHECK-MVE-NEXT:    movs r1, #0
1773 ; CHECK-MVE-NEXT:    vcmp.f16 s12, #0
1774 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s4
1775 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1776 ; CHECK-MVE-NEXT:    it hi
1777 ; CHECK-MVE-NEXT:    movhi r1, #1
1778 ; CHECK-MVE-NEXT:    cmp r1, #0
1779 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
1780 ; CHECK-MVE-NEXT:    cset r1, ne
1781 ; CHECK-MVE-NEXT:    vmovx.f16 s14, s8
1782 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1783 ; CHECK-MVE-NEXT:    mov.w r2, #0
1784 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s14, s12
1785 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1786 ; CHECK-MVE-NEXT:    it hi
1787 ; CHECK-MVE-NEXT:    movhi r2, #1
1788 ; CHECK-MVE-NEXT:    cmp r2, #0
1789 ; CHECK-MVE-NEXT:    cset r2, ne
1790 ; CHECK-MVE-NEXT:    vmov r1, s12
1791 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
1792 ; CHECK-MVE-NEXT:    vcmp.f16 s1, #0
1793 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s8, s4
1794 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1795 ; CHECK-MVE-NEXT:    vmov r2, s12
1796 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s9
1797 ; CHECK-MVE-NEXT:    vmov.16 q3[0], r2
1798 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
1799 ; CHECK-MVE-NEXT:    vmov.16 q3[1], r1
1800 ; CHECK-MVE-NEXT:    mov.w r1, #0
1801 ; CHECK-MVE-NEXT:    it hi
1802 ; CHECK-MVE-NEXT:    movhi r1, #1
1803 ; CHECK-MVE-NEXT:    cmp r1, #0
1804 ; CHECK-MVE-NEXT:    cset r1, ne
1805 ; CHECK-MVE-NEXT:    movs r0, #0
1806 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1807 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s9, s5
1808 ; CHECK-MVE-NEXT:    vmov r1, s16
1809 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s1
1810 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
1811 ; CHECK-MVE-NEXT:    vmov.16 q3[2], r1
1812 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1813 ; CHECK-MVE-NEXT:    mov.w r1, #0
1814 ; CHECK-MVE-NEXT:    it hi
1815 ; CHECK-MVE-NEXT:    movhi r1, #1
1816 ; CHECK-MVE-NEXT:    cmp r1, #0
1817 ; CHECK-MVE-NEXT:    cset r1, ne
1818 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s5
1819 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1820 ; CHECK-MVE-NEXT:    vcmp.f16 s2, #0
1821 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1822 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1823 ; CHECK-MVE-NEXT:    vmov r1, s16
1824 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s10
1825 ; CHECK-MVE-NEXT:    vmov.16 q3[3], r1
1826 ; CHECK-MVE-NEXT:    mov.w r1, #0
1827 ; CHECK-MVE-NEXT:    it hi
1828 ; CHECK-MVE-NEXT:    movhi r1, #1
1829 ; CHECK-MVE-NEXT:    cmp r1, #0
1830 ; CHECK-MVE-NEXT:    cset r1, ne
1831 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1832 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s10, s6
1833 ; CHECK-MVE-NEXT:    vmov r1, s16
1834 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s2
1835 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
1836 ; CHECK-MVE-NEXT:    vmov.16 q3[4], r1
1837 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1838 ; CHECK-MVE-NEXT:    mov.w r1, #0
1839 ; CHECK-MVE-NEXT:    it hi
1840 ; CHECK-MVE-NEXT:    movhi r1, #1
1841 ; CHECK-MVE-NEXT:    cmp r1, #0
1842 ; CHECK-MVE-NEXT:    cset r1, ne
1843 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s6
1844 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1845 ; CHECK-MVE-NEXT:    vcmp.f16 s3, #0
1846 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1847 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1848 ; CHECK-MVE-NEXT:    vmov r1, s16
1849 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
1850 ; CHECK-MVE-NEXT:    vmov.16 q3[5], r1
1851 ; CHECK-MVE-NEXT:    mov.w r1, #0
1852 ; CHECK-MVE-NEXT:    it hi
1853 ; CHECK-MVE-NEXT:    movhi r1, #1
1854 ; CHECK-MVE-NEXT:    cmp r1, #0
1855 ; CHECK-MVE-NEXT:    cset r1, ne
1856 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s7
1857 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1858 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s11
1859 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s11, s7
1860 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1861 ; CHECK-MVE-NEXT:    it hi
1862 ; CHECK-MVE-NEXT:    movhi r0, #1
1863 ; CHECK-MVE-NEXT:    cmp r0, #0
1864 ; CHECK-MVE-NEXT:    cset r0, ne
1865 ; CHECK-MVE-NEXT:    vmov r1, s16
1866 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
1867 ; CHECK-MVE-NEXT:    vmov.16 q3[6], r1
1868 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
1869 ; CHECK-MVE-NEXT:    vmov r0, s0
1870 ; CHECK-MVE-NEXT:    vmov.16 q3[7], r0
1871 ; CHECK-MVE-NEXT:    vmov q0, q3
1872 ; CHECK-MVE-NEXT:    vpop {d8, d9}
1873 ; CHECK-MVE-NEXT:    bx lr
1874 ;
1875 ; CHECK-MVEFP-LABEL: vcmp_ugt_v8f16:
1876 ; CHECK-MVEFP:       @ %bb.0: @ %entry
1877 ; CHECK-MVEFP-NEXT:    vcmp.f16 le, q0, zr
1878 ; CHECK-MVEFP-NEXT:    vpnot
1879 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
1880 ; CHECK-MVEFP-NEXT:    bx lr
1881 entry:
1882   %c = fcmp ugt <8 x half> %src, zeroinitializer
1883   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
1884   ret <8 x half> %s
1885 }
1886
1887 define arm_aapcs_vfpcc <8 x half> @vcmp_uge_v8f16(<8 x half> %src, <8 x half> %a, <8 x half> %b) {
1888 ; CHECK-MVE-LABEL: vcmp_uge_v8f16:
1889 ; CHECK-MVE:       @ %bb.0: @ %entry
1890 ; CHECK-MVE-NEXT:    .vsave {d8, d9}
1891 ; CHECK-MVE-NEXT:    vpush {d8, d9}
1892 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s0
1893 ; CHECK-MVE-NEXT:    movs r1, #0
1894 ; CHECK-MVE-NEXT:    vcmp.f16 s12, #0
1895 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s4
1896 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1897 ; CHECK-MVE-NEXT:    it pl
1898 ; CHECK-MVE-NEXT:    movpl r1, #1
1899 ; CHECK-MVE-NEXT:    cmp r1, #0
1900 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
1901 ; CHECK-MVE-NEXT:    cset r1, ne
1902 ; CHECK-MVE-NEXT:    vmovx.f16 s14, s8
1903 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1904 ; CHECK-MVE-NEXT:    mov.w r2, #0
1905 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s14, s12
1906 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1907 ; CHECK-MVE-NEXT:    it pl
1908 ; CHECK-MVE-NEXT:    movpl r2, #1
1909 ; CHECK-MVE-NEXT:    cmp r2, #0
1910 ; CHECK-MVE-NEXT:    cset r2, ne
1911 ; CHECK-MVE-NEXT:    vmov r1, s12
1912 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
1913 ; CHECK-MVE-NEXT:    vcmp.f16 s1, #0
1914 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s8, s4
1915 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1916 ; CHECK-MVE-NEXT:    vmov r2, s12
1917 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s9
1918 ; CHECK-MVE-NEXT:    vmov.16 q3[0], r2
1919 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
1920 ; CHECK-MVE-NEXT:    vmov.16 q3[1], r1
1921 ; CHECK-MVE-NEXT:    mov.w r1, #0
1922 ; CHECK-MVE-NEXT:    it pl
1923 ; CHECK-MVE-NEXT:    movpl r1, #1
1924 ; CHECK-MVE-NEXT:    cmp r1, #0
1925 ; CHECK-MVE-NEXT:    cset r1, ne
1926 ; CHECK-MVE-NEXT:    movs r0, #0
1927 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1928 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s9, s5
1929 ; CHECK-MVE-NEXT:    vmov r1, s16
1930 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s1
1931 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
1932 ; CHECK-MVE-NEXT:    vmov.16 q3[2], r1
1933 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1934 ; CHECK-MVE-NEXT:    mov.w r1, #0
1935 ; CHECK-MVE-NEXT:    it pl
1936 ; CHECK-MVE-NEXT:    movpl r1, #1
1937 ; CHECK-MVE-NEXT:    cmp r1, #0
1938 ; CHECK-MVE-NEXT:    cset r1, ne
1939 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s5
1940 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1941 ; CHECK-MVE-NEXT:    vcmp.f16 s2, #0
1942 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1943 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1944 ; CHECK-MVE-NEXT:    vmov r1, s16
1945 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s10
1946 ; CHECK-MVE-NEXT:    vmov.16 q3[3], r1
1947 ; CHECK-MVE-NEXT:    mov.w r1, #0
1948 ; CHECK-MVE-NEXT:    it pl
1949 ; CHECK-MVE-NEXT:    movpl r1, #1
1950 ; CHECK-MVE-NEXT:    cmp r1, #0
1951 ; CHECK-MVE-NEXT:    cset r1, ne
1952 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1953 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s10, s6
1954 ; CHECK-MVE-NEXT:    vmov r1, s16
1955 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s2
1956 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
1957 ; CHECK-MVE-NEXT:    vmov.16 q3[4], r1
1958 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1959 ; CHECK-MVE-NEXT:    mov.w r1, #0
1960 ; CHECK-MVE-NEXT:    it pl
1961 ; CHECK-MVE-NEXT:    movpl r1, #1
1962 ; CHECK-MVE-NEXT:    cmp r1, #0
1963 ; CHECK-MVE-NEXT:    cset r1, ne
1964 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s6
1965 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1966 ; CHECK-MVE-NEXT:    vcmp.f16 s3, #0
1967 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
1968 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1969 ; CHECK-MVE-NEXT:    vmov r1, s16
1970 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
1971 ; CHECK-MVE-NEXT:    vmov.16 q3[5], r1
1972 ; CHECK-MVE-NEXT:    mov.w r1, #0
1973 ; CHECK-MVE-NEXT:    it pl
1974 ; CHECK-MVE-NEXT:    movpl r1, #1
1975 ; CHECK-MVE-NEXT:    cmp r1, #0
1976 ; CHECK-MVE-NEXT:    cset r1, ne
1977 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s7
1978 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
1979 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s11
1980 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s11, s7
1981 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
1982 ; CHECK-MVE-NEXT:    it pl
1983 ; CHECK-MVE-NEXT:    movpl r0, #1
1984 ; CHECK-MVE-NEXT:    cmp r0, #0
1985 ; CHECK-MVE-NEXT:    cset r0, ne
1986 ; CHECK-MVE-NEXT:    vmov r1, s16
1987 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
1988 ; CHECK-MVE-NEXT:    vmov.16 q3[6], r1
1989 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
1990 ; CHECK-MVE-NEXT:    vmov r0, s0
1991 ; CHECK-MVE-NEXT:    vmov.16 q3[7], r0
1992 ; CHECK-MVE-NEXT:    vmov q0, q3
1993 ; CHECK-MVE-NEXT:    vpop {d8, d9}
1994 ; CHECK-MVE-NEXT:    bx lr
1995 ;
1996 ; CHECK-MVEFP-LABEL: vcmp_uge_v8f16:
1997 ; CHECK-MVEFP:       @ %bb.0: @ %entry
1998 ; CHECK-MVEFP-NEXT:    vcmp.f16 lt, q0, zr
1999 ; CHECK-MVEFP-NEXT:    vpnot
2000 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
2001 ; CHECK-MVEFP-NEXT:    bx lr
2002 entry:
2003   %c = fcmp uge <8 x half> %src, zeroinitializer
2004   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
2005   ret <8 x half> %s
2006 }
2007
2008 define arm_aapcs_vfpcc <8 x half> @vcmp_ult_v8f16(<8 x half> %src, <8 x half> %a, <8 x half> %b) {
2009 ; CHECK-MVE-LABEL: vcmp_ult_v8f16:
2010 ; CHECK-MVE:       @ %bb.0: @ %entry
2011 ; CHECK-MVE-NEXT:    .vsave {d8, d9}
2012 ; CHECK-MVE-NEXT:    vpush {d8, d9}
2013 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s0
2014 ; CHECK-MVE-NEXT:    movs r1, #0
2015 ; CHECK-MVE-NEXT:    vcmp.f16 s12, #0
2016 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s4
2017 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2018 ; CHECK-MVE-NEXT:    it lt
2019 ; CHECK-MVE-NEXT:    movlt r1, #1
2020 ; CHECK-MVE-NEXT:    cmp r1, #0
2021 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
2022 ; CHECK-MVE-NEXT:    cset r1, ne
2023 ; CHECK-MVE-NEXT:    vmovx.f16 s14, s8
2024 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2025 ; CHECK-MVE-NEXT:    mov.w r2, #0
2026 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s14, s12
2027 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2028 ; CHECK-MVE-NEXT:    it lt
2029 ; CHECK-MVE-NEXT:    movlt r2, #1
2030 ; CHECK-MVE-NEXT:    cmp r2, #0
2031 ; CHECK-MVE-NEXT:    cset r2, ne
2032 ; CHECK-MVE-NEXT:    vmov r1, s12
2033 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
2034 ; CHECK-MVE-NEXT:    vcmp.f16 s1, #0
2035 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s8, s4
2036 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2037 ; CHECK-MVE-NEXT:    vmov r2, s12
2038 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s9
2039 ; CHECK-MVE-NEXT:    vmov.16 q3[0], r2
2040 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
2041 ; CHECK-MVE-NEXT:    vmov.16 q3[1], r1
2042 ; CHECK-MVE-NEXT:    mov.w r1, #0
2043 ; CHECK-MVE-NEXT:    it lt
2044 ; CHECK-MVE-NEXT:    movlt r1, #1
2045 ; CHECK-MVE-NEXT:    cmp r1, #0
2046 ; CHECK-MVE-NEXT:    cset r1, ne
2047 ; CHECK-MVE-NEXT:    movs r0, #0
2048 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2049 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s9, s5
2050 ; CHECK-MVE-NEXT:    vmov r1, s16
2051 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s1
2052 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
2053 ; CHECK-MVE-NEXT:    vmov.16 q3[2], r1
2054 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2055 ; CHECK-MVE-NEXT:    mov.w r1, #0
2056 ; CHECK-MVE-NEXT:    it lt
2057 ; CHECK-MVE-NEXT:    movlt r1, #1
2058 ; CHECK-MVE-NEXT:    cmp r1, #0
2059 ; CHECK-MVE-NEXT:    cset r1, ne
2060 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s5
2061 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2062 ; CHECK-MVE-NEXT:    vcmp.f16 s2, #0
2063 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
2064 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2065 ; CHECK-MVE-NEXT:    vmov r1, s16
2066 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s10
2067 ; CHECK-MVE-NEXT:    vmov.16 q3[3], r1
2068 ; CHECK-MVE-NEXT:    mov.w r1, #0
2069 ; CHECK-MVE-NEXT:    it lt
2070 ; CHECK-MVE-NEXT:    movlt r1, #1
2071 ; CHECK-MVE-NEXT:    cmp r1, #0
2072 ; CHECK-MVE-NEXT:    cset r1, ne
2073 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2074 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s10, s6
2075 ; CHECK-MVE-NEXT:    vmov r1, s16
2076 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s2
2077 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
2078 ; CHECK-MVE-NEXT:    vmov.16 q3[4], r1
2079 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2080 ; CHECK-MVE-NEXT:    mov.w r1, #0
2081 ; CHECK-MVE-NEXT:    it lt
2082 ; CHECK-MVE-NEXT:    movlt r1, #1
2083 ; CHECK-MVE-NEXT:    cmp r1, #0
2084 ; CHECK-MVE-NEXT:    cset r1, ne
2085 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s6
2086 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2087 ; CHECK-MVE-NEXT:    vcmp.f16 s3, #0
2088 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
2089 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2090 ; CHECK-MVE-NEXT:    vmov r1, s16
2091 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
2092 ; CHECK-MVE-NEXT:    vmov.16 q3[5], r1
2093 ; CHECK-MVE-NEXT:    mov.w r1, #0
2094 ; CHECK-MVE-NEXT:    it lt
2095 ; CHECK-MVE-NEXT:    movlt r1, #1
2096 ; CHECK-MVE-NEXT:    cmp r1, #0
2097 ; CHECK-MVE-NEXT:    cset r1, ne
2098 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s7
2099 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2100 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s11
2101 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s11, s7
2102 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2103 ; CHECK-MVE-NEXT:    it lt
2104 ; CHECK-MVE-NEXT:    movlt r0, #1
2105 ; CHECK-MVE-NEXT:    cmp r0, #0
2106 ; CHECK-MVE-NEXT:    cset r0, ne
2107 ; CHECK-MVE-NEXT:    vmov r1, s16
2108 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
2109 ; CHECK-MVE-NEXT:    vmov.16 q3[6], r1
2110 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
2111 ; CHECK-MVE-NEXT:    vmov r0, s0
2112 ; CHECK-MVE-NEXT:    vmov.16 q3[7], r0
2113 ; CHECK-MVE-NEXT:    vmov q0, q3
2114 ; CHECK-MVE-NEXT:    vpop {d8, d9}
2115 ; CHECK-MVE-NEXT:    bx lr
2116 ;
2117 ; CHECK-MVEFP-LABEL: vcmp_ult_v8f16:
2118 ; CHECK-MVEFP:       @ %bb.0: @ %entry
2119 ; CHECK-MVEFP-NEXT:    vcmp.f16 ge, q0, zr
2120 ; CHECK-MVEFP-NEXT:    vpnot
2121 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
2122 ; CHECK-MVEFP-NEXT:    bx lr
2123 entry:
2124   %c = fcmp ult <8 x half> %src, zeroinitializer
2125   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
2126   ret <8 x half> %s
2127 }
2128
2129 define arm_aapcs_vfpcc <8 x half> @vcmp_ule_v8f16(<8 x half> %src, <8 x half> %a, <8 x half> %b) {
2130 ; CHECK-MVE-LABEL: vcmp_ule_v8f16:
2131 ; CHECK-MVE:       @ %bb.0: @ %entry
2132 ; CHECK-MVE-NEXT:    .vsave {d8, d9}
2133 ; CHECK-MVE-NEXT:    vpush {d8, d9}
2134 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s0
2135 ; CHECK-MVE-NEXT:    movs r1, #0
2136 ; CHECK-MVE-NEXT:    vcmp.f16 s12, #0
2137 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s4
2138 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2139 ; CHECK-MVE-NEXT:    it le
2140 ; CHECK-MVE-NEXT:    movle r1, #1
2141 ; CHECK-MVE-NEXT:    cmp r1, #0
2142 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
2143 ; CHECK-MVE-NEXT:    cset r1, ne
2144 ; CHECK-MVE-NEXT:    vmovx.f16 s14, s8
2145 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2146 ; CHECK-MVE-NEXT:    mov.w r2, #0
2147 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s14, s12
2148 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2149 ; CHECK-MVE-NEXT:    it le
2150 ; CHECK-MVE-NEXT:    movle r2, #1
2151 ; CHECK-MVE-NEXT:    cmp r2, #0
2152 ; CHECK-MVE-NEXT:    cset r2, ne
2153 ; CHECK-MVE-NEXT:    vmov r1, s12
2154 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
2155 ; CHECK-MVE-NEXT:    vcmp.f16 s1, #0
2156 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s8, s4
2157 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2158 ; CHECK-MVE-NEXT:    vmov r2, s12
2159 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s9
2160 ; CHECK-MVE-NEXT:    vmov.16 q3[0], r2
2161 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
2162 ; CHECK-MVE-NEXT:    vmov.16 q3[1], r1
2163 ; CHECK-MVE-NEXT:    mov.w r1, #0
2164 ; CHECK-MVE-NEXT:    it le
2165 ; CHECK-MVE-NEXT:    movle r1, #1
2166 ; CHECK-MVE-NEXT:    cmp r1, #0
2167 ; CHECK-MVE-NEXT:    cset r1, ne
2168 ; CHECK-MVE-NEXT:    movs r0, #0
2169 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2170 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s9, s5
2171 ; CHECK-MVE-NEXT:    vmov r1, s16
2172 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s1
2173 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
2174 ; CHECK-MVE-NEXT:    vmov.16 q3[2], r1
2175 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2176 ; CHECK-MVE-NEXT:    mov.w r1, #0
2177 ; CHECK-MVE-NEXT:    it le
2178 ; CHECK-MVE-NEXT:    movle r1, #1
2179 ; CHECK-MVE-NEXT:    cmp r1, #0
2180 ; CHECK-MVE-NEXT:    cset r1, ne
2181 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s5
2182 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2183 ; CHECK-MVE-NEXT:    vcmp.f16 s2, #0
2184 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
2185 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2186 ; CHECK-MVE-NEXT:    vmov r1, s16
2187 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s10
2188 ; CHECK-MVE-NEXT:    vmov.16 q3[3], r1
2189 ; CHECK-MVE-NEXT:    mov.w r1, #0
2190 ; CHECK-MVE-NEXT:    it le
2191 ; CHECK-MVE-NEXT:    movle r1, #1
2192 ; CHECK-MVE-NEXT:    cmp r1, #0
2193 ; CHECK-MVE-NEXT:    cset r1, ne
2194 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2195 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s10, s6
2196 ; CHECK-MVE-NEXT:    vmov r1, s16
2197 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s2
2198 ; CHECK-MVE-NEXT:    vcmp.f16 s16, #0
2199 ; CHECK-MVE-NEXT:    vmov.16 q3[4], r1
2200 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2201 ; CHECK-MVE-NEXT:    mov.w r1, #0
2202 ; CHECK-MVE-NEXT:    it le
2203 ; CHECK-MVE-NEXT:    movle r1, #1
2204 ; CHECK-MVE-NEXT:    cmp r1, #0
2205 ; CHECK-MVE-NEXT:    cset r1, ne
2206 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s6
2207 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2208 ; CHECK-MVE-NEXT:    vcmp.f16 s3, #0
2209 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
2210 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2211 ; CHECK-MVE-NEXT:    vmov r1, s16
2212 ; CHECK-MVE-NEXT:    vcmp.f16 s0, #0
2213 ; CHECK-MVE-NEXT:    vmov.16 q3[5], r1
2214 ; CHECK-MVE-NEXT:    mov.w r1, #0
2215 ; CHECK-MVE-NEXT:    it le
2216 ; CHECK-MVE-NEXT:    movle r1, #1
2217 ; CHECK-MVE-NEXT:    cmp r1, #0
2218 ; CHECK-MVE-NEXT:    cset r1, ne
2219 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s7
2220 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2221 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s11
2222 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s11, s7
2223 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2224 ; CHECK-MVE-NEXT:    it le
2225 ; CHECK-MVE-NEXT:    movle r0, #1
2226 ; CHECK-MVE-NEXT:    cmp r0, #0
2227 ; CHECK-MVE-NEXT:    cset r0, ne
2228 ; CHECK-MVE-NEXT:    vmov r1, s16
2229 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
2230 ; CHECK-MVE-NEXT:    vmov.16 q3[6], r1
2231 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
2232 ; CHECK-MVE-NEXT:    vmov r0, s0
2233 ; CHECK-MVE-NEXT:    vmov.16 q3[7], r0
2234 ; CHECK-MVE-NEXT:    vmov q0, q3
2235 ; CHECK-MVE-NEXT:    vpop {d8, d9}
2236 ; CHECK-MVE-NEXT:    bx lr
2237 ;
2238 ; CHECK-MVEFP-LABEL: vcmp_ule_v8f16:
2239 ; CHECK-MVEFP:       @ %bb.0: @ %entry
2240 ; CHECK-MVEFP-NEXT:    vcmp.f16 gt, q0, zr
2241 ; CHECK-MVEFP-NEXT:    vpnot
2242 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
2243 ; CHECK-MVEFP-NEXT:    bx lr
2244 entry:
2245   %c = fcmp ule <8 x half> %src, zeroinitializer
2246   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
2247   ret <8 x half> %s
2248 }
2249
2250 define arm_aapcs_vfpcc <8 x half> @vcmp_ord_v8f16(<8 x half> %src, <8 x half> %a, <8 x half> %b) {
2251 ; CHECK-MVE-LABEL: vcmp_ord_v8f16:
2252 ; CHECK-MVE:       @ %bb.0: @ %entry
2253 ; CHECK-MVE-NEXT:    .vsave {d8, d9}
2254 ; CHECK-MVE-NEXT:    vpush {d8, d9}
2255 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s0
2256 ; CHECK-MVE-NEXT:    movs r1, #0
2257 ; CHECK-MVE-NEXT:    vcmp.f16 s12, s12
2258 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s4
2259 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2260 ; CHECK-MVE-NEXT:    it vc
2261 ; CHECK-MVE-NEXT:    movvc r1, #1
2262 ; CHECK-MVE-NEXT:    cmp r1, #0
2263 ; CHECK-MVE-NEXT:    vcmp.f16 s0, s0
2264 ; CHECK-MVE-NEXT:    cset r1, ne
2265 ; CHECK-MVE-NEXT:    vmovx.f16 s14, s8
2266 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2267 ; CHECK-MVE-NEXT:    mov.w r2, #0
2268 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s14, s12
2269 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2270 ; CHECK-MVE-NEXT:    it vc
2271 ; CHECK-MVE-NEXT:    movvc r2, #1
2272 ; CHECK-MVE-NEXT:    cmp r2, #0
2273 ; CHECK-MVE-NEXT:    cset r2, ne
2274 ; CHECK-MVE-NEXT:    vmov r1, s12
2275 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
2276 ; CHECK-MVE-NEXT:    vcmp.f16 s1, s1
2277 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s8, s4
2278 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2279 ; CHECK-MVE-NEXT:    vmov r2, s12
2280 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s9
2281 ; CHECK-MVE-NEXT:    vmov.16 q3[0], r2
2282 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
2283 ; CHECK-MVE-NEXT:    vmov.16 q3[1], r1
2284 ; CHECK-MVE-NEXT:    mov.w r1, #0
2285 ; CHECK-MVE-NEXT:    it vc
2286 ; CHECK-MVE-NEXT:    movvc r1, #1
2287 ; CHECK-MVE-NEXT:    cmp r1, #0
2288 ; CHECK-MVE-NEXT:    cset r1, ne
2289 ; CHECK-MVE-NEXT:    movs r0, #0
2290 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2291 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s9, s5
2292 ; CHECK-MVE-NEXT:    vmov r1, s16
2293 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s1
2294 ; CHECK-MVE-NEXT:    vcmp.f16 s16, s16
2295 ; CHECK-MVE-NEXT:    vmov.16 q3[2], r1
2296 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2297 ; CHECK-MVE-NEXT:    mov.w r1, #0
2298 ; CHECK-MVE-NEXT:    it vc
2299 ; CHECK-MVE-NEXT:    movvc r1, #1
2300 ; CHECK-MVE-NEXT:    cmp r1, #0
2301 ; CHECK-MVE-NEXT:    cset r1, ne
2302 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s5
2303 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2304 ; CHECK-MVE-NEXT:    vcmp.f16 s2, s2
2305 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
2306 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2307 ; CHECK-MVE-NEXT:    vmov r1, s16
2308 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s10
2309 ; CHECK-MVE-NEXT:    vmov.16 q3[3], r1
2310 ; CHECK-MVE-NEXT:    mov.w r1, #0
2311 ; CHECK-MVE-NEXT:    it vc
2312 ; CHECK-MVE-NEXT:    movvc r1, #1
2313 ; CHECK-MVE-NEXT:    cmp r1, #0
2314 ; CHECK-MVE-NEXT:    cset r1, ne
2315 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2316 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s10, s6
2317 ; CHECK-MVE-NEXT:    vmov r1, s16
2318 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s2
2319 ; CHECK-MVE-NEXT:    vcmp.f16 s16, s16
2320 ; CHECK-MVE-NEXT:    vmov.16 q3[4], r1
2321 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2322 ; CHECK-MVE-NEXT:    mov.w r1, #0
2323 ; CHECK-MVE-NEXT:    it vc
2324 ; CHECK-MVE-NEXT:    movvc r1, #1
2325 ; CHECK-MVE-NEXT:    cmp r1, #0
2326 ; CHECK-MVE-NEXT:    cset r1, ne
2327 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s6
2328 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2329 ; CHECK-MVE-NEXT:    vcmp.f16 s3, s3
2330 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
2331 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2332 ; CHECK-MVE-NEXT:    vmov r1, s16
2333 ; CHECK-MVE-NEXT:    vcmp.f16 s0, s0
2334 ; CHECK-MVE-NEXT:    vmov.16 q3[5], r1
2335 ; CHECK-MVE-NEXT:    mov.w r1, #0
2336 ; CHECK-MVE-NEXT:    it vc
2337 ; CHECK-MVE-NEXT:    movvc r1, #1
2338 ; CHECK-MVE-NEXT:    cmp r1, #0
2339 ; CHECK-MVE-NEXT:    cset r1, ne
2340 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s7
2341 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2342 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s11
2343 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s11, s7
2344 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2345 ; CHECK-MVE-NEXT:    it vc
2346 ; CHECK-MVE-NEXT:    movvc r0, #1
2347 ; CHECK-MVE-NEXT:    cmp r0, #0
2348 ; CHECK-MVE-NEXT:    cset r0, ne
2349 ; CHECK-MVE-NEXT:    vmov r1, s16
2350 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
2351 ; CHECK-MVE-NEXT:    vmov.16 q3[6], r1
2352 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
2353 ; CHECK-MVE-NEXT:    vmov r0, s0
2354 ; CHECK-MVE-NEXT:    vmov.16 q3[7], r0
2355 ; CHECK-MVE-NEXT:    vmov q0, q3
2356 ; CHECK-MVE-NEXT:    vpop {d8, d9}
2357 ; CHECK-MVE-NEXT:    bx lr
2358 ;
2359 ; CHECK-MVEFP-LABEL: vcmp_ord_v8f16:
2360 ; CHECK-MVEFP:       @ %bb.0: @ %entry
2361 ; CHECK-MVEFP-NEXT:    vmov.i32 q3, #0x0
2362 ; CHECK-MVEFP-NEXT:    vpt.f16 le, q3, q0
2363 ; CHECK-MVEFP-NEXT:    vcmpt.f16 lt, q0, q3
2364 ; CHECK-MVEFP-NEXT:    vpnot
2365 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
2366 ; CHECK-MVEFP-NEXT:    bx lr
2367 entry:
2368   %c = fcmp ord <8 x half> %src, zeroinitializer
2369   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
2370   ret <8 x half> %s
2371 }
2372
2373 define arm_aapcs_vfpcc <8 x half> @vcmp_uno_v8f16(<8 x half> %src, <8 x half> %a, <8 x half> %b) {
2374 ; CHECK-MVE-LABEL: vcmp_uno_v8f16:
2375 ; CHECK-MVE:       @ %bb.0: @ %entry
2376 ; CHECK-MVE-NEXT:    .vsave {d8, d9}
2377 ; CHECK-MVE-NEXT:    vpush {d8, d9}
2378 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s0
2379 ; CHECK-MVE-NEXT:    movs r1, #0
2380 ; CHECK-MVE-NEXT:    vcmp.f16 s12, s12
2381 ; CHECK-MVE-NEXT:    vmovx.f16 s12, s4
2382 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2383 ; CHECK-MVE-NEXT:    it vs
2384 ; CHECK-MVE-NEXT:    movvs r1, #1
2385 ; CHECK-MVE-NEXT:    cmp r1, #0
2386 ; CHECK-MVE-NEXT:    vcmp.f16 s0, s0
2387 ; CHECK-MVE-NEXT:    cset r1, ne
2388 ; CHECK-MVE-NEXT:    vmovx.f16 s14, s8
2389 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2390 ; CHECK-MVE-NEXT:    mov.w r2, #0
2391 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s14, s12
2392 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2393 ; CHECK-MVE-NEXT:    it vs
2394 ; CHECK-MVE-NEXT:    movvs r2, #1
2395 ; CHECK-MVE-NEXT:    cmp r2, #0
2396 ; CHECK-MVE-NEXT:    cset r2, ne
2397 ; CHECK-MVE-NEXT:    vmov r1, s12
2398 ; CHECK-MVE-NEXT:    lsls r2, r2, #31
2399 ; CHECK-MVE-NEXT:    vcmp.f16 s1, s1
2400 ; CHECK-MVE-NEXT:    vseleq.f16 s12, s8, s4
2401 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2402 ; CHECK-MVE-NEXT:    vmov r2, s12
2403 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s9
2404 ; CHECK-MVE-NEXT:    vmov.16 q3[0], r2
2405 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s3
2406 ; CHECK-MVE-NEXT:    vmov.16 q3[1], r1
2407 ; CHECK-MVE-NEXT:    mov.w r1, #0
2408 ; CHECK-MVE-NEXT:    it vs
2409 ; CHECK-MVE-NEXT:    movvs r1, #1
2410 ; CHECK-MVE-NEXT:    cmp r1, #0
2411 ; CHECK-MVE-NEXT:    cset r1, ne
2412 ; CHECK-MVE-NEXT:    movs r0, #0
2413 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2414 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s9, s5
2415 ; CHECK-MVE-NEXT:    vmov r1, s16
2416 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s1
2417 ; CHECK-MVE-NEXT:    vcmp.f16 s16, s16
2418 ; CHECK-MVE-NEXT:    vmov.16 q3[2], r1
2419 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2420 ; CHECK-MVE-NEXT:    mov.w r1, #0
2421 ; CHECK-MVE-NEXT:    it vs
2422 ; CHECK-MVE-NEXT:    movvs r1, #1
2423 ; CHECK-MVE-NEXT:    cmp r1, #0
2424 ; CHECK-MVE-NEXT:    cset r1, ne
2425 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s5
2426 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2427 ; CHECK-MVE-NEXT:    vcmp.f16 s2, s2
2428 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
2429 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2430 ; CHECK-MVE-NEXT:    vmov r1, s16
2431 ; CHECK-MVE-NEXT:    vmovx.f16 s18, s10
2432 ; CHECK-MVE-NEXT:    vmov.16 q3[3], r1
2433 ; CHECK-MVE-NEXT:    mov.w r1, #0
2434 ; CHECK-MVE-NEXT:    it vs
2435 ; CHECK-MVE-NEXT:    movvs r1, #1
2436 ; CHECK-MVE-NEXT:    cmp r1, #0
2437 ; CHECK-MVE-NEXT:    cset r1, ne
2438 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2439 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s10, s6
2440 ; CHECK-MVE-NEXT:    vmov r1, s16
2441 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s2
2442 ; CHECK-MVE-NEXT:    vcmp.f16 s16, s16
2443 ; CHECK-MVE-NEXT:    vmov.16 q3[4], r1
2444 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2445 ; CHECK-MVE-NEXT:    mov.w r1, #0
2446 ; CHECK-MVE-NEXT:    it vs
2447 ; CHECK-MVE-NEXT:    movvs r1, #1
2448 ; CHECK-MVE-NEXT:    cmp r1, #0
2449 ; CHECK-MVE-NEXT:    cset r1, ne
2450 ; CHECK-MVE-NEXT:    vmovx.f16 s16, s6
2451 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2452 ; CHECK-MVE-NEXT:    vcmp.f16 s3, s3
2453 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s18, s16
2454 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2455 ; CHECK-MVE-NEXT:    vmov r1, s16
2456 ; CHECK-MVE-NEXT:    vcmp.f16 s0, s0
2457 ; CHECK-MVE-NEXT:    vmov.16 q3[5], r1
2458 ; CHECK-MVE-NEXT:    mov.w r1, #0
2459 ; CHECK-MVE-NEXT:    it vs
2460 ; CHECK-MVE-NEXT:    movvs r1, #1
2461 ; CHECK-MVE-NEXT:    cmp r1, #0
2462 ; CHECK-MVE-NEXT:    cset r1, ne
2463 ; CHECK-MVE-NEXT:    vmovx.f16 s0, s7
2464 ; CHECK-MVE-NEXT:    lsls r1, r1, #31
2465 ; CHECK-MVE-NEXT:    vmovx.f16 s2, s11
2466 ; CHECK-MVE-NEXT:    vseleq.f16 s16, s11, s7
2467 ; CHECK-MVE-NEXT:    vmrs APSR_nzcv, fpscr
2468 ; CHECK-MVE-NEXT:    it vs
2469 ; CHECK-MVE-NEXT:    movvs r0, #1
2470 ; CHECK-MVE-NEXT:    cmp r0, #0
2471 ; CHECK-MVE-NEXT:    cset r0, ne
2472 ; CHECK-MVE-NEXT:    vmov r1, s16
2473 ; CHECK-MVE-NEXT:    lsls r0, r0, #31
2474 ; CHECK-MVE-NEXT:    vmov.16 q3[6], r1
2475 ; CHECK-MVE-NEXT:    vseleq.f16 s0, s2, s0
2476 ; CHECK-MVE-NEXT:    vmov r0, s0
2477 ; CHECK-MVE-NEXT:    vmov.16 q3[7], r0
2478 ; CHECK-MVE-NEXT:    vmov q0, q3
2479 ; CHECK-MVE-NEXT:    vpop {d8, d9}
2480 ; CHECK-MVE-NEXT:    bx lr
2481 ;
2482 ; CHECK-MVEFP-LABEL: vcmp_uno_v8f16:
2483 ; CHECK-MVEFP:       @ %bb.0: @ %entry
2484 ; CHECK-MVEFP-NEXT:    vmov.i32 q3, #0x0
2485 ; CHECK-MVEFP-NEXT:    vpt.f16 le, q3, q0
2486 ; CHECK-MVEFP-NEXT:    vcmpt.f16 lt, q0, q3
2487 ; CHECK-MVEFP-NEXT:    vpsel q0, q1, q2
2488 ; CHECK-MVEFP-NEXT:    bx lr
2489 entry:
2490   %c = fcmp uno <8 x half> %src, zeroinitializer
2491   %s = select <8 x i1> %c, <8 x half> %a, <8 x half> %b
2492   ret <8 x half> %s
2493 }