sysdeps/x86_64/fpu/multiarch/svml_d_cbrt4_core_avx2.S

   1 /* Function cbrt vectorized with AVX2.
   2    Copyright (C) 2021-2023 Free Software Foundation, Inc.
   3    This file is part of the GNU C Library.
   4
   5    The GNU C Library is free software; you can redistribute it and/or
   6    modify it under the terms of the GNU Lesser General Public
   7    License as published by the Free Software Foundation; either
   8    version 2.1 of the License, or (at your option) any later version.
   9
  10    The GNU C Library is distributed in the hope that it will be useful,
  11    but WITHOUT ANY WARRANTY; without even the implied warranty of
  12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13    Lesser General Public License for more details.
  14
  15    You should have received a copy of the GNU Lesser General Public
  16    License along with the GNU C Library; if not, see
  17    https://www.gnu.org/licenses/.  */
  18
  19 /*
  20  * ALGORITHM DESCRIPTION:
  21  *
  22  *   x=2^{3*k+j} * 1.b1 b2 ... b5 b6 ... b52
  23  *   Let r=(x*2^{-3k-j} - 1.b1 b2 ... b5 1)* rcp[b1 b2 ..b5],
  24  *   where rcp[b1 b2 .. b5]=1/(1.b1 b2 b3 b4 b5 1) in double precision
  25  *   cbrt(2^j * 1. b1 b2 .. b5 1) is approximated as T[j][b1..b5]+D[j][b1..b5]
  26  *   (T stores the high 53 bits, D stores the low order bits)
  27  *   Result=2^k*T+(2^k*T*r)*P+2^k*D
  28  *   where P=p1+p2*r+..+p8*r^7
  29  *
  30  */
  31
  32 /* Offsets for data table __svml_dcbrt_data_internal
  33  */
  34 #define _dRcp                           0
  35 #define _dCbrtHiLo                      256
  36 #define _dA7                            1024
  37 #define _dA6                            1056
  38 #define _dA5                            1088
  39 #define _dA4                            1120
  40 #define _dA3                            1152
  41 #define _dA2                            1184
  42 #define _dA1                            1216
  43 #define _dNeg65Div64                    1248
  44 #define _dSgnf6Mask                     1280
  45 #define _dNegOne                        1312
  46 #define _dMantissaMask                  1344
  47 #define _lExpHiMask                     1376
  48 #define _lExpLoMask                     1408
  49 #define _l1556                          1440
  50 #define _iRcpIndexMask                  1472
  51 #define _iAbsMask                       1504
  52 #define _iSignMask                      1536
  53 #define _iBias                          1568
  54 #define _iSub                           1600
  55 #define _iCmp                           1632
  56
  57 #include <sysdep.h>
  58
  59         .section .text.avx2, "ax", @progbits
  60 ENTRY(_ZGVdN4v_cbrt_avx2)
  61         pushq   %rbp
  62         cfi_def_cfa_offset(16)
  63         movq    %rsp, %rbp
  64         cfi_def_cfa(6, 16)
  65         cfi_offset(6, -16)
  66         andq    $-32, %rsp
  67         subq    $96, %rsp
  68
  69         /* Load 1/(1+iRcpIndex/32+1/64) reciprocal table value */
  70         lea     __svml_dcbrt_data_internal(%rip), %rax
  71         vmovapd %ymm0, %ymm5
  72
  73         /*
  74          * Declarations
  75          * Load constants
  76          * Get iX - high part of argument
  77          */
  78         vextractf128 $1, %ymm5, %xmm6
  79
  80         /* Calculate CbrtIndex */
  81         vpsrlq  $52, %ymm5, %ymm15
  82         vshufps $221, %xmm6, %xmm5, %xmm4
  83
  84         /* Calculate Rcp table index */
  85         vandps  _iRcpIndexMask+__svml_dcbrt_data_internal(%rip), %xmm4, %xmm10
  86         vpsrld  $12, %xmm10, %xmm3
  87         vmovd   %xmm3, %ecx
  88
  89         /* If the exponent field is zero - go to callout to process denormals */
  90         vandps  _iAbsMask+__svml_dcbrt_data_internal(%rip), %xmm4, %xmm7
  91
  92         /* Compute 2^k */
  93         vpsrld  $20, %xmm4, %xmm4
  94         vpsubd  _iSub+__svml_dcbrt_data_internal(%rip), %xmm7, %xmm8
  95         vandps  _lExpLoMask+__svml_dcbrt_data_internal(%rip), %ymm15, %ymm0
  96         vpmuludq _l1556+__svml_dcbrt_data_internal(%rip), %ymm0, %ymm6
  97         vpextrd $2, %xmm3, %edi
  98         movslq  %ecx, %rcx
  99         vpextrd $1, %xmm3, %esi
 100         movslq  %edi, %rdi
 101         vpextrd $3, %xmm3, %r8d
 102         movslq  %esi, %rsi
 103         movslq  %r8d, %r8
 104         vpcmpgtd _iCmp+__svml_dcbrt_data_internal(%rip), %xmm8, %xmm9
 105         vmovsd  (%rax, %rcx), %xmm11
 106         vmovmskps %xmm9, %edx
 107         vmovsd  (%rax, %rdi), %xmm13
 108         vmovhpd (%rax, %rsi), %xmm11, %xmm12
 109         vmovhpd (%rax, %r8), %xmm13, %xmm14
 110         vextractf128 $1, %ymm6, %xmm7
 111         vshufps $136, %xmm7, %xmm6, %xmm8
 112         vmovups __VUNPACK_ODD_ind1.613.0.1(%rip), %ymm7
 113         vextractf128 $1, %ymm0, %xmm1
 114         vshufps $136, %xmm1, %xmm0, %xmm9
 115         vpsrld  $14, %xmm8, %xmm1
 116         vpsubd  %xmm1, %xmm9, %xmm10
 117         vpaddd  %xmm1, %xmm1, %xmm11
 118
 119         /*
 120          * VAND( L, l2k, = l2k, lExpHiMask );
 121          * Argument reduction Z
 122          */
 123         vandpd  _dMantissaMask+__svml_dcbrt_data_internal(%rip), %ymm5, %ymm9
 124         vinsertf128 $1, %xmm14, %ymm12, %ymm2
 125         vpsubd  %xmm11, %xmm10, %xmm12
 126         vpslld  $8, %xmm12, %xmm13
 127         vpaddd  %xmm13, %xmm3, %xmm15
 128
 129         /* Load cbrt(2^j*(1+iRcpIndex/32+1/64)) Hi & Lo values */
 130         vmovd   %xmm15, %r9d
 131         vpextrd $2, %xmm15, %r11d
 132         movslq  %r9d, %r9
 133         vpextrd $1, %xmm15, %r10d
 134         movslq  %r11d, %r11
 135         vpextrd $3, %xmm15, %ecx
 136         movslq  %r10d, %r10
 137         movslq  %ecx, %rcx
 138         vmovsd  256(%rax, %r9), %xmm3
 139         vmovsd  256(%rax, %r11), %xmm0
 140         vandpd  _dSgnf6Mask+__svml_dcbrt_data_internal(%rip), %ymm5, %ymm10
 141         vmovhpd 256(%rax, %r10), %xmm3, %xmm14
 142         vmovhpd 256(%rax, %rcx), %xmm0, %xmm3
 143         vorpd   _dNegOne+__svml_dcbrt_data_internal(%rip), %ymm9, %ymm11
 144         vorpd   _dNeg65Div64+__svml_dcbrt_data_internal(%rip), %ymm10, %ymm12
 145         vsubpd  %ymm12, %ymm11, %ymm13
 146         vmulpd  %ymm13, %ymm2, %ymm2
 147         vinsertf128 $1, %xmm3, %ymm14, %ymm0
 148         vpand   _iSignMask+__svml_dcbrt_data_internal(%rip), %xmm4, %xmm3
 149         vpor    _iBias+__svml_dcbrt_data_internal(%rip), %xmm3, %xmm4
 150         vpaddd  %xmm1, %xmm4, %xmm1
 151         vpslld  $20, %xmm1, %xmm6
 152
 153         /* Polynomial */
 154         vmovupd _dA7+__svml_dcbrt_data_internal(%rip), %ymm1
 155         vfmadd213pd _dA6+__svml_dcbrt_data_internal(%rip), %ymm2, %ymm1
 156         vfmadd213pd _dA5+__svml_dcbrt_data_internal(%rip), %ymm2, %ymm1
 157         vfmadd213pd _dA4+__svml_dcbrt_data_internal(%rip), %ymm2, %ymm1
 158         vfmadd213pd _dA3+__svml_dcbrt_data_internal(%rip), %ymm2, %ymm1
 159         vfmadd213pd _dA2+__svml_dcbrt_data_internal(%rip), %ymm2, %ymm1
 160         vfmadd213pd _dA1+__svml_dcbrt_data_internal(%rip), %ymm2, %ymm1
 161         vpermps %ymm6, %ymm7, %ymm8
 162         vandps  __VUNPACK_ODD_mask.613.0.1(%rip), %ymm8, %ymm14
 163
 164         /* THi*2^k, TLo*2^k */
 165         vmulpd  %ymm14, %ymm0, %ymm0
 166
 167         /* THi*2^k*Z */
 168         vmulpd  %ymm0, %ymm2, %ymm2
 169
 170         /* Final reconstruction */
 171         vmulpd  %ymm2, %ymm1, %ymm3
 172         vaddpd  %ymm3, %ymm0, %ymm0
 173         testl   %edx, %edx
 174
 175         /* Go to special inputs processing branch */
 176         jne     L(SPECIAL_VALUES_BRANCH)
 177         # LOE rbx r12 r13 r14 r15 edx ymm0 ymm5
 178
 179         /* Restore registers
 180          * and exit the function
 181          */
 182
 183 L(EXIT):
 184         movq    %rbp, %rsp
 185         popq    %rbp
 186         cfi_def_cfa(7, 8)
 187         cfi_restore(6)
 188         ret
 189         cfi_def_cfa(6, 16)
 190         cfi_offset(6, -16)
 191
 192         /* Branch to process
 193          * special inputs
 194          */
 195
 196 L(SPECIAL_VALUES_BRANCH):
 197         vmovupd %ymm5, 32(%rsp)
 198         vmovupd %ymm0, 64(%rsp)
 199         # LOE rbx r12 r13 r14 r15 edx ymm0
 200
 201         xorl    %eax, %eax
 202         # LOE rbx r12 r13 r14 r15 eax edx
 203
 204         vzeroupper
 205         movq    %r12, 16(%rsp)
 206         /*  DW_CFA_expression: r12 (r12) (DW_OP_lit8; DW_OP_minus; DW_OP_const4s: -32; DW_OP_and; DW_OP_const4s: -80; DW_OP_plus)  */
 207         .cfi_escape 0x10, 0x0c, 0x0e, 0x38, 0x1c, 0x0d, 0xe0, 0xff, 0xff, 0xff, 0x1a, 0x0d, 0xb0, 0xff, 0xff, 0xff, 0x22
 208         movl    %eax, %r12d
 209         movq    %r13, 8(%rsp)
 210         /*  DW_CFA_expression: r13 (r13) (DW_OP_lit8; DW_OP_minus; DW_OP_const4s: -32; DW_OP_and; DW_OP_const4s: -88; DW_OP_plus)  */
 211         .cfi_escape 0x10, 0x0d, 0x0e, 0x38, 0x1c, 0x0d, 0xe0, 0xff, 0xff, 0xff, 0x1a, 0x0d, 0xa8, 0xff, 0xff, 0xff, 0x22
 212         movl    %edx, %r13d
 213         movq    %r14, (%rsp)
 214         /*  DW_CFA_expression: r14 (r14) (DW_OP_lit8; DW_OP_minus; DW_OP_const4s: -32; DW_OP_and; DW_OP_const4s: -96; DW_OP_plus)  */
 215         .cfi_escape 0x10, 0x0e, 0x0e, 0x38, 0x1c, 0x0d, 0xe0, 0xff, 0xff, 0xff, 0x1a, 0x0d, 0xa0, 0xff, 0xff, 0xff, 0x22
 216         # LOE rbx r15 r12d r13d
 217
 218         /* Range mask
 219          * bits check
 220          */
 221
 222 L(RANGEMASK_CHECK):
 223         btl     %r12d, %r13d
 224
 225         /* Call scalar math function */
 226         jc      L(SCALAR_MATH_CALL)
 227         # LOE rbx r15 r12d r13d
 228
 229         /* Special inputs
 230          * processing loop
 231          */
 232
 233 L(SPECIAL_VALUES_LOOP):
 234         incl    %r12d
 235         cmpl    $4, %r12d
 236
 237         /* Check bits in range mask */
 238         jl      L(RANGEMASK_CHECK)
 239         # LOE rbx r15 r12d r13d
 240
 241         movq    16(%rsp), %r12
 242         cfi_restore(12)
 243         movq    8(%rsp), %r13
 244         cfi_restore(13)
 245         movq    (%rsp), %r14
 246         cfi_restore(14)
 247         vmovupd 64(%rsp), %ymm0
 248
 249         /* Go to exit */
 250         jmp     L(EXIT)
 251         /*  DW_CFA_expression: r12 (r12) (DW_OP_lit8; DW_OP_minus; DW_OP_const4s: -32; DW_OP_and; DW_OP_const4s: -80; DW_OP_plus)  */
 252         .cfi_escape 0x10, 0x0c, 0x0e, 0x38, 0x1c, 0x0d, 0xe0, 0xff, 0xff, 0xff, 0x1a, 0x0d, 0xb0, 0xff, 0xff, 0xff, 0x22
 253         /*  DW_CFA_expression: r13 (r13) (DW_OP_lit8; DW_OP_minus; DW_OP_const4s: -32; DW_OP_and; DW_OP_const4s: -88; DW_OP_plus)  */
 254         .cfi_escape 0x10, 0x0d, 0x0e, 0x38, 0x1c, 0x0d, 0xe0, 0xff, 0xff, 0xff, 0x1a, 0x0d, 0xa8, 0xff, 0xff, 0xff, 0x22
 255         /*  DW_CFA_expression: r14 (r14) (DW_OP_lit8; DW_OP_minus; DW_OP_const4s: -32; DW_OP_and; DW_OP_const4s: -96; DW_OP_plus)  */
 256         .cfi_escape 0x10, 0x0e, 0x0e, 0x38, 0x1c, 0x0d, 0xe0, 0xff, 0xff, 0xff, 0x1a, 0x0d, 0xa0, 0xff, 0xff, 0xff, 0x22
 257         # LOE rbx r12 r13 r14 r15 ymm0
 258
 259         /* Scalar math fucntion call
 260          * to process special input
 261          */
 262
 263 L(SCALAR_MATH_CALL):
 264         movl    %r12d, %r14d
 265         vmovsd  32(%rsp, %r14, 8), %xmm0
 266         call    cbrt@PLT
 267         # LOE rbx r14 r15 r12d r13d xmm0
 268
 269         vmovsd  %xmm0, 64(%rsp, %r14, 8)
 270
 271         /* Process special inputs in loop */
 272         jmp     L(SPECIAL_VALUES_LOOP)
 273         # LOE rbx r15 r12d r13d
 274 END(_ZGVdN4v_cbrt_avx2)
 275         .section .rodata, "a"
 276         .align  32
 277
 278 __VUNPACK_ODD_ind1.613.0.1:
 279         .rept   3
 280         .long   0
 281         .endr
 282         .long   1
 283         .long   0
 284         .long   2
 285         .long   0
 286         .long   3
 287         .align  32
 288
 289 __VUNPACK_ODD_mask.613.0.1:
 290         .long   0
 291         .long   -1
 292         .long   0
 293         .long   -1
 294         .long   0
 295         .long   -1
 296         .long   0
 297         .long   -1
 298
 299         .section .rodata, "a"
 300         .align  32
 301
 302 #ifdef __svml_dcbrt_data_internal_typedef
 303 typedef unsigned int VUINT32;
 304 typedef struct {
 305         __declspec(align(32)) VUINT32 _dRcp[32][2];
 306         __declspec(align(32)) VUINT32 _dCbrtHiLo[96][2];
 307         __declspec(align(32)) VUINT32 _dA7[4][2];
 308         __declspec(align(32)) VUINT32 _dA6[4][2];
 309         __declspec(align(32)) VUINT32 _dA5[4][2];
 310         __declspec(align(32)) VUINT32 _dA4[4][2];
 311         __declspec(align(32)) VUINT32 _dA3[4][2];
 312         __declspec(align(32)) VUINT32 _dA2[4][2];
 313         __declspec(align(32)) VUINT32 _dA1[4][2];
 314         __declspec(align(32)) VUINT32 _dNeg65Div64[4][2];
 315         __declspec(align(32)) VUINT32 _dSgnf6Mask[4][2];
 316         __declspec(align(32)) VUINT32 _dNegOne[4][2];
 317         __declspec(align(32)) VUINT32 _dMantissaMask[4][2];
 318         __declspec(align(32)) VUINT32 _lExpHiMask[4][2];
 319         __declspec(align(32)) VUINT32 _lExpLoMask[4][2];
 320         __declspec(align(32)) VUINT32 _l1556[4][2];
 321         __declspec(align(32)) VUINT32 _iRcpIndexMask[8][1];
 322         __declspec(align(32)) VUINT32 _iAbsMask[8][1];
 323         __declspec(align(32)) VUINT32 _iSignMask[8][1];
 324         __declspec(align(32)) VUINT32 _iBias[8][1];
 325         __declspec(align(32)) VUINT32 _iSub[8][1];
 326         __declspec(align(32)) VUINT32 _iCmp[8][1];
 327 } __svml_dcbrt_data_internal;
 328 #endif
 329 __svml_dcbrt_data_internal:
 330         /* _dRcp */
 331         .quad   0xBFEF81F81F81F820 /* (1/(1+0/32+1/64)) = -.984615 */
 332         .quad   0xBFEE9131ABF0B767 /* (1/(1+1/32+1/64)) = -.955224 */
 333         .quad   0xBFEDAE6076B981DB /* (1/(1+2/32+1/64)) = -.927536 */
 334         .quad   0xBFECD85689039B0B /* (1/(1+3/32+1/64)) = -.901408 */
 335         .quad   0xBFEC0E070381C0E0 /* (1/(1+4/32+1/64)) = -.876712 */
 336         .quad   0xBFEB4E81B4E81B4F /* (1/(1+5/32+1/64)) = -.853333 */
 337         .quad   0xBFEA98EF606A63BE /* (1/(1+6/32+1/64)) = -.831169 */
 338         .quad   0xBFE9EC8E951033D9 /* (1/(1+7/32+1/64)) = -.810127 */
 339         .quad   0xBFE948B0FCD6E9E0 /* (1/(1+8/32+1/64)) = -.790123 */
 340         .quad   0xBFE8ACB90F6BF3AA /* (1/(1+9/32+1/64)) = -.771084 */
 341         .quad   0xBFE8181818181818 /* (1/(1+10/32+1/64)) = -.752941 */
 342         .quad   0xBFE78A4C8178A4C8 /* (1/(1+11/32+1/64)) = -.735632 */
 343         .quad   0xBFE702E05C0B8170 /* (1/(1+12/32+1/64)) = -.719101 */
 344         .quad   0xBFE6816816816817 /* (1/(1+13/32+1/64)) = -.703297 */
 345         .quad   0xBFE6058160581606 /* (1/(1+14/32+1/64)) = -.688172 */
 346         .quad   0xBFE58ED2308158ED /* (1/(1+15/32+1/64)) = -.673684 */
 347         .quad   0xBFE51D07EAE2F815 /* (1/(1+16/32+1/64)) = -.659794 */
 348         .quad   0xBFE4AFD6A052BF5B /* (1/(1+17/32+1/64)) = -.646465 */
 349         .quad   0xBFE446F86562D9FB /* (1/(1+18/32+1/64)) = -.633663 */
 350         .quad   0xBFE3E22CBCE4A902 /* (1/(1+19/32+1/64)) = -.621359 */
 351         .quad   0xBFE3813813813814 /* (1/(1+20/32+1/64)) = -.609524 */
 352         .quad   0xBFE323E34A2B10BF /* (1/(1+21/32+1/64)) = -.598131 */
 353         .quad   0xBFE2C9FB4D812CA0 /* (1/(1+22/32+1/64)) = -.587156 */
 354         .quad   0xBFE27350B8812735 /* (1/(1+23/32+1/64)) = -.576577 */
 355         .quad   0xBFE21FB78121FB78 /* (1/(1+24/32+1/64)) = -.566372 */
 356         .quad   0xBFE1CF06ADA2811D /* (1/(1+25/32+1/64)) = -.556522 */
 357         .quad   0xBFE1811811811812 /* (1/(1+26/32+1/64)) = -.547009 */
 358         .quad   0xBFE135C81135C811 /* (1/(1+27/32+1/64)) = -.537815 */
 359         .quad   0xBFE0ECF56BE69C90 /* (1/(1+28/32+1/64)) = -.528926 */
 360         .quad   0xBFE0A6810A6810A7 /* (1/(1+29/32+1/64)) = -.520325 */
 361         .quad   0xBFE0624DD2F1A9FC /* (1/(1+30/32+1/64)) = -.512 */
 362         .quad   0xBFE0204081020408 /* (1/(1+31/32+1/64)) = -.503937 */
 363         /* _dCbrtHiLo */
 364         .align  32
 365         .quad   0x3FF01539221D4C97 /* HI((2^0*(1+0/32+1/64))^(1/3)) = 1.005181 */
 366         .quad   0x3FF03F06771A2E33 /* HI((2^0*(1+1/32+1/64))^(1/3)) = 1.015387 */
 367         .quad   0x3FF06800E629D671 /* HI((2^0*(1+2/32+1/64))^(1/3)) = 1.025391 */
 368         .quad   0x3FF090328731DEB2 /* HI((2^0*(1+3/32+1/64))^(1/3)) = 1.035204 */
 369         .quad   0x3FF0B7A4B1BD64AC /* HI((2^0*(1+4/32+1/64))^(1/3)) = 1.044835 */
 370         .quad   0x3FF0DE601024FB87 /* HI((2^0*(1+5/32+1/64))^(1/3)) = 1.054291 */
 371         .quad   0x3FF1046CB0597000 /* HI((2^0*(1+6/32+1/64))^(1/3)) = 1.06358 */
 372         .quad   0x3FF129D212A9BA9B /* HI((2^0*(1+7/32+1/64))^(1/3)) = 1.07271 */
 373         .quad   0x3FF14E9736CDAF38 /* HI((2^0*(1+8/32+1/64))^(1/3)) = 1.081687 */
 374         .quad   0x3FF172C2A772F507 /* HI((2^0*(1+9/32+1/64))^(1/3)) = 1.090518 */
 375         .quad   0x3FF1965A848001D3 /* HI((2^0*(1+10/32+1/64))^(1/3)) = 1.099207 */
 376         .quad   0x3FF1B9648C38C55D /* HI((2^0*(1+11/32+1/64))^(1/3)) = 1.107762 */
 377         .quad   0x3FF1DBE6236A0C45 /* HI((2^0*(1+12/32+1/64))^(1/3)) = 1.116186 */
 378         .quad   0x3FF1FDE45CBB1F9F /* HI((2^0*(1+13/32+1/64))^(1/3)) = 1.124485 */
 379         .quad   0x3FF21F63FF409042 /* HI((2^0*(1+14/32+1/64))^(1/3)) = 1.132664 */
 380         .quad   0x3FF240698C6746E5 /* HI((2^0*(1+15/32+1/64))^(1/3)) = 1.140726 */
 381         .quad   0x3FF260F9454BB99B /* HI((2^0*(1+16/32+1/64))^(1/3)) = 1.148675 */
 382         .quad   0x3FF281172F8E7073 /* HI((2^0*(1+17/32+1/64))^(1/3)) = 1.156516 */
 383         .quad   0x3FF2A0C719B4B6D0 /* HI((2^0*(1+18/32+1/64))^(1/3)) = 1.164252 */
 384         .quad   0x3FF2C00C9F2263EC /* HI((2^0*(1+19/32+1/64))^(1/3)) = 1.171887 */
 385         .quad   0x3FF2DEEB2BB7FB78 /* HI((2^0*(1+20/32+1/64))^(1/3)) = 1.179423 */
 386         .quad   0x3FF2FD65FF1EFBBC /* HI((2^0*(1+21/32+1/64))^(1/3)) = 1.186865 */
 387         .quad   0x3FF31B802FCCF6A2 /* HI((2^0*(1+22/32+1/64))^(1/3)) = 1.194214 */
 388         .quad   0x3FF3393CADC50708 /* HI((2^0*(1+23/32+1/64))^(1/3)) = 1.201474 */
 389         .quad   0x3FF3569E451E4C2A /* HI((2^0*(1+24/32+1/64))^(1/3)) = 1.208647 */
 390         .quad   0x3FF373A7A0554CDE /* HI((2^0*(1+25/32+1/64))^(1/3)) = 1.215736 */
 391         .quad   0x3FF3905B4A6D76CE /* HI((2^0*(1+26/32+1/64))^(1/3)) = 1.222743 */
 392         .quad   0x3FF3ACBBB0E756B6 /* HI((2^0*(1+27/32+1/64))^(1/3)) = 1.229671 */
 393         .quad   0x3FF3C8CB258FA340 /* HI((2^0*(1+28/32+1/64))^(1/3)) = 1.236522 */
 394         .quad   0x3FF3E48BE02AC0CE /* HI((2^0*(1+29/32+1/64))^(1/3)) = 1.243297 */
 395         .quad   0x3FF4000000000000 /* HI((2^0*(1+30/32+1/64))^(1/3)) = 1.25 */
 396         .quad   0x3FF41B298D47800E /* HI((2^0*(1+31/32+1/64))^(1/3)) = 1.256631 */
 397         .quad   0x3FF443604B34D9B2 /* HI((2^1*(1+0/32+1/64))^(1/3)) = 1.266449 */
 398         .quad   0x3FF4780B20906571 /* HI((2^1*(1+1/32+1/64))^(1/3)) = 1.279307 */
 399         .quad   0x3FF4ABAC3EE06706 /* HI((2^1*(1+2/32+1/64))^(1/3)) = 1.291912 */
 400         .quad   0x3FF4DE505DA66B8D /* HI((2^1*(1+3/32+1/64))^(1/3)) = 1.304276 */
 401         .quad   0x3FF51003420A5C07 /* HI((2^1*(1+4/32+1/64))^(1/3)) = 1.316409 */
 402         .quad   0x3FF540CFD6FD11C1 /* HI((2^1*(1+5/32+1/64))^(1/3)) = 1.328323 */
 403         .quad   0x3FF570C04260716B /* HI((2^1*(1+6/32+1/64))^(1/3)) = 1.340027 */
 404         .quad   0x3FF59FDDF7A45F38 /* HI((2^1*(1+7/32+1/64))^(1/3)) = 1.35153 */
 405         .quad   0x3FF5CE31C83539DF /* HI((2^1*(1+8/32+1/64))^(1/3)) = 1.36284 */
 406         .quad   0x3FF5FBC3F20966A4 /* HI((2^1*(1+9/32+1/64))^(1/3)) = 1.373966 */
 407         .quad   0x3FF6289C2C8F1B70 /* HI((2^1*(1+10/32+1/64))^(1/3)) = 1.384915 */
 408         .quad   0x3FF654C1B4316DCF /* HI((2^1*(1+11/32+1/64))^(1/3)) = 1.395693 */
 409         .quad   0x3FF6803B54A34E44 /* HI((2^1*(1+12/32+1/64))^(1/3)) = 1.406307 */
 410         .quad   0x3FF6AB0F72182659 /* HI((2^1*(1+13/32+1/64))^(1/3)) = 1.416763 */
 411         .quad   0x3FF6D544118C08BC /* HI((2^1*(1+14/32+1/64))^(1/3)) = 1.427067 */
 412         .quad   0x3FF6FEDEE0388D4A /* HI((2^1*(1+15/32+1/64))^(1/3)) = 1.437224 */
 413         .quad   0x3FF727E53A4F645E /* HI((2^1*(1+16/32+1/64))^(1/3)) = 1.44724 */
 414         .quad   0x3FF7505C31104114 /* HI((2^1*(1+17/32+1/64))^(1/3)) = 1.457119 */
 415         .quad   0x3FF77848904CD549 /* HI((2^1*(1+18/32+1/64))^(1/3)) = 1.466866 */
 416         .quad   0x3FF79FAEE36B2534 /* HI((2^1*(1+19/32+1/64))^(1/3)) = 1.476485 */
 417         .quad   0x3FF7C69379F4605B /* HI((2^1*(1+20/32+1/64))^(1/3)) = 1.48598 */
 418         .quad   0x3FF7ECFA6BBCA391 /* HI((2^1*(1+21/32+1/64))^(1/3)) = 1.495356 */
 419         .quad   0x3FF812E79CAE7EB9 /* HI((2^1*(1+22/32+1/64))^(1/3)) = 1.504615 */
 420         .quad   0x3FF8385EC043C71D /* HI((2^1*(1+23/32+1/64))^(1/3)) = 1.513762 */
 421         .quad   0x3FF85D635CB41B9D /* HI((2^1*(1+24/32+1/64))^(1/3)) = 1.5228 */
 422         .quad   0x3FF881F8CDE083DB /* HI((2^1*(1+25/32+1/64))^(1/3)) = 1.531731 */
 423         .quad   0x3FF8A6224802B8A8 /* HI((2^1*(1+26/32+1/64))^(1/3)) = 1.54056 */
 424         .quad   0x3FF8C9E2DA25E5E4 /* HI((2^1*(1+27/32+1/64))^(1/3)) = 1.549289 */
 425         .quad   0x3FF8ED3D706E1010 /* HI((2^1*(1+28/32+1/64))^(1/3)) = 1.55792 */
 426         .quad   0x3FF91034D632B6DF /* HI((2^1*(1+29/32+1/64))^(1/3)) = 1.566457 */
 427         .quad   0x3FF932CBB7F0CF2D /* HI((2^1*(1+30/32+1/64))^(1/3)) = 1.574901 */
 428         .quad   0x3FF95504A517BF3A /* HI((2^1*(1+31/32+1/64))^(1/3)) = 1.583256 */
 429         .quad   0x3FF987AF34F8BB19 /* HI((2^2*(1+0/32+1/64))^(1/3)) = 1.595626 */
 430         .quad   0x3FF9CA0A8337B317 /* HI((2^2*(1+1/32+1/64))^(1/3)) = 1.611826 */
 431         .quad   0x3FFA0B1709CC13D5 /* HI((2^2*(1+2/32+1/64))^(1/3)) = 1.627708 */
 432         .quad   0x3FFA4AE4CE6419ED /* HI((2^2*(1+3/32+1/64))^(1/3)) = 1.643285 */
 433         .quad   0x3FFA8982A5567031 /* HI((2^2*(1+4/32+1/64))^(1/3)) = 1.658572 */
 434         .quad   0x3FFAC6FE500AB570 /* HI((2^2*(1+5/32+1/64))^(1/3)) = 1.673582 */
 435         .quad   0x3FFB036497A15A17 /* HI((2^2*(1+6/32+1/64))^(1/3)) = 1.688328 */
 436         .quad   0x3FFB3EC164671755 /* HI((2^2*(1+7/32+1/64))^(1/3)) = 1.702821 */
 437         .quad   0x3FFB791FD288C46F /* HI((2^2*(1+8/32+1/64))^(1/3)) = 1.717071 */
 438         .quad   0x3FFBB28A44693BE4 /* HI((2^2*(1+9/32+1/64))^(1/3)) = 1.731089 */
 439         .quad   0x3FFBEB0A72EB6E31 /* HI((2^2*(1+10/32+1/64))^(1/3)) = 1.744883 */
 440         .quad   0x3FFC22A97BF5F697 /* HI((2^2*(1+11/32+1/64))^(1/3)) = 1.758462 */
 441         .quad   0x3FFC596FEF6AF983 /* HI((2^2*(1+12/32+1/64))^(1/3)) = 1.771835 */
 442         .quad   0x3FFC8F65DAC655A3 /* HI((2^2*(1+13/32+1/64))^(1/3)) = 1.785009 */
 443         .quad   0x3FFCC492D38CE8D9 /* HI((2^2*(1+14/32+1/64))^(1/3)) = 1.797992 */
 444         .quad   0x3FFCF8FE00B19367 /* HI((2^2*(1+15/32+1/64))^(1/3)) = 1.810789 */
 445         .quad   0x3FFD2CAE230F8709 /* HI((2^2*(1+16/32+1/64))^(1/3)) = 1.823408 */
 446         .quad   0x3FFD5FA99D15208F /* HI((2^2*(1+17/32+1/64))^(1/3)) = 1.835855 */
 447         .quad   0x3FFD91F679B6E505 /* HI((2^2*(1+18/32+1/64))^(1/3)) = 1.848135 */
 448         .quad   0x3FFDC39A72BF2302 /* HI((2^2*(1+19/32+1/64))^(1/3)) = 1.860255 */
 449         .quad   0x3FFDF49AF68C1570 /* HI((2^2*(1+20/32+1/64))^(1/3)) = 1.872218 */
 450         .quad   0x3FFE24FD2D4C23B8 /* HI((2^2*(1+21/32+1/64))^(1/3)) = 1.884031 */
 451         .quad   0x3FFE54C5FDC5EC73 /* HI((2^2*(1+22/32+1/64))^(1/3)) = 1.895697 */
 452         .quad   0x3FFE83FA11B81DBB /* HI((2^2*(1+23/32+1/64))^(1/3)) = 1.907221 */
 453         .quad   0x3FFEB29DD9DBAF25 /* HI((2^2*(1+24/32+1/64))^(1/3)) = 1.918608 */
 454         .quad   0x3FFEE0B59191D374 /* HI((2^2*(1+25/32+1/64))^(1/3)) = 1.929861 */
 455         .quad   0x3FFF0E454245E4BF /* HI((2^2*(1+26/32+1/64))^(1/3)) = 1.940984 */
 456         .quad   0x3FFF3B50C68A9DD3 /* HI((2^2*(1+27/32+1/64))^(1/3)) = 1.951981 */
 457         .quad   0x3FFF67DBCCF922DC /* HI((2^2*(1+28/32+1/64))^(1/3)) = 1.962856 */
 458         .quad   0x3FFF93E9DAD7A4A6 /* HI((2^2*(1+29/32+1/64))^(1/3)) = 1.973612 */
 459         .quad   0x3FFFBF7E4E8CC9CB /* HI((2^2*(1+30/32+1/64))^(1/3)) = 1.984251 */
 460         .quad   0x3FFFEA9C61E47CD3 /* HI((2^2*(1+31/32+1/64))^(1/3)) = 1.994778 */
 461         .align  32
 462         .quad   0x3F93750AD588F115, 0x3F93750AD588F115, 0x3F93750AD588F115, 0x3F93750AD588F115 /* _dA7 */
 463         .align  32
 464         .quad   0xBF98090D6221A247, 0xBF98090D6221A247, 0xBF98090D6221A247, 0xBF98090D6221A247 /* _dA6 */
 465         .align  32
 466         .quad   0x3F9EE7113506AC12, 0x3F9EE7113506AC12, 0x3F9EE7113506AC12, 0x3F9EE7113506AC12 /* _dA5 */
 467         .align  32
 468         .quad   0xBFA511E8D2B3183B, 0xBFA511E8D2B3183B, 0xBFA511E8D2B3183B, 0xBFA511E8D2B3183B /* _dA4 */
 469         .align  32
 470         .quad   0x3FAF9ADD3C0CA458, 0x3FAF9ADD3C0CA458, 0x3FAF9ADD3C0CA458, 0x3FAF9ADD3C0CA458 /* _dA3 */
 471         .align  32
 472         .quad   0xBFBC71C71C71C71C, 0xBFBC71C71C71C71C, 0xBFBC71C71C71C71C, 0xBFBC71C71C71C71C /* _dA2 */
 473         .align  32
 474         .quad   0x3FD5555555555555, 0x3FD5555555555555, 0x3FD5555555555555, 0x3FD5555555555555 /* _dA1 */
 475         .align  32
 476         .quad   0xBFF0400000000000, 0xBFF0400000000000, 0xBFF0400000000000, 0xBFF0400000000000 /* _dNeg65Div64 */
 477         .align  32
 478         .quad   0x000FC00000000000, 0x000FC00000000000, 0x000FC00000000000, 0x000FC00000000000 /* _dSgnf6Mask */
 479         .align  32
 480         .quad   0xBFF0000000000000, 0xBFF0000000000000, 0xBFF0000000000000, 0xBFF0000000000000 /* _dNegOne */
 481         .align  32
 482         .quad   0x000FFFFFFFFFFFFF, 0x000FFFFFFFFFFFFF, 0x000FFFFFFFFFFFFF, 0x000FFFFFFFFFFFFF /* _dMantissaMask */
 483         .align  32
 484         .quad   0xFFF0000000000000, 0xFFF0000000000000, 0xFFF0000000000000, 0xFFF0000000000000 /* _lExpHiMask */
 485         .align  32
 486         .quad   0x00000000000007FF, 0x00000000000007FF, 0x00000000000007FF, 0x00000000000007FF /* _lExpLoMask */
 487         .align  32
 488         .quad   0x0000000000001556, 0x0000000000001556, 0x0000000000001556, 0x0000000000001556 /* _l1556 */
 489         .align  32
 490         .long   0x000F8000, 0x000F8000, 0x000F8000, 0x000F8000, 0x000F8000, 0x000F8000, 0x000F8000, 0x000F8000 /* _iRcpIndexMask */
 491         .align  32
 492         .long   0x7FFFFFFF, 0x7FFFFFFF, 0x7FFFFFFF, 0x7FFFFFFF, 0x7FFFFFFF, 0x7FFFFFFF, 0x7FFFFFFF, 0x7FFFFFFF /* _iAbsMask */
 493         .align  32
 494         .long   0x00000800, 0x00000800, 0x00000800, 0x00000800, 0x00000800, 0x00000800, 0x00000800, 0x00000800 /* _iSignMask */
 495         .align  32
 496         .long   0x000002AA, 0x000002AA, 0x000002AA, 0x000002AA, 0x000002AA, 0x000002AA, 0x000002AA, 0x000002AA /* _iBias */
 497         .align  32
 498         .long   0x80100000, 0x80100000, 0x80100000, 0x80100000, 0x80100000, 0x80100000, 0x80100000, 0x80100000 /* _iSub */
 499         .align  32
 500         .long   0xffdfffff, 0xffdfffff, 0xffdfffff, 0xffdfffff, 0xffdfffff, 0xffdfffff, 0xffdfffff, 0xffdfffff /* _iCmp */
 501         .align  32
 502         .type   __svml_dcbrt_data_internal, @object
 503         .size   __svml_dcbrt_data_internal, .-__svml_dcbrt_data_internal