sysdeps/x86_64/fpu/multiarch/svml_d_cbrt2_core_sse4.S

   1 /* Function cbrt vectorized with SSE4.
   2    Copyright (C) 2021-2023 Free Software Foundation, Inc.
   3    This file is part of the GNU C Library.
   4
   5    The GNU C Library is free software; you can redistribute it and/or
   6    modify it under the terms of the GNU Lesser General Public
   7    License as published by the Free Software Foundation; either
   8    version 2.1 of the License, or (at your option) any later version.
   9
  10    The GNU C Library is distributed in the hope that it will be useful,
  11    but WITHOUT ANY WARRANTY; without even the implied warranty of
  12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13    Lesser General Public License for more details.
  14
  15    You should have received a copy of the GNU Lesser General Public
  16    License along with the GNU C Library; if not, see
  17    https://www.gnu.org/licenses/.  */
  18
  19 /*
  20  * ALGORITHM DESCRIPTION:
  21  *
  22  *   x=2^{3*k+j} * 1.b1 b2 ... b5 b6 ... b52
  23  *   Let r=(x*2^{-3k-j} - 1.b1 b2 ... b5 1)* rcp[b1 b2 ..b5],
  24  *   where rcp[b1 b2 .. b5]=1/(1.b1 b2 b3 b4 b5 1) in double precision
  25  *   cbrt(2^j * 1. b1 b2 .. b5 1) is approximated as T[j][b1..b5]+D[j][b1..b5]
  26  *   (T stores the high 53 bits, D stores the low order bits)
  27  *   Result=2^k*T+(2^k*T*r)*P+2^k*D
  28  *   where P=p1+p2*r+..+p8*r^7
  29  *
  30  */
  31
  32 /* Offsets for data table __svml_dcbrt_data_internal
  33  */
  34 #define _dRcp                           0
  35 #define _dCbrtHiLo                      256
  36 #define _dA7                            1024
  37 #define _dA6                            1040
  38 #define _dA5                            1056
  39 #define _dA4                            1072
  40 #define _dA3                            1088
  41 #define _dA2                            1104
  42 #define _dA1                            1120
  43 #define _dNeg65Div64                    1136
  44 #define _dSgnf6Mask                     1152
  45 #define _dNegOne                        1168
  46 #define _dMantissaMask                  1184
  47 #define _lExpHiMask                     1200
  48 #define _lExpLoMask                     1216
  49 #define _l1556                          1232
  50 #define _iRcpIndexMask                  1248
  51 #define _iAbsMask                       1264
  52 #define _iSignMask                      1280
  53 #define _iBias                          1296
  54 #define _iSub                           1312
  55 #define _iCmp                           1328
  56
  57 #include <sysdep.h>
  58
  59         .section .text.sse4, "ax", @progbits
  60 ENTRY(_ZGVbN2v_cbrt_sse4)
  61         subq    $72, %rsp
  62         cfi_def_cfa_offset(80)
  63
  64         /* Calculate CbrtIndex */
  65         movaps  %xmm0, %xmm10
  66         psrlq   $52, %xmm10
  67
  68         /* Load 1/(1+iRcpIndex/32+1/64) reciprocal table value */
  69         lea     __svml_dcbrt_data_internal(%rip), %r8
  70         pand    _lExpLoMask+__svml_dcbrt_data_internal(%rip), %xmm10
  71         movdqu  _l1556+__svml_dcbrt_data_internal(%rip), %xmm9
  72         pmuludq %xmm10, %xmm9
  73
  74         /* If the exponent field is zero - go to callout to process denormals */
  75         movq    _iAbsMask+__svml_dcbrt_data_internal(%rip), %xmm7
  76
  77         /* Calculate Rcp table index */
  78         movq    _iRcpIndexMask+__svml_dcbrt_data_internal(%rip), %xmm13
  79
  80         /* Get iX - high part of argument */
  81         pshufd  $221, %xmm0, %xmm4
  82
  83         /*
  84          * Declarations
  85          * Load constants
  86          */
  87         movq    _iSignMask+__svml_dcbrt_data_internal(%rip), %xmm1
  88         pand    %xmm4, %xmm7
  89         pand    %xmm4, %xmm13
  90
  91         /* Compute 2^k */
  92         psrld   $20, %xmm4
  93         movq    _iBias+__svml_dcbrt_data_internal(%rip), %xmm2
  94         pand    %xmm1, %xmm4
  95         pshufd  $136, %xmm9, %xmm15
  96         por     %xmm2, %xmm4
  97         psrld   $14, %xmm15
  98         psrld   $12, %xmm13
  99         paddd   %xmm15, %xmm4
 100         pxor    %xmm2, %xmm2
 101         pslld   $20, %xmm4
 102         movdqa  %xmm15, %xmm11
 103         movd    %xmm13, %edx
 104         paddd   %xmm15, %xmm11
 105         pshufd  $1, %xmm13, %xmm8
 106         punpckldq %xmm4, %xmm2
 107
 108         /*
 109          * VAND( L, l2k, = l2k, lExpHiMask );
 110          * Argument reduction Z
 111          */
 112         movups  _dMantissaMask+__svml_dcbrt_data_internal(%rip), %xmm1
 113         movups  _dSgnf6Mask+__svml_dcbrt_data_internal(%rip), %xmm4
 114         andps   %xmm0, %xmm1
 115         movd    %xmm8, %ecx
 116         andps   %xmm0, %xmm4
 117         orps    _dNegOne+__svml_dcbrt_data_internal(%rip), %xmm1
 118         orps    _dNeg65Div64+__svml_dcbrt_data_internal(%rip), %xmm4
 119         movslq  %edx, %rdx
 120         subpd   %xmm4, %xmm1
 121         movslq  %ecx, %rcx
 122         movsd   (%r8, %rdx), %xmm3
 123         movq    _iSub+__svml_dcbrt_data_internal(%rip), %xmm5
 124         psubd   %xmm5, %xmm7
 125         movhpd  (%r8, %rcx), %xmm3
 126         mulpd   %xmm1, %xmm3
 127
 128         /* Polynomial */
 129         movups  _dA7+__svml_dcbrt_data_internal(%rip), %xmm5
 130         mulpd   %xmm3, %xmm5
 131         addpd   _dA6+__svml_dcbrt_data_internal(%rip), %xmm5
 132         mulpd   %xmm3, %xmm5
 133         addpd   _dA5+__svml_dcbrt_data_internal(%rip), %xmm5
 134         mulpd   %xmm3, %xmm5
 135         addpd   _dA4+__svml_dcbrt_data_internal(%rip), %xmm5
 136         mulpd   %xmm3, %xmm5
 137         addpd   _dA3+__svml_dcbrt_data_internal(%rip), %xmm5
 138         pshufd  $136, %xmm10, %xmm12
 139         psubd   %xmm15, %xmm12
 140         psubd   %xmm11, %xmm12
 141         mulpd   %xmm3, %xmm5
 142         pslld   $8, %xmm12
 143         paddd   %xmm12, %xmm13
 144
 145         /* Load cbrt(2^j*(1+iRcpIndex/32+1/64)) Hi & Lo values */
 146         movd    %xmm13, %esi
 147         pshufd  $1, %xmm13, %xmm14
 148         movq    _iCmp+__svml_dcbrt_data_internal(%rip), %xmm6
 149         movd    %xmm14, %edi
 150         pcmpgtd %xmm6, %xmm7
 151         movmskps %xmm7, %eax
 152         addpd   _dA2+__svml_dcbrt_data_internal(%rip), %xmm5
 153         movslq  %esi, %rsi
 154         movslq  %edi, %rdi
 155         mulpd   %xmm3, %xmm5
 156         movsd   256(%r8, %rsi), %xmm6
 157         movhpd  256(%r8, %rdi), %xmm6
 158
 159         /* THi*2^k, TLo*2^k */
 160         mulpd   %xmm2, %xmm6
 161         addpd   _dA1+__svml_dcbrt_data_internal(%rip), %xmm5
 162
 163         /* THi*2^k*Z */
 164         mulpd   %xmm6, %xmm3
 165
 166         /* Final reconstruction */
 167         mulpd   %xmm3, %xmm5
 168         addpd   %xmm5, %xmm6
 169         andl    $3, %eax
 170
 171         /* Go to special inputs processing branch */
 172         jne     L(SPECIAL_VALUES_BRANCH)
 173         # LOE rbx rbp r12 r13 r14 r15 eax xmm0 xmm6
 174
 175         /* Restore registers
 176          * and exit the function
 177          */
 178
 179 L(EXIT):
 180         movaps  %xmm6, %xmm0
 181         addq    $72, %rsp
 182         cfi_def_cfa_offset(8)
 183         ret
 184         cfi_def_cfa_offset(80)
 185
 186         /* Branch to process
 187          * special inputs
 188          */
 189
 190 L(SPECIAL_VALUES_BRANCH):
 191         movups  %xmm0, 32(%rsp)
 192         movups  %xmm6, 48(%rsp)
 193         # LOE rbx rbp r12 r13 r14 r15 eax xmm6
 194
 195         xorl    %edx, %edx
 196         movq    %r12, 16(%rsp)
 197         cfi_offset(12, -64)
 198         movl    %edx, %r12d
 199         movq    %r13, 8(%rsp)
 200         cfi_offset(13, -72)
 201         movl    %eax, %r13d
 202         movq    %r14, (%rsp)
 203         cfi_offset(14, -80)
 204         # LOE rbx rbp r15 r12d r13d
 205
 206         /* Range mask
 207          * bits check
 208          */
 209
 210 L(RANGEMASK_CHECK):
 211         btl     %r12d, %r13d
 212
 213         /* Call scalar math function */
 214         jc      L(SCALAR_MATH_CALL)
 215         # LOE rbx rbp r15 r12d r13d
 216
 217         /* Special inputs
 218          * processing loop
 219          */
 220
 221 L(SPECIAL_VALUES_LOOP):
 222         incl    %r12d
 223         cmpl    $2, %r12d
 224
 225         /* Check bits in range mask */
 226         jl      L(RANGEMASK_CHECK)
 227         # LOE rbx rbp r15 r12d r13d
 228
 229         movq    16(%rsp), %r12
 230         cfi_restore(12)
 231         movq    8(%rsp), %r13
 232         cfi_restore(13)
 233         movq    (%rsp), %r14
 234         cfi_restore(14)
 235         movups  48(%rsp), %xmm6
 236
 237         /* Go to exit */
 238         jmp     L(EXIT)
 239         cfi_offset(12, -64)
 240         cfi_offset(13, -72)
 241         cfi_offset(14, -80)
 242         # LOE rbx rbp r12 r13 r14 r15 xmm6
 243
 244         /* Scalar math fucntion call
 245          * to process special input
 246          */
 247
 248 L(SCALAR_MATH_CALL):
 249         movl    %r12d, %r14d
 250         movsd   32(%rsp, %r14, 8), %xmm0
 251         call    cbrt@PLT
 252         # LOE rbx rbp r14 r15 r12d r13d xmm0
 253
 254         movsd   %xmm0, 48(%rsp, %r14, 8)
 255
 256         /* Process special inputs in loop */
 257         jmp     L(SPECIAL_VALUES_LOOP)
 258         # LOE rbx rbp r15 r12d r13d
 259 END(_ZGVbN2v_cbrt_sse4)
 260
 261         .section .rodata, "a"
 262         .align  16
 263
 264 #ifdef __svml_dcbrt_data_internal_typedef
 265 typedef unsigned int VUINT32;
 266 typedef struct {
 267         __declspec(align(16)) VUINT32 _dRcp[32][2];
 268         __declspec(align(16)) VUINT32 _dCbrtHiLo[96][2];
 269         __declspec(align(16)) VUINT32 _dA7[2][2];
 270         __declspec(align(16)) VUINT32 _dA6[2][2];
 271         __declspec(align(16)) VUINT32 _dA5[2][2];
 272         __declspec(align(16)) VUINT32 _dA4[2][2];
 273         __declspec(align(16)) VUINT32 _dA3[2][2];
 274         __declspec(align(16)) VUINT32 _dA2[2][2];
 275         __declspec(align(16)) VUINT32 _dA1[2][2];
 276         __declspec(align(16)) VUINT32 _dNeg65Div64[2][2];
 277         __declspec(align(16)) VUINT32 _dSgnf6Mask[2][2];
 278         __declspec(align(16)) VUINT32 _dNegOne[2][2];
 279         __declspec(align(16)) VUINT32 _dMantissaMask[2][2];
 280         __declspec(align(16)) VUINT32 _lExpHiMask[2][2];
 281         __declspec(align(16)) VUINT32 _lExpLoMask[2][2];
 282         __declspec(align(16)) VUINT32 _l1556[2][2];
 283         __declspec(align(16)) VUINT32 _iRcpIndexMask[4][1];
 284         __declspec(align(16)) VUINT32 _iAbsMask[4][1];
 285         __declspec(align(16)) VUINT32 _iSignMask[4][1];
 286         __declspec(align(16)) VUINT32 _iBias[4][1];
 287         __declspec(align(16)) VUINT32 _iSub[4][1];
 288         __declspec(align(16)) VUINT32 _iCmp[4][1];
 289 } __svml_dcbrt_data_internal;
 290 #endif
 291 __svml_dcbrt_data_internal:
 292         /* _dRcp */
 293         .quad   0xBFEF81F81F81F820 /* (1/(1+0/32+1/64)) = -.984615 */
 294         .quad   0xBFEE9131ABF0B767 /* (1/(1+1/32+1/64)) = -.955224 */
 295         .quad   0xBFEDAE6076B981DB /* (1/(1+2/32+1/64)) = -.927536 */
 296         .quad   0xBFECD85689039B0B /* (1/(1+3/32+1/64)) = -.901408 */
 297         .quad   0xBFEC0E070381C0E0 /* (1/(1+4/32+1/64)) = -.876712 */
 298         .quad   0xBFEB4E81B4E81B4F /* (1/(1+5/32+1/64)) = -.853333 */
 299         .quad   0xBFEA98EF606A63BE /* (1/(1+6/32+1/64)) = -.831169 */
 300         .quad   0xBFE9EC8E951033D9 /* (1/(1+7/32+1/64)) = -.810127 */
 301         .quad   0xBFE948B0FCD6E9E0 /* (1/(1+8/32+1/64)) = -.790123 */
 302         .quad   0xBFE8ACB90F6BF3AA /* (1/(1+9/32+1/64)) = -.771084 */
 303         .quad   0xBFE8181818181818 /* (1/(1+10/32+1/64)) = -.752941 */
 304         .quad   0xBFE78A4C8178A4C8 /* (1/(1+11/32+1/64)) = -.735632 */
 305         .quad   0xBFE702E05C0B8170 /* (1/(1+12/32+1/64)) = -.719101 */
 306         .quad   0xBFE6816816816817 /* (1/(1+13/32+1/64)) = -.703297 */
 307         .quad   0xBFE6058160581606 /* (1/(1+14/32+1/64)) = -.688172 */
 308         .quad   0xBFE58ED2308158ED /* (1/(1+15/32+1/64)) = -.673684 */
 309         .quad   0xBFE51D07EAE2F815 /* (1/(1+16/32+1/64)) = -.659794 */
 310         .quad   0xBFE4AFD6A052BF5B /* (1/(1+17/32+1/64)) = -.646465 */
 311         .quad   0xBFE446F86562D9FB /* (1/(1+18/32+1/64)) = -.633663 */
 312         .quad   0xBFE3E22CBCE4A902 /* (1/(1+19/32+1/64)) = -.621359 */
 313         .quad   0xBFE3813813813814 /* (1/(1+20/32+1/64)) = -.609524 */
 314         .quad   0xBFE323E34A2B10BF /* (1/(1+21/32+1/64)) = -.598131 */
 315         .quad   0xBFE2C9FB4D812CA0 /* (1/(1+22/32+1/64)) = -.587156 */
 316         .quad   0xBFE27350B8812735 /* (1/(1+23/32+1/64)) = -.576577 */
 317         .quad   0xBFE21FB78121FB78 /* (1/(1+24/32+1/64)) = -.566372 */
 318         .quad   0xBFE1CF06ADA2811D /* (1/(1+25/32+1/64)) = -.556522 */
 319         .quad   0xBFE1811811811812 /* (1/(1+26/32+1/64)) = -.547009 */
 320         .quad   0xBFE135C81135C811 /* (1/(1+27/32+1/64)) = -.537815 */
 321         .quad   0xBFE0ECF56BE69C90 /* (1/(1+28/32+1/64)) = -.528926 */
 322         .quad   0xBFE0A6810A6810A7 /* (1/(1+29/32+1/64)) = -.520325 */
 323         .quad   0xBFE0624DD2F1A9FC /* (1/(1+30/32+1/64)) = -.512 */
 324         .quad   0xBFE0204081020408 /* (1/(1+31/32+1/64)) = -.503937 */
 325         /* _dCbrtHiLo */
 326         .align  16
 327         .quad   0x3FF01539221D4C97 /* HI((2^0*(1+0/32+1/64))^(1/3)) = 1.005181 */
 328         .quad   0x3FF03F06771A2E33 /* HI((2^0*(1+1/32+1/64))^(1/3)) = 1.015387 */
 329         .quad   0x3FF06800E629D671 /* HI((2^0*(1+2/32+1/64))^(1/3)) = 1.025391 */
 330         .quad   0x3FF090328731DEB2 /* HI((2^0*(1+3/32+1/64))^(1/3)) = 1.035204 */
 331         .quad   0x3FF0B7A4B1BD64AC /* HI((2^0*(1+4/32+1/64))^(1/3)) = 1.044835 */
 332         .quad   0x3FF0DE601024FB87 /* HI((2^0*(1+5/32+1/64))^(1/3)) = 1.054291 */
 333         .quad   0x3FF1046CB0597000 /* HI((2^0*(1+6/32+1/64))^(1/3)) = 1.06358 */
 334         .quad   0x3FF129D212A9BA9B /* HI((2^0*(1+7/32+1/64))^(1/3)) = 1.07271 */
 335         .quad   0x3FF14E9736CDAF38 /* HI((2^0*(1+8/32+1/64))^(1/3)) = 1.081687 */
 336         .quad   0x3FF172C2A772F507 /* HI((2^0*(1+9/32+1/64))^(1/3)) = 1.090518 */
 337         .quad   0x3FF1965A848001D3 /* HI((2^0*(1+10/32+1/64))^(1/3)) = 1.099207 */
 338         .quad   0x3FF1B9648C38C55D /* HI((2^0*(1+11/32+1/64))^(1/3)) = 1.107762 */
 339         .quad   0x3FF1DBE6236A0C45 /* HI((2^0*(1+12/32+1/64))^(1/3)) = 1.116186 */
 340         .quad   0x3FF1FDE45CBB1F9F /* HI((2^0*(1+13/32+1/64))^(1/3)) = 1.124485 */
 341         .quad   0x3FF21F63FF409042 /* HI((2^0*(1+14/32+1/64))^(1/3)) = 1.132664 */
 342         .quad   0x3FF240698C6746E5 /* HI((2^0*(1+15/32+1/64))^(1/3)) = 1.140726 */
 343         .quad   0x3FF260F9454BB99B /* HI((2^0*(1+16/32+1/64))^(1/3)) = 1.148675 */
 344         .quad   0x3FF281172F8E7073 /* HI((2^0*(1+17/32+1/64))^(1/3)) = 1.156516 */
 345         .quad   0x3FF2A0C719B4B6D0 /* HI((2^0*(1+18/32+1/64))^(1/3)) = 1.164252 */
 346         .quad   0x3FF2C00C9F2263EC /* HI((2^0*(1+19/32+1/64))^(1/3)) = 1.171887 */
 347         .quad   0x3FF2DEEB2BB7FB78 /* HI((2^0*(1+20/32+1/64))^(1/3)) = 1.179423 */
 348         .quad   0x3FF2FD65FF1EFBBC /* HI((2^0*(1+21/32+1/64))^(1/3)) = 1.186865 */
 349         .quad   0x3FF31B802FCCF6A2 /* HI((2^0*(1+22/32+1/64))^(1/3)) = 1.194214 */
 350         .quad   0x3FF3393CADC50708 /* HI((2^0*(1+23/32+1/64))^(1/3)) = 1.201474 */
 351         .quad   0x3FF3569E451E4C2A /* HI((2^0*(1+24/32+1/64))^(1/3)) = 1.208647 */
 352         .quad   0x3FF373A7A0554CDE /* HI((2^0*(1+25/32+1/64))^(1/3)) = 1.215736 */
 353         .quad   0x3FF3905B4A6D76CE /* HI((2^0*(1+26/32+1/64))^(1/3)) = 1.222743 */
 354         .quad   0x3FF3ACBBB0E756B6 /* HI((2^0*(1+27/32+1/64))^(1/3)) = 1.229671 */
 355         .quad   0x3FF3C8CB258FA340 /* HI((2^0*(1+28/32+1/64))^(1/3)) = 1.236522 */
 356         .quad   0x3FF3E48BE02AC0CE /* HI((2^0*(1+29/32+1/64))^(1/3)) = 1.243297 */
 357         .quad   0x3FF4000000000000 /* HI((2^0*(1+30/32+1/64))^(1/3)) = 1.25 */
 358         .quad   0x3FF41B298D47800E /* HI((2^0*(1+31/32+1/64))^(1/3)) = 1.256631 */
 359         .quad   0x3FF443604B34D9B2 /* HI((2^1*(1+0/32+1/64))^(1/3)) = 1.266449 */
 360         .quad   0x3FF4780B20906571 /* HI((2^1*(1+1/32+1/64))^(1/3)) = 1.279307 */
 361         .quad   0x3FF4ABAC3EE06706 /* HI((2^1*(1+2/32+1/64))^(1/3)) = 1.291912 */
 362         .quad   0x3FF4DE505DA66B8D /* HI((2^1*(1+3/32+1/64))^(1/3)) = 1.304276 */
 363         .quad   0x3FF51003420A5C07 /* HI((2^1*(1+4/32+1/64))^(1/3)) = 1.316409 */
 364         .quad   0x3FF540CFD6FD11C1 /* HI((2^1*(1+5/32+1/64))^(1/3)) = 1.328323 */
 365         .quad   0x3FF570C04260716B /* HI((2^1*(1+6/32+1/64))^(1/3)) = 1.340027 */
 366         .quad   0x3FF59FDDF7A45F38 /* HI((2^1*(1+7/32+1/64))^(1/3)) = 1.35153 */
 367         .quad   0x3FF5CE31C83539DF /* HI((2^1*(1+8/32+1/64))^(1/3)) = 1.36284 */
 368         .quad   0x3FF5FBC3F20966A4 /* HI((2^1*(1+9/32+1/64))^(1/3)) = 1.373966 */
 369         .quad   0x3FF6289C2C8F1B70 /* HI((2^1*(1+10/32+1/64))^(1/3)) = 1.384915 */
 370         .quad   0x3FF654C1B4316DCF /* HI((2^1*(1+11/32+1/64))^(1/3)) = 1.395693 */
 371         .quad   0x3FF6803B54A34E44 /* HI((2^1*(1+12/32+1/64))^(1/3)) = 1.406307 */
 372         .quad   0x3FF6AB0F72182659 /* HI((2^1*(1+13/32+1/64))^(1/3)) = 1.416763 */
 373         .quad   0x3FF6D544118C08BC /* HI((2^1*(1+14/32+1/64))^(1/3)) = 1.427067 */
 374         .quad   0x3FF6FEDEE0388D4A /* HI((2^1*(1+15/32+1/64))^(1/3)) = 1.437224 */
 375         .quad   0x3FF727E53A4F645E /* HI((2^1*(1+16/32+1/64))^(1/3)) = 1.44724 */
 376         .quad   0x3FF7505C31104114 /* HI((2^1*(1+17/32+1/64))^(1/3)) = 1.457119 */
 377         .quad   0x3FF77848904CD549 /* HI((2^1*(1+18/32+1/64))^(1/3)) = 1.466866 */
 378         .quad   0x3FF79FAEE36B2534 /* HI((2^1*(1+19/32+1/64))^(1/3)) = 1.476485 */
 379         .quad   0x3FF7C69379F4605B /* HI((2^1*(1+20/32+1/64))^(1/3)) = 1.48598 */
 380         .quad   0x3FF7ECFA6BBCA391 /* HI((2^1*(1+21/32+1/64))^(1/3)) = 1.495356 */
 381         .quad   0x3FF812E79CAE7EB9 /* HI((2^1*(1+22/32+1/64))^(1/3)) = 1.504615 */
 382         .quad   0x3FF8385EC043C71D /* HI((2^1*(1+23/32+1/64))^(1/3)) = 1.513762 */
 383         .quad   0x3FF85D635CB41B9D /* HI((2^1*(1+24/32+1/64))^(1/3)) = 1.5228 */
 384         .quad   0x3FF881F8CDE083DB /* HI((2^1*(1+25/32+1/64))^(1/3)) = 1.531731 */
 385         .quad   0x3FF8A6224802B8A8 /* HI((2^1*(1+26/32+1/64))^(1/3)) = 1.54056 */
 386         .quad   0x3FF8C9E2DA25E5E4 /* HI((2^1*(1+27/32+1/64))^(1/3)) = 1.549289 */
 387         .quad   0x3FF8ED3D706E1010 /* HI((2^1*(1+28/32+1/64))^(1/3)) = 1.55792 */
 388         .quad   0x3FF91034D632B6DF /* HI((2^1*(1+29/32+1/64))^(1/3)) = 1.566457 */
 389         .quad   0x3FF932CBB7F0CF2D /* HI((2^1*(1+30/32+1/64))^(1/3)) = 1.574901 */
 390         .quad   0x3FF95504A517BF3A /* HI((2^1*(1+31/32+1/64))^(1/3)) = 1.583256 */
 391         .quad   0x3FF987AF34F8BB19 /* HI((2^2*(1+0/32+1/64))^(1/3)) = 1.595626 */
 392         .quad   0x3FF9CA0A8337B317 /* HI((2^2*(1+1/32+1/64))^(1/3)) = 1.611826 */
 393         .quad   0x3FFA0B1709CC13D5 /* HI((2^2*(1+2/32+1/64))^(1/3)) = 1.627708 */
 394         .quad   0x3FFA4AE4CE6419ED /* HI((2^2*(1+3/32+1/64))^(1/3)) = 1.643285 */
 395         .quad   0x3FFA8982A5567031 /* HI((2^2*(1+4/32+1/64))^(1/3)) = 1.658572 */
 396         .quad   0x3FFAC6FE500AB570 /* HI((2^2*(1+5/32+1/64))^(1/3)) = 1.673582 */
 397         .quad   0x3FFB036497A15A17 /* HI((2^2*(1+6/32+1/64))^(1/3)) = 1.688328 */
 398         .quad   0x3FFB3EC164671755 /* HI((2^2*(1+7/32+1/64))^(1/3)) = 1.702821 */
 399         .quad   0x3FFB791FD288C46F /* HI((2^2*(1+8/32+1/64))^(1/3)) = 1.717071 */
 400         .quad   0x3FFBB28A44693BE4 /* HI((2^2*(1+9/32+1/64))^(1/3)) = 1.731089 */
 401         .quad   0x3FFBEB0A72EB6E31 /* HI((2^2*(1+10/32+1/64))^(1/3)) = 1.744883 */
 402         .quad   0x3FFC22A97BF5F697 /* HI((2^2*(1+11/32+1/64))^(1/3)) = 1.758462 */
 403         .quad   0x3FFC596FEF6AF983 /* HI((2^2*(1+12/32+1/64))^(1/3)) = 1.771835 */
 404         .quad   0x3FFC8F65DAC655A3 /* HI((2^2*(1+13/32+1/64))^(1/3)) = 1.785009 */
 405         .quad   0x3FFCC492D38CE8D9 /* HI((2^2*(1+14/32+1/64))^(1/3)) = 1.797992 */
 406         .quad   0x3FFCF8FE00B19367 /* HI((2^2*(1+15/32+1/64))^(1/3)) = 1.810789 */
 407         .quad   0x3FFD2CAE230F8709 /* HI((2^2*(1+16/32+1/64))^(1/3)) = 1.823408 */
 408         .quad   0x3FFD5FA99D15208F /* HI((2^2*(1+17/32+1/64))^(1/3)) = 1.835855 */
 409         .quad   0x3FFD91F679B6E505 /* HI((2^2*(1+18/32+1/64))^(1/3)) = 1.848135 */
 410         .quad   0x3FFDC39A72BF2302 /* HI((2^2*(1+19/32+1/64))^(1/3)) = 1.860255 */
 411         .quad   0x3FFDF49AF68C1570 /* HI((2^2*(1+20/32+1/64))^(1/3)) = 1.872218 */
 412         .quad   0x3FFE24FD2D4C23B8 /* HI((2^2*(1+21/32+1/64))^(1/3)) = 1.884031 */
 413         .quad   0x3FFE54C5FDC5EC73 /* HI((2^2*(1+22/32+1/64))^(1/3)) = 1.895697 */
 414         .quad   0x3FFE83FA11B81DBB /* HI((2^2*(1+23/32+1/64))^(1/3)) = 1.907221 */
 415         .quad   0x3FFEB29DD9DBAF25 /* HI((2^2*(1+24/32+1/64))^(1/3)) = 1.918608 */
 416         .quad   0x3FFEE0B59191D374 /* HI((2^2*(1+25/32+1/64))^(1/3)) = 1.929861 */
 417         .quad   0x3FFF0E454245E4BF /* HI((2^2*(1+26/32+1/64))^(1/3)) = 1.940984 */
 418         .quad   0x3FFF3B50C68A9DD3 /* HI((2^2*(1+27/32+1/64))^(1/3)) = 1.951981 */
 419         .quad   0x3FFF67DBCCF922DC /* HI((2^2*(1+28/32+1/64))^(1/3)) = 1.962856 */
 420         .quad   0x3FFF93E9DAD7A4A6 /* HI((2^2*(1+29/32+1/64))^(1/3)) = 1.973612 */
 421         .quad   0x3FFFBF7E4E8CC9CB /* HI((2^2*(1+30/32+1/64))^(1/3)) = 1.984251 */
 422         .quad   0x3FFFEA9C61E47CD3 /* HI((2^2*(1+31/32+1/64))^(1/3)) = 1.994778 */
 423         .align  16
 424         .quad   0x3F93750AD588F115, 0x3F93750AD588F115 /* _dA7 */
 425         .align  16
 426         .quad   0xBF98090D6221A247, 0xBF98090D6221A247 /* _dA6 */
 427         .align  16
 428         .quad   0x3F9EE7113506AC12, 0x3F9EE7113506AC12 /* _dA5 */
 429         .align  16
 430         .quad   0xBFA511E8D2B3183B, 0xBFA511E8D2B3183B /* _dA4 */
 431         .align  16
 432         .quad   0x3FAF9ADD3C0CA458, 0x3FAF9ADD3C0CA458 /* _dA3 */
 433         .align  16
 434         .quad   0xBFBC71C71C71C71C, 0xBFBC71C71C71C71C /* _dA2 */
 435         .align  16
 436         .quad   0x3FD5555555555555, 0x3FD5555555555555 /* _dA1 */
 437         .align  16
 438         .quad   0xBFF0400000000000, 0xBFF0400000000000 /* _dNeg65Div64 */
 439         .align  16
 440         .quad   0x000FC00000000000, 0x000FC00000000000 /* _dSgnf6Mask */
 441         .align  16
 442         .quad   0xBFF0000000000000, 0xBFF0000000000000 /* _dNegOne */
 443         .align  16
 444         .quad   0x000FFFFFFFFFFFFF, 0x000FFFFFFFFFFFFF /* _dMantissaMask */
 445         .align  16
 446         .quad   0xFFF0000000000000, 0xFFF0000000000000 /* _lExpHiMask */
 447         .align  16
 448         .quad   0x00000000000007FF, 0x00000000000007FF /* _lExpLoMask */
 449         .align  16
 450         .quad   0x0000000000001556, 0x0000000000001556 /* _l1556 */
 451         .align  16
 452         .long   0x000F8000, 0x000F8000, 0x000F8000, 0x000F8000 /* _iRcpIndexMask */
 453         .align  16
 454         .long   0x7FFFFFFF, 0x7FFFFFFF, 0x7FFFFFFF, 0x7FFFFFFF /* _iAbsMask */
 455         .align  16
 456         .long   0x00000800, 0x00000800, 0x00000800, 0x00000800 /* _iSignMask */
 457         .align  16
 458         .long   0x000002AA, 0x000002AA, 0x000002AA, 0x000002AA /* _iBias */
 459         .align  16
 460         .long   0x80100000, 0x80100000, 0x80100000, 0x80100000 /* _iSub */
 461         .align  16
 462         .long   0xffdfffff, 0xffdfffff, 0xffdfffff, 0xffdfffff /* _iCmp */
 463         .align  16
 464         .type   __svml_dcbrt_data_internal, @object
 465         .size   __svml_dcbrt_data_internal, .-__svml_dcbrt_data_internal