sysdeps/i386/i686/multiarch/memmove.S

   1 /* Multiple versions of memmove
   2    All versions must be listed in ifunc-impl-list.c.
   3    Copyright (C) 2010-2015 Free Software Foundation, Inc.
   4    Contributed by Intel Corporation.
   5    This file is part of the GNU C Library.
   6
   7    The GNU C Library is free software; you can redistribute it and/or
   8    modify it under the terms of the GNU Lesser General Public
   9    License as published by the Free Software Foundation; either
  10    version 2.1 of the License, or (at your option) any later version.
  11
  12    The GNU C Library is distributed in the hope that it will be useful,
  13    but WITHOUT ANY WARRANTY; without even the implied warranty of
  14    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15    Lesser General Public License for more details.
  16
  17    You should have received a copy of the GNU Lesser General Public
  18    License along with the GNU C Library; if not, see
  19    <http://www.gnu.org/licenses/>.  */
  20
  21 #include <sysdep.h>
  22 #include <init-arch.h>
  23
  24 /* Define multiple versions only for the definition in lib.  */
  25 #if IS_IN (libc)
  26 # ifdef SHARED
  27         .text
  28 ENTRY(memmove)
  29         .type   memmove, @gnu_indirect_function
  30         pushl   %ebx
  31         cfi_adjust_cfa_offset (4)
  32         cfi_rel_offset (ebx, 0)
  33         LOAD_PIC_REG(bx)
  34         cmpl    $0, KIND_OFFSET+__cpu_features@GOTOFF(%ebx)
  35         jne     1f
  36         call    __init_cpu_features
  37 1:      leal    __memmove_ia32@GOTOFF(%ebx), %eax
  38         testl   $bit_SSE2, CPUID_OFFSET+index_SSE2+__cpu_features@GOTOFF(%ebx)
  39         jz      2f
  40         leal    __memmove_sse2_unaligned@GOTOFF(%ebx), %eax
  41         testl   $bit_Fast_Unaligned_Load, FEATURE_OFFSET+index_Fast_Unaligned_Load+__cpu_features@GOTOFF(%ebx)
  42         jnz     2f
  43         testl   $bit_SSSE3, CPUID_OFFSET+index_SSSE3+__cpu_features@GOTOFF(%ebx)
  44         jz      2f
  45         leal    __memmove_ssse3@GOTOFF(%ebx), %eax
  46         testl   $bit_Fast_Rep_String, FEATURE_OFFSET+index_Fast_Rep_String+__cpu_features@GOTOFF(%ebx)
  47         jz      2f
  48         leal    __memmove_ssse3_rep@GOTOFF(%ebx), %eax
  49 2:      popl    %ebx
  50         cfi_adjust_cfa_offset (-4)
  51         cfi_restore (ebx)
  52         ret
  53 END(memmove)
  54
  55 # undef ENTRY
  56 # define ENTRY(name) \
  57         .type __memmove_ia32, @function; \
  58         .p2align 4; \
  59         .globl __memmove_ia32; \
  60         .hidden __memmove_ia32; \
  61         __memmove_ia32: cfi_startproc; \
  62         CALL_MCOUNT
  63 # else
  64         .text
  65 ENTRY(memmove)
  66         .type   memmove, @gnu_indirect_function
  67         cmpl    $0, KIND_OFFSET+__cpu_features
  68         jne     1f
  69         call    __init_cpu_features
  70 1:      leal    __memmove_ia32, %eax
  71         testl   $bit_SSE2, CPUID_OFFSET+index_SSE2+__cpu_features
  72         jz      2f
  73         leal    __memmove_sse2_unaligned, %eax
  74         testl   $bit_Fast_Unaligned_Load, FEATURE_OFFSET+index_Fast_Unaligned_Load+__cpu_features
  75         jnz     2f
  76         testl   $bit_SSSE3, CPUID_OFFSET+index_SSSE3+__cpu_features
  77         jz      2f
  78         leal    __memmove_ssse3, %eax
  79         testl   $bit_Fast_Rep_String, FEATURE_OFFSET+index_Fast_Rep_String+__cpu_features
  80         jz      2f
  81         leal    __memmove_ssse3_rep, %eax
  82 2:      ret
  83 END(memmove)
  84
  85 # undef ENTRY
  86 # define ENTRY(name) \
  87         .type __memmove_ia32, @function; \
  88         .globl __memmove_ia32; \
  89         .p2align 4; \
  90         __memmove_ia32: cfi_startproc; \
  91         CALL_MCOUNT
  92 # endif
  93
  94 # undef END
  95 # define END(name) \
  96         cfi_endproc; .size __memmove_ia32, .-__memmove_ia32
  97
  98 # undef ENTRY_CHK
  99 # define ENTRY_CHK(name) \
 100         .type __memmove_chk_ia32, @function; \
 101         .globl __memmove_chk_ia32; \
 102         .p2align 4; \
 103         __memmove_chk_ia32: cfi_startproc; \
 104         CALL_MCOUNT
 105 # undef END_CHK
 106 # define END_CHK(name) \
 107         cfi_endproc; .size __memmove_chk_ia32, .-__memmove_chk_ia32
 108
 109 # ifdef SHARED
 110 #  undef libc_hidden_builtin_def
 111 /* IFUNC doesn't work with the hidden functions in shared library since
 112    they will be called without setting up EBX needed for PLT which is
 113    used by IFUNC.  */
 114 #  define libc_hidden_builtin_def(name) \
 115         .globl __GI_memmove; __GI_memmove = __memmove_ia32
 116 # endif
 117 #endif
 118
 119 #include "../memmove.S"