sysdeps/x86_64/multiarch/memmove-erms.S

   1 /* memcpy/mempcpy/memmove implement with rep movsb
   2    Copyright (C) 2022-2024 Free Software Foundation, Inc.
   3    This file is part of the GNU C Library.
   4
   5    The GNU C Library is free software; you can redistribute it and/or
   6    modify it under the terms of the GNU Lesser General Public
   7    License as published by the Free Software Foundation; either
   8    version 2.1 of the License, or (at your option) any later version.
   9
  10    The GNU C Library is distributed in the hope that it will be useful,
  11    but WITHOUT ANY WARRANTY; without even the implied warranty of
  12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13    Lesser General Public License for more details.
  14
  15    You should have received a copy of the GNU Lesser General Public
  16    License along with the GNU C Library; if not, see
  17    <https://www.gnu.org/licenses/>.  */
  18
  19
  20 #include <sysdep.h>
  21
  22 #if defined USE_MULTIARCH && IS_IN (libc)
  23         .text
  24 ENTRY (__mempcpy_chk_erms)
  25         cmp     %RDX_LP, %RCX_LP
  26         jb      HIDDEN_JUMPTARGET (__chk_fail)
  27 END (__mempcpy_chk_erms)
  28
  29 /* Only used to measure performance of REP MOVSB.  */
  30 ENTRY (__mempcpy_erms)
  31         mov     %RDI_LP, %RAX_LP
  32         /* Skip zero length.  */
  33         test    %RDX_LP, %RDX_LP
  34         jz      2f
  35         add     %RDX_LP, %RAX_LP
  36         jmp     L(start_movsb)
  37 END (__mempcpy_erms)
  38
  39 ENTRY (__memmove_chk_erms)
  40         cmp     %RDX_LP, %RCX_LP
  41         jb      HIDDEN_JUMPTARGET (__chk_fail)
  42 END (__memmove_chk_erms)
  43
  44 ENTRY (__memmove_erms)
  45         movq    %rdi, %rax
  46         /* Skip zero length.  */
  47         test    %RDX_LP, %RDX_LP
  48         jz      2f
  49 L(start_movsb):
  50         mov     %RDX_LP, %RCX_LP
  51         cmp     %RSI_LP, %RDI_LP
  52         jb      1f
  53         /* Source == destination is less common.  */
  54         je      2f
  55         lea     (%rsi,%rcx), %RDX_LP
  56         cmp     %RDX_LP, %RDI_LP
  57         jb      L(movsb_backward)
  58 1:
  59         rep movsb
  60 2:
  61         ret
  62 L(movsb_backward):
  63         leaq    -1(%rdi,%rcx), %rdi
  64         leaq    -1(%rsi,%rcx), %rsi
  65         std
  66         rep movsb
  67         cld
  68         ret
  69 END (__memmove_erms)
  70 strong_alias (__memmove_erms, __memcpy_erms)
  71 strong_alias (__memmove_chk_erms, __memcpy_chk_erms)
  72 #endif