sysdeps/x86_64/memcpy.S

   1 /* Highly optimized version for x86-64.
   2    Copyright (C) 1997, 2000, 2002, 2003, 2004 Free Software Foundation, Inc.
   3    This file is part of the GNU C Library.
   4    Based on i586 version contributed by Ulrich Drepper <drepper@cygnus.com>, 1997.
   5
   6    The GNU C Library is free software; you can redistribute it and/or
   7    modify it under the terms of the GNU Lesser General Public
   8    License as published by the Free Software Foundation; either
   9    version 2.1 of the License, or (at your option) any later version.
  10
  11    The GNU C Library is distributed in the hope that it will be useful,
  12    but WITHOUT ANY WARRANTY; without even the implied warranty of
  13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14    Lesser General Public License for more details.
  15
  16    You should have received a copy of the GNU Lesser General Public
  17    License along with the GNU C Library; if not, write to the Free
  18    Software Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
  19    02111-1307 USA.  */
  20
  21 #include <sysdep.h>
  22 #include "asm-syntax.h"
  23 #include "bp-sym.h"
  24 #include "bp-asm.h"
  25
  26 /* BEWARE: `#ifdef memcpy' means that memcpy is redefined as `mempcpy',
  27    and the return value is the byte after the last one copied in
  28    the destination. */
  29 #define MEMPCPY_P (defined memcpy)
  30
  31         .text
  32 #if defined PIC && !defined NOT_IN_libc
  33 ENTRY (__memcpy_chk)
  34         cmpq    %rdx, %rcx
  35         jb      HIDDEN_JUMPTARGET (__chk_fail)
  36 END (__memcpy_chk)
  37 #endif
  38 ENTRY (BP_SYM (memcpy))
  39         /* Cutoff for the big loop is a size of 32 bytes since otherwise
  40            the loop will never be entered.  */
  41         cmpq    $32, %rdx
  42         movq    %rdx, %rcx
  43 #if !MEMPCPY_P
  44         movq    %rdi, %r10      /* Save value. */
  45 #endif
  46
  47         /* We need this in any case.  */
  48         cld
  49
  50         jbe     1f
  51
  52         /* Align destination.  */
  53         movq    %rdi, %rax
  54         negq    %rax
  55         andq    $7, %rax
  56         subq    %rax, %rcx
  57         xchgq   %rax, %rcx
  58
  59         rep; movsb
  60
  61         movq    %rax, %rcx
  62         subq    $32, %rcx
  63         js      2f
  64
  65         .p2align 4
  66 3:
  67
  68         /* Now correct the loop counter.  Please note that in the following
  69            code the flags are not changed anymore.  */
  70         subq    $32, %rcx
  71
  72         movq    (%rsi), %rax
  73         movq    8(%rsi), %rdx
  74         movq    16(%rsi), %r8
  75         movq    24(%rsi), %r9
  76         movq    %rax, (%rdi)
  77         movq    %rdx, 8(%rdi)
  78         movq    %r8, 16(%rdi)
  79         movq    %r9, 24(%rdi)
  80
  81         leaq    32(%rsi), %rsi
  82         leaq    32(%rdi), %rdi
  83
  84         jns     3b
  85
  86         /* Correct extra loop counter modification.  */
  87 2:      addq    $32, %rcx
  88 1:      rep; movsb
  89
  90 #if MEMPCPY_P
  91         movq    %rdi, %rax              /* Set return value.  */
  92 #else
  93         movq    %r10, %rax              /* Set return value.  */
  94
  95 #endif
  96         ret
  97
  98 END (BP_SYM (memcpy))
  99 #if !MEMPCPY_P
 100 libc_hidden_builtin_def (memcpy)
 101 #endif