sysdeps/i386/i586/memcpy.S

   1 /* Highly optimized version for i586.
   2    Copyright (C) 1997, 2000, 2003, 2005 Free Software Foundation, Inc.
   3    This file is part of the GNU C Library.
   4    Contributed by Ulrich Drepper <drepper@cygnus.com>, 1997.
   5
   6    The GNU C Library is free software; you can redistribute it and/or
   7    modify it under the terms of the GNU Lesser General Public
   8    License as published by the Free Software Foundation; either
   9    version 2.1 of the License, or (at your option) any later version.
  10
  11    The GNU C Library is distributed in the hope that it will be useful,
  12    but WITHOUT ANY WARRANTY; without even the implied warranty of
  13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14    Lesser General Public License for more details.
  15
  16    You should have received a copy of the GNU Lesser General Public
  17    License along with the GNU C Library; if not, write to the Free
  18    Software Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
  19    02111-1307 USA.  */
  20
  21 #include <sysdep.h>
  22 #include "asm-syntax.h"
  23 #include "bp-sym.h"
  24 #include "bp-asm.h"
  25
  26 /* BEWARE: `#ifdef memcpy' means that memcpy is redefined as `mempcpy',
  27    and the return value is the byte after the last one copied in
  28    the destination. */
  29 #define MEMPCPY_P (defined memcpy)
  30
  31 #define PARMS   LINKAGE+8       /* space for 2 saved regs */
  32 #define RTN     PARMS
  33 #define DEST    RTN+RTN_SIZE
  34 #define SRC     DEST+PTR_SIZE
  35 #define LEN     SRC+PTR_SIZE
  36
  37         .text
  38 #if defined PIC && !defined NOT_IN_libc
  39 ENTRY (__memcpy_chk)
  40         movl    12(%esp), %eax
  41         cmpl    %eax, 16(%esp)
  42         jb      HIDDEN_JUMPTARGET (__chk_fail)
  43 END (__memcpy_chk)
  44 #endif
  45 ENTRY (BP_SYM (memcpy))
  46         ENTER
  47
  48         pushl   %edi
  49         cfi_adjust_cfa_offset (4)
  50         pushl   %esi
  51         cfi_adjust_cfa_offset (4)
  52
  53         movl    DEST(%esp), %edi
  54         cfi_rel_offset (edi, 4)
  55         movl    SRC(%esp), %esi
  56         cfi_rel_offset (esi, 0)
  57         movl    LEN(%esp), %ecx
  58         CHECK_BOUNDS_BOTH_WIDE (%edi, DEST(%esp), %ecx)
  59         CHECK_BOUNDS_BOTH_WIDE (%esi, SRC(%esp), %ecx)
  60         movl    %edi, %eax
  61
  62         /* We need this in any case.  */
  63         cld
  64
  65         /* Cutoff for the big loop is a size of 32 bytes since otherwise
  66            the loop will never be entered.  */
  67         cmpl    $32, %ecx
  68         jbe     L(1)
  69
  70         negl    %eax
  71         andl    $3, %eax
  72         subl    %eax, %ecx
  73         xchgl   %eax, %ecx
  74
  75         rep; movsb
  76
  77         movl    %eax, %ecx
  78         subl    $32, %ecx
  79         js      L(2)
  80
  81         /* Read ahead to make sure we write in the cache since the stupid
  82            i586 designers haven't implemented read-on-write-miss.  */
  83         movl    (%edi), %eax
  84 L(3):   movl    28(%edi), %edx
  85
  86         /* Now correct the loop counter.  Please note that in the following
  87            code the flags are not changed anymore.  */
  88         subl    $32, %ecx
  89
  90         movl    (%esi), %eax
  91         movl    4(%esi), %edx
  92         movl    %eax, (%edi)
  93         movl    %edx, 4(%edi)
  94         movl    8(%esi), %eax
  95         movl    12(%esi), %edx
  96         movl    %eax, 8(%edi)
  97         movl    %edx, 12(%edi)
  98         movl    16(%esi), %eax
  99         movl    20(%esi), %edx
 100         movl    %eax, 16(%edi)
 101         movl    %edx, 20(%edi)
 102         movl    24(%esi), %eax
 103         movl    28(%esi), %edx
 104         movl    %eax, 24(%edi)
 105         movl    %edx, 28(%edi)
 106
 107         leal    32(%esi), %esi
 108         leal    32(%edi), %edi
 109
 110         jns     L(3)
 111
 112         /* Correct extra loop counter modification.  */
 113 L(2):   addl    $32, %ecx
 114 #if !MEMPCPY_P
 115         movl    DEST(%esp), %eax
 116 #endif
 117
 118 L(1):   rep; movsb
 119
 120 #if MEMPCPY_P
 121         movl    %edi, %eax
 122 #endif
 123
 124         popl    %esi
 125         cfi_adjust_cfa_offset (-4)
 126         cfi_restore (esi)
 127         popl    %edi
 128         cfi_adjust_cfa_offset (-4)
 129         cfi_restore (edi)
 130
 131         LEAVE
 132         RET_PTR
 133 END (BP_SYM (memcpy))
 134 #if !MEMPCPY_P
 135 libc_hidden_builtin_def (memcpy)
 136 #endif