sysdeps/i386/i686/multiarch/memset-sse2-rep.S

   1 /* memset with SSE2 and REP string.
   2    Copyright (C) 2010 Free Software Foundation, Inc.
   3    Contributed by Intel Corporation.
   4    This file is part of the GNU C Library.
   5
   6    The GNU C Library is free software; you can redistribute it and/or
   7    modify it under the terms of the GNU Lesser General Public
   8    License as published by the Free Software Foundation; either
   9    version 2.1 of the License, or (at your option) any later version.
  10
  11    The GNU C Library is distributed in the hope that it will be useful,
  12    but WITHOUT ANY WARRANTY; without even the implied warranty of
  13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14    Lesser General Public License for more details.
  15
  16    You should have received a copy of the GNU Lesser General Public
  17    License along with the GNU C Library; if not, write to the Free
  18    Software Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
  19    02111-1307 USA.  */
  20
  21 #ifndef NOT_IN_libc
  22
  23 #include <sysdep.h>
  24 #include "asm-syntax.h"
  25
  26 #define CFI_PUSH(REG)                                           \
  27   cfi_adjust_cfa_offset (4);                                    \
  28   cfi_rel_offset (REG, 0)
  29
  30 #define CFI_POP(REG)                                            \
  31   cfi_adjust_cfa_offset (-4);                                   \
  32   cfi_restore (REG)
  33
  34 #define PUSH(REG)       pushl REG; CFI_PUSH (REG)
  35 #define POP(REG)        popl REG; CFI_POP (REG)
  36
  37 #ifdef USE_AS_BZERO
  38 # define DEST           PARMS
  39 # define LEN            DEST+4
  40 # define SETRTNVAL
  41 #else
  42 # define DEST           PARMS
  43 # define CHR            DEST+4
  44 # define LEN            CHR+4
  45 # define SETRTNVAL      movl DEST(%esp), %eax
  46 #endif
  47
  48 #ifdef SHARED
  49 # define ENTRANCE       PUSH (%ebx);
  50 # define RETURN_END     POP (%ebx); ret
  51 # define RETURN         RETURN_END; CFI_PUSH (%ebx)
  52 # define PARMS          8               /* Preserve EBX.  */
  53 # define JMPTBL(I, B)   I - B
  54
  55 /* Load an entry in a jump table into EBX and branch to it.  TABLE is a
  56    jump table with relative offsets.   */
  57 # define BRANCH_TO_JMPTBL_ENTRY(TABLE)                          \
  58     /* We first load PC into EBX.  */                           \
  59     call        __i686.get_pc_thunk.bx;                         \
  60     /* Get the address of the jump table.  */                   \
  61     add         $(TABLE - .), %ebx;                             \
  62     /* Get the entry and convert the relative offset to the     \
  63        absolute address.  */                                    \
  64     add         (%ebx,%ecx,4), %ebx;                            \
  65     add         %ecx, %edx;                                     \
  66     /* We loaded the jump table and adjuested EDX. Go.  */      \
  67     jmp         *%ebx
  68
  69         .section        .gnu.linkonce.t.__i686.get_pc_thunk.bx,"ax",@progbits
  70         .globl  __i686.get_pc_thunk.bx
  71         .hidden __i686.get_pc_thunk.bx
  72         ALIGN (4)
  73         .type   __i686.get_pc_thunk.bx,@function
  74 __i686.get_pc_thunk.bx:
  75         movl    (%esp), %ebx
  76         ret
  77 #else
  78 # define ENTRANCE
  79 # define RETURN_END     ret
  80 # define RETURN         RETURN_END
  81 # define PARMS          4
  82 # define JMPTBL(I, B)   I
  83
  84 /* Branch to an entry in a jump table.  TABLE is a jump table with
  85    absolute offsets.  */
  86 # define BRANCH_TO_JMPTBL_ENTRY(TABLE)                          \
  87     add         %ecx, %edx;                                     \
  88     jmp         *TABLE(,%ecx,4)
  89 #endif
  90
  91         .section .text.sse2,"ax",@progbits
  92 #if defined SHARED && !defined NOT_IN_libc && !defined USE_AS_BZERO
  93 ENTRY (__memset_chk_sse2_rep)
  94         movl    12(%esp), %eax
  95         cmpl    %eax, 16(%esp)
  96         jb      HIDDEN_JUMPTARGET (__chk_fail)
  97 END (__memset_chk_sse2_rep)
  98 #endif
  99 ENTRY (__memset_sse2_rep)
 100         ENTRANCE
 101
 102         movl    LEN(%esp), %ecx
 103 #ifdef USE_AS_BZERO
 104         xor     %eax, %eax
 105 #else
 106         movzbl  CHR(%esp), %eax
 107         movb    %al, %ah
 108         /* Fill the whole EAX with pattern.  */
 109         movl    %eax, %edx
 110         shl     $16, %eax
 111         or      %edx, %eax
 112 #endif
 113         movl    DEST(%esp), %edx
 114         cmp     $32, %ecx
 115         jae     L(32bytesormore)
 116
 117 L(write_less32bytes):
 118         BRANCH_TO_JMPTBL_ENTRY (L(table_less_32bytes))
 119
 120
 121         .pushsection .rodata.sse2,"a",@progbits
 122         ALIGN (2)
 123 L(table_less_32bytes):
 124         .int    JMPTBL (L(write_0bytes), L(table_less_32bytes))
 125         .int    JMPTBL (L(write_1bytes), L(table_less_32bytes))
 126         .int    JMPTBL (L(write_2bytes), L(table_less_32bytes))
 127         .int    JMPTBL (L(write_3bytes), L(table_less_32bytes))
 128         .int    JMPTBL (L(write_4bytes), L(table_less_32bytes))
 129         .int    JMPTBL (L(write_5bytes), L(table_less_32bytes))
 130         .int    JMPTBL (L(write_6bytes), L(table_less_32bytes))
 131         .int    JMPTBL (L(write_7bytes), L(table_less_32bytes))
 132         .int    JMPTBL (L(write_8bytes), L(table_less_32bytes))
 133         .int    JMPTBL (L(write_9bytes), L(table_less_32bytes))
 134         .int    JMPTBL (L(write_10bytes), L(table_less_32bytes))
 135         .int    JMPTBL (L(write_11bytes), L(table_less_32bytes))
 136         .int    JMPTBL (L(write_12bytes), L(table_less_32bytes))
 137         .int    JMPTBL (L(write_13bytes), L(table_less_32bytes))
 138         .int    JMPTBL (L(write_14bytes), L(table_less_32bytes))
 139         .int    JMPTBL (L(write_15bytes), L(table_less_32bytes))
 140         .int    JMPTBL (L(write_16bytes), L(table_less_32bytes))
 141         .int    JMPTBL (L(write_17bytes), L(table_less_32bytes))
 142         .int    JMPTBL (L(write_18bytes), L(table_less_32bytes))
 143         .int    JMPTBL (L(write_19bytes), L(table_less_32bytes))
 144         .int    JMPTBL (L(write_20bytes), L(table_less_32bytes))
 145         .int    JMPTBL (L(write_21bytes), L(table_less_32bytes))
 146         .int    JMPTBL (L(write_22bytes), L(table_less_32bytes))
 147         .int    JMPTBL (L(write_23bytes), L(table_less_32bytes))
 148         .int    JMPTBL (L(write_24bytes), L(table_less_32bytes))
 149         .int    JMPTBL (L(write_25bytes), L(table_less_32bytes))
 150         .int    JMPTBL (L(write_26bytes), L(table_less_32bytes))
 151         .int    JMPTBL (L(write_27bytes), L(table_less_32bytes))
 152         .int    JMPTBL (L(write_28bytes), L(table_less_32bytes))
 153         .int    JMPTBL (L(write_29bytes), L(table_less_32bytes))
 154         .int    JMPTBL (L(write_30bytes), L(table_less_32bytes))
 155         .int    JMPTBL (L(write_31bytes), L(table_less_32bytes))
 156         .popsection
 157
 158         ALIGN (4)
 159 L(write_28bytes):
 160         movl    %eax, -28(%edx)
 161 L(write_24bytes):
 162         movl    %eax, -24(%edx)
 163 L(write_20bytes):
 164         movl    %eax, -20(%edx)
 165 L(write_16bytes):
 166         movl    %eax, -16(%edx)
 167 L(write_12bytes):
 168         movl    %eax, -12(%edx)
 169 L(write_8bytes):
 170         movl    %eax, -8(%edx)
 171 L(write_4bytes):
 172         movl    %eax, -4(%edx)
 173 L(write_0bytes):
 174         SETRTNVAL
 175         RETURN
 176
 177         ALIGN (4)
 178 L(write_29bytes):
 179         movl    %eax, -29(%edx)
 180 L(write_25bytes):
 181         movl    %eax, -25(%edx)
 182 L(write_21bytes):
 183         movl    %eax, -21(%edx)
 184 L(write_17bytes):
 185         movl    %eax, -17(%edx)
 186 L(write_13bytes):
 187         movl    %eax, -13(%edx)
 188 L(write_9bytes):
 189         movl    %eax, -9(%edx)
 190 L(write_5bytes):
 191         movl    %eax, -5(%edx)
 192 L(write_1bytes):
 193         movb    %al, -1(%edx)
 194         SETRTNVAL
 195         RETURN
 196
 197         ALIGN (4)
 198 L(write_30bytes):
 199         movl    %eax, -30(%edx)
 200 L(write_26bytes):
 201         movl    %eax, -26(%edx)
 202 L(write_22bytes):
 203         movl    %eax, -22(%edx)
 204 L(write_18bytes):
 205         movl    %eax, -18(%edx)
 206 L(write_14bytes):
 207         movl    %eax, -14(%edx)
 208 L(write_10bytes):
 209         movl    %eax, -10(%edx)
 210 L(write_6bytes):
 211         movl    %eax, -6(%edx)
 212 L(write_2bytes):
 213         movw    %ax, -2(%edx)
 214         SETRTNVAL
 215         RETURN
 216
 217         ALIGN (4)
 218 L(write_31bytes):
 219         movl    %eax, -31(%edx)
 220 L(write_27bytes):
 221         movl    %eax, -27(%edx)
 222 L(write_23bytes):
 223         movl    %eax, -23(%edx)
 224 L(write_19bytes):
 225         movl    %eax, -19(%edx)
 226 L(write_15bytes):
 227         movl    %eax, -15(%edx)
 228 L(write_11bytes):
 229         movl    %eax, -11(%edx)
 230 L(write_7bytes):
 231         movl    %eax, -7(%edx)
 232 L(write_3bytes):
 233         movw    %ax, -3(%edx)
 234         movb    %al, -1(%edx)
 235         SETRTNVAL
 236         RETURN
 237
 238         ALIGN (4)
 239 /* ECX > 32 and EDX is 4 byte aligned.  */
 240 L(32bytesormore):
 241         /* Fill xmm0 with the pattern.  */
 242 #ifdef USE_AS_BZERO
 243         pxor    %xmm0, %xmm0
 244 #else
 245         movd    %eax, %xmm0
 246         punpcklbw %xmm0, %xmm0
 247         pshufd  $0, %xmm0, %xmm0
 248 #endif
 249         testl   $0xf, %edx
 250         jz      L(aligned_16)
 251 /* ECX > 32 and EDX is not 16 byte aligned.  */
 252 L(not_aligned_16):
 253         movdqu  %xmm0, (%edx)
 254         movl    %edx, %eax
 255         and     $-16, %edx
 256         add     $16, %edx
 257         sub     %edx, %eax
 258         add     %eax, %ecx
 259         movd    %xmm0, %eax
 260
 261         ALIGN (4)
 262 L(aligned_16):
 263         cmp     $128, %ecx
 264         jge     L(128bytesormore)
 265
 266 L(aligned_16_less128bytes):
 267         BRANCH_TO_JMPTBL_ENTRY (L(table_16_128bytes))
 268
 269         ALIGN (4)
 270 L(128bytesormore):
 271         PUSH (%edi)
 272 #ifdef DATA_CACHE_SIZE
 273         PUSH (%ebx)
 274         mov     $DATA_CACHE_SIZE, %ebx
 275 #else
 276 # ifdef SHARED
 277         call    __i686.get_pc_thunk.bx
 278         add     $_GLOBAL_OFFSET_TABLE_, %ebx
 279         mov     __x86_data_cache_size@GOTOFF(%ebx), %ebx
 280 # else
 281         PUSH (%ebx)
 282         mov     __x86_data_cache_size, %ebx
 283 # endif
 284 #endif
 285         mov     %ebx, %edi
 286         shr     $4, %ebx
 287         sub     %ebx, %edi
 288 #if defined DATA_CACHE_SIZE || !defined SHARED
 289         POP (%ebx)
 290 #endif
 291 /*
 292  * When data size approximate the end of L1 cache,
 293  * fast string will prefetch and combine data efficiently.
 294  */
 295         cmp     %edi, %ecx
 296         jae     L(128bytesormore_nt)
 297         subl    $128, %ecx
 298 L(128bytesormore_normal):
 299         sub     $128, %ecx
 300         movdqa  %xmm0, (%edx)
 301         movdqa  %xmm0, 0x10(%edx)
 302         movdqa  %xmm0, 0x20(%edx)
 303         movdqa  %xmm0, 0x30(%edx)
 304         movdqa  %xmm0, 0x40(%edx)
 305         movdqa  %xmm0, 0x50(%edx)
 306         movdqa  %xmm0, 0x60(%edx)
 307         movdqa  %xmm0, 0x70(%edx)
 308         lea     128(%edx), %edx
 309         jl      L(128bytesless_normal)
 310
 311
 312         sub     $128, %ecx
 313         movdqa  %xmm0, (%edx)
 314         movdqa  %xmm0, 0x10(%edx)
 315         movdqa  %xmm0, 0x20(%edx)
 316         movdqa  %xmm0, 0x30(%edx)
 317         movdqa  %xmm0, 0x40(%edx)
 318         movdqa  %xmm0, 0x50(%edx)
 319         movdqa  %xmm0, 0x60(%edx)
 320         movdqa  %xmm0, 0x70(%edx)
 321         lea     128(%edx), %edx
 322         jge     L(128bytesormore_normal)
 323
 324 L(128bytesless_normal):
 325         POP (%edi)
 326         lea     128(%ecx), %ecx
 327         BRANCH_TO_JMPTBL_ENTRY (L(table_16_128bytes))
 328
 329         ALIGN (4)
 330 L(128bytesormore_nt):
 331         mov     %edx, %edi
 332         mov     %ecx, %edx
 333         shr     $2, %ecx
 334         and     $3, %edx
 335         rep stosl
 336         jz      L(copy_page_by_rep_exit)
 337         cmp     $2, %edx
 338         jb      L(copy_page_by_rep_left_1)
 339         movw    %ax, (%edi)
 340         add     $2, %edi
 341         sub     $2, %edx
 342         jz      L(copy_page_by_rep_exit)
 343 L(copy_page_by_rep_left_1):
 344         movb    %al, (%edi)
 345 L(copy_page_by_rep_exit):
 346         POP (%edi)
 347         SETRTNVAL
 348         RETURN
 349
 350         .pushsection .rodata.sse2,"a",@progbits
 351         ALIGN (2)
 352 L(table_16_128bytes):
 353         .int    JMPTBL (L(aligned_16_0bytes), L(table_16_128bytes))
 354         .int    JMPTBL (L(aligned_16_1bytes), L(table_16_128bytes))
 355         .int    JMPTBL (L(aligned_16_2bytes), L(table_16_128bytes))
 356         .int    JMPTBL (L(aligned_16_3bytes), L(table_16_128bytes))
 357         .int    JMPTBL (L(aligned_16_4bytes), L(table_16_128bytes))
 358         .int    JMPTBL (L(aligned_16_5bytes), L(table_16_128bytes))
 359         .int    JMPTBL (L(aligned_16_6bytes), L(table_16_128bytes))
 360         .int    JMPTBL (L(aligned_16_7bytes), L(table_16_128bytes))
 361         .int    JMPTBL (L(aligned_16_8bytes), L(table_16_128bytes))
 362         .int    JMPTBL (L(aligned_16_9bytes), L(table_16_128bytes))
 363         .int    JMPTBL (L(aligned_16_10bytes), L(table_16_128bytes))
 364         .int    JMPTBL (L(aligned_16_11bytes), L(table_16_128bytes))
 365         .int    JMPTBL (L(aligned_16_12bytes), L(table_16_128bytes))
 366         .int    JMPTBL (L(aligned_16_13bytes), L(table_16_128bytes))
 367         .int    JMPTBL (L(aligned_16_14bytes), L(table_16_128bytes))
 368         .int    JMPTBL (L(aligned_16_15bytes), L(table_16_128bytes))
 369         .int    JMPTBL (L(aligned_16_16bytes), L(table_16_128bytes))
 370         .int    JMPTBL (L(aligned_16_17bytes), L(table_16_128bytes))
 371         .int    JMPTBL (L(aligned_16_18bytes), L(table_16_128bytes))
 372         .int    JMPTBL (L(aligned_16_19bytes), L(table_16_128bytes))
 373         .int    JMPTBL (L(aligned_16_20bytes), L(table_16_128bytes))
 374         .int    JMPTBL (L(aligned_16_21bytes), L(table_16_128bytes))
 375         .int    JMPTBL (L(aligned_16_22bytes), L(table_16_128bytes))
 376         .int    JMPTBL (L(aligned_16_23bytes), L(table_16_128bytes))
 377         .int    JMPTBL (L(aligned_16_24bytes), L(table_16_128bytes))
 378         .int    JMPTBL (L(aligned_16_25bytes), L(table_16_128bytes))
 379         .int    JMPTBL (L(aligned_16_26bytes), L(table_16_128bytes))
 380         .int    JMPTBL (L(aligned_16_27bytes), L(table_16_128bytes))
 381         .int    JMPTBL (L(aligned_16_28bytes), L(table_16_128bytes))
 382         .int    JMPTBL (L(aligned_16_29bytes), L(table_16_128bytes))
 383         .int    JMPTBL (L(aligned_16_30bytes), L(table_16_128bytes))
 384         .int    JMPTBL (L(aligned_16_31bytes), L(table_16_128bytes))
 385         .int    JMPTBL (L(aligned_16_32bytes), L(table_16_128bytes))
 386         .int    JMPTBL (L(aligned_16_33bytes), L(table_16_128bytes))
 387         .int    JMPTBL (L(aligned_16_34bytes), L(table_16_128bytes))
 388         .int    JMPTBL (L(aligned_16_35bytes), L(table_16_128bytes))
 389         .int    JMPTBL (L(aligned_16_36bytes), L(table_16_128bytes))
 390         .int    JMPTBL (L(aligned_16_37bytes), L(table_16_128bytes))
 391         .int    JMPTBL (L(aligned_16_38bytes), L(table_16_128bytes))
 392         .int    JMPTBL (L(aligned_16_39bytes), L(table_16_128bytes))
 393         .int    JMPTBL (L(aligned_16_40bytes), L(table_16_128bytes))
 394         .int    JMPTBL (L(aligned_16_41bytes), L(table_16_128bytes))
 395         .int    JMPTBL (L(aligned_16_42bytes), L(table_16_128bytes))
 396         .int    JMPTBL (L(aligned_16_43bytes), L(table_16_128bytes))
 397         .int    JMPTBL (L(aligned_16_44bytes), L(table_16_128bytes))
 398         .int    JMPTBL (L(aligned_16_45bytes), L(table_16_128bytes))
 399         .int    JMPTBL (L(aligned_16_46bytes), L(table_16_128bytes))
 400         .int    JMPTBL (L(aligned_16_47bytes), L(table_16_128bytes))
 401         .int    JMPTBL (L(aligned_16_48bytes), L(table_16_128bytes))
 402         .int    JMPTBL (L(aligned_16_49bytes), L(table_16_128bytes))
 403         .int    JMPTBL (L(aligned_16_50bytes), L(table_16_128bytes))
 404         .int    JMPTBL (L(aligned_16_51bytes), L(table_16_128bytes))
 405         .int    JMPTBL (L(aligned_16_52bytes), L(table_16_128bytes))
 406         .int    JMPTBL (L(aligned_16_53bytes), L(table_16_128bytes))
 407         .int    JMPTBL (L(aligned_16_54bytes), L(table_16_128bytes))
 408         .int    JMPTBL (L(aligned_16_55bytes), L(table_16_128bytes))
 409         .int    JMPTBL (L(aligned_16_56bytes), L(table_16_128bytes))
 410         .int    JMPTBL (L(aligned_16_57bytes), L(table_16_128bytes))
 411         .int    JMPTBL (L(aligned_16_58bytes), L(table_16_128bytes))
 412         .int    JMPTBL (L(aligned_16_59bytes), L(table_16_128bytes))
 413         .int    JMPTBL (L(aligned_16_60bytes), L(table_16_128bytes))
 414         .int    JMPTBL (L(aligned_16_61bytes), L(table_16_128bytes))
 415         .int    JMPTBL (L(aligned_16_62bytes), L(table_16_128bytes))
 416         .int    JMPTBL (L(aligned_16_63bytes), L(table_16_128bytes))
 417         .int    JMPTBL (L(aligned_16_64bytes), L(table_16_128bytes))
 418         .int    JMPTBL (L(aligned_16_65bytes), L(table_16_128bytes))
 419         .int    JMPTBL (L(aligned_16_66bytes), L(table_16_128bytes))
 420         .int    JMPTBL (L(aligned_16_67bytes), L(table_16_128bytes))
 421         .int    JMPTBL (L(aligned_16_68bytes), L(table_16_128bytes))
 422         .int    JMPTBL (L(aligned_16_69bytes), L(table_16_128bytes))
 423         .int    JMPTBL (L(aligned_16_70bytes), L(table_16_128bytes))
 424         .int    JMPTBL (L(aligned_16_71bytes), L(table_16_128bytes))
 425         .int    JMPTBL (L(aligned_16_72bytes), L(table_16_128bytes))
 426         .int    JMPTBL (L(aligned_16_73bytes), L(table_16_128bytes))
 427         .int    JMPTBL (L(aligned_16_74bytes), L(table_16_128bytes))
 428         .int    JMPTBL (L(aligned_16_75bytes), L(table_16_128bytes))
 429         .int    JMPTBL (L(aligned_16_76bytes), L(table_16_128bytes))
 430         .int    JMPTBL (L(aligned_16_77bytes), L(table_16_128bytes))
 431         .int    JMPTBL (L(aligned_16_78bytes), L(table_16_128bytes))
 432         .int    JMPTBL (L(aligned_16_79bytes), L(table_16_128bytes))
 433         .int    JMPTBL (L(aligned_16_80bytes), L(table_16_128bytes))
 434         .int    JMPTBL (L(aligned_16_81bytes), L(table_16_128bytes))
 435         .int    JMPTBL (L(aligned_16_82bytes), L(table_16_128bytes))
 436         .int    JMPTBL (L(aligned_16_83bytes), L(table_16_128bytes))
 437         .int    JMPTBL (L(aligned_16_84bytes), L(table_16_128bytes))
 438         .int    JMPTBL (L(aligned_16_85bytes), L(table_16_128bytes))
 439         .int    JMPTBL (L(aligned_16_86bytes), L(table_16_128bytes))
 440         .int    JMPTBL (L(aligned_16_87bytes), L(table_16_128bytes))
 441         .int    JMPTBL (L(aligned_16_88bytes), L(table_16_128bytes))
 442         .int    JMPTBL (L(aligned_16_89bytes), L(table_16_128bytes))
 443         .int    JMPTBL (L(aligned_16_90bytes), L(table_16_128bytes))
 444         .int    JMPTBL (L(aligned_16_91bytes), L(table_16_128bytes))
 445         .int    JMPTBL (L(aligned_16_92bytes), L(table_16_128bytes))
 446         .int    JMPTBL (L(aligned_16_93bytes), L(table_16_128bytes))
 447         .int    JMPTBL (L(aligned_16_94bytes), L(table_16_128bytes))
 448         .int    JMPTBL (L(aligned_16_95bytes), L(table_16_128bytes))
 449         .int    JMPTBL (L(aligned_16_96bytes), L(table_16_128bytes))
 450         .int    JMPTBL (L(aligned_16_97bytes), L(table_16_128bytes))
 451         .int    JMPTBL (L(aligned_16_98bytes), L(table_16_128bytes))
 452         .int    JMPTBL (L(aligned_16_99bytes), L(table_16_128bytes))
 453         .int    JMPTBL (L(aligned_16_100bytes), L(table_16_128bytes))
 454         .int    JMPTBL (L(aligned_16_101bytes), L(table_16_128bytes))
 455         .int    JMPTBL (L(aligned_16_102bytes), L(table_16_128bytes))
 456         .int    JMPTBL (L(aligned_16_103bytes), L(table_16_128bytes))
 457         .int    JMPTBL (L(aligned_16_104bytes), L(table_16_128bytes))
 458         .int    JMPTBL (L(aligned_16_105bytes), L(table_16_128bytes))
 459         .int    JMPTBL (L(aligned_16_106bytes), L(table_16_128bytes))
 460         .int    JMPTBL (L(aligned_16_107bytes), L(table_16_128bytes))
 461         .int    JMPTBL (L(aligned_16_108bytes), L(table_16_128bytes))
 462         .int    JMPTBL (L(aligned_16_109bytes), L(table_16_128bytes))
 463         .int    JMPTBL (L(aligned_16_110bytes), L(table_16_128bytes))
 464         .int    JMPTBL (L(aligned_16_111bytes), L(table_16_128bytes))
 465         .int    JMPTBL (L(aligned_16_112bytes), L(table_16_128bytes))
 466         .int    JMPTBL (L(aligned_16_113bytes), L(table_16_128bytes))
 467         .int    JMPTBL (L(aligned_16_114bytes), L(table_16_128bytes))
 468         .int    JMPTBL (L(aligned_16_115bytes), L(table_16_128bytes))
 469         .int    JMPTBL (L(aligned_16_116bytes), L(table_16_128bytes))
 470         .int    JMPTBL (L(aligned_16_117bytes), L(table_16_128bytes))
 471         .int    JMPTBL (L(aligned_16_118bytes), L(table_16_128bytes))
 472         .int    JMPTBL (L(aligned_16_119bytes), L(table_16_128bytes))
 473         .int    JMPTBL (L(aligned_16_120bytes), L(table_16_128bytes))
 474         .int    JMPTBL (L(aligned_16_121bytes), L(table_16_128bytes))
 475         .int    JMPTBL (L(aligned_16_122bytes), L(table_16_128bytes))
 476         .int    JMPTBL (L(aligned_16_123bytes), L(table_16_128bytes))
 477         .int    JMPTBL (L(aligned_16_124bytes), L(table_16_128bytes))
 478         .int    JMPTBL (L(aligned_16_125bytes), L(table_16_128bytes))
 479         .int    JMPTBL (L(aligned_16_126bytes), L(table_16_128bytes))
 480         .int    JMPTBL (L(aligned_16_127bytes), L(table_16_128bytes))
 481         .popsection
 482
 483         ALIGN (4)
 484 L(aligned_16_112bytes):
 485         movdqa  %xmm0, -112(%edx)
 486 L(aligned_16_96bytes):
 487         movdqa  %xmm0, -96(%edx)
 488 L(aligned_16_80bytes):
 489         movdqa  %xmm0, -80(%edx)
 490 L(aligned_16_64bytes):
 491         movdqa  %xmm0, -64(%edx)
 492 L(aligned_16_48bytes):
 493         movdqa  %xmm0, -48(%edx)
 494 L(aligned_16_32bytes):
 495         movdqa  %xmm0, -32(%edx)
 496 L(aligned_16_16bytes):
 497         movdqa  %xmm0, -16(%edx)
 498 L(aligned_16_0bytes):
 499         SETRTNVAL
 500         RETURN
 501
 502         ALIGN (4)
 503 L(aligned_16_113bytes):
 504         movdqa  %xmm0, -113(%edx)
 505 L(aligned_16_97bytes):
 506         movdqa  %xmm0, -97(%edx)
 507 L(aligned_16_81bytes):
 508         movdqa  %xmm0, -81(%edx)
 509 L(aligned_16_65bytes):
 510         movdqa  %xmm0, -65(%edx)
 511 L(aligned_16_49bytes):
 512         movdqa  %xmm0, -49(%edx)
 513 L(aligned_16_33bytes):
 514         movdqa  %xmm0, -33(%edx)
 515 L(aligned_16_17bytes):
 516         movdqa  %xmm0, -17(%edx)
 517 L(aligned_16_1bytes):
 518         movb    %al, -1(%edx)
 519         SETRTNVAL
 520         RETURN
 521
 522         ALIGN (4)
 523 L(aligned_16_114bytes):
 524         movdqa  %xmm0, -114(%edx)
 525 L(aligned_16_98bytes):
 526         movdqa  %xmm0, -98(%edx)
 527 L(aligned_16_82bytes):
 528         movdqa  %xmm0, -82(%edx)
 529 L(aligned_16_66bytes):
 530         movdqa  %xmm0, -66(%edx)
 531 L(aligned_16_50bytes):
 532         movdqa  %xmm0, -50(%edx)
 533 L(aligned_16_34bytes):
 534         movdqa  %xmm0, -34(%edx)
 535 L(aligned_16_18bytes):
 536         movdqa  %xmm0, -18(%edx)
 537 L(aligned_16_2bytes):
 538         movw    %ax, -2(%edx)
 539         SETRTNVAL
 540         RETURN
 541
 542         ALIGN (4)
 543 L(aligned_16_115bytes):
 544         movdqa  %xmm0, -115(%edx)
 545 L(aligned_16_99bytes):
 546         movdqa  %xmm0, -99(%edx)
 547 L(aligned_16_83bytes):
 548         movdqa  %xmm0, -83(%edx)
 549 L(aligned_16_67bytes):
 550         movdqa  %xmm0, -67(%edx)
 551 L(aligned_16_51bytes):
 552         movdqa  %xmm0, -51(%edx)
 553 L(aligned_16_35bytes):
 554         movdqa  %xmm0, -35(%edx)
 555 L(aligned_16_19bytes):
 556         movdqa  %xmm0, -19(%edx)
 557 L(aligned_16_3bytes):
 558         movw    %ax, -3(%edx)
 559         movb    %al, -1(%edx)
 560         SETRTNVAL
 561         RETURN
 562
 563         ALIGN (4)
 564 L(aligned_16_116bytes):
 565         movdqa  %xmm0, -116(%edx)
 566 L(aligned_16_100bytes):
 567         movdqa  %xmm0, -100(%edx)
 568 L(aligned_16_84bytes):
 569         movdqa  %xmm0, -84(%edx)
 570 L(aligned_16_68bytes):
 571         movdqa  %xmm0, -68(%edx)
 572 L(aligned_16_52bytes):
 573         movdqa  %xmm0, -52(%edx)
 574 L(aligned_16_36bytes):
 575         movdqa  %xmm0, -36(%edx)
 576 L(aligned_16_20bytes):
 577         movdqa  %xmm0, -20(%edx)
 578 L(aligned_16_4bytes):
 579         movl    %eax, -4(%edx)
 580         SETRTNVAL
 581         RETURN
 582
 583         ALIGN (4)
 584 L(aligned_16_117bytes):
 585         movdqa  %xmm0, -117(%edx)
 586 L(aligned_16_101bytes):
 587         movdqa  %xmm0, -101(%edx)
 588 L(aligned_16_85bytes):
 589         movdqa  %xmm0, -85(%edx)
 590 L(aligned_16_69bytes):
 591         movdqa  %xmm0, -69(%edx)
 592 L(aligned_16_53bytes):
 593         movdqa  %xmm0, -53(%edx)
 594 L(aligned_16_37bytes):
 595         movdqa  %xmm0, -37(%edx)
 596 L(aligned_16_21bytes):
 597         movdqa  %xmm0, -21(%edx)
 598 L(aligned_16_5bytes):
 599         movl    %eax, -5(%edx)
 600         movb    %al, -1(%edx)
 601         SETRTNVAL
 602         RETURN
 603
 604         ALIGN (4)
 605 L(aligned_16_118bytes):
 606         movdqa  %xmm0, -118(%edx)
 607 L(aligned_16_102bytes):
 608         movdqa  %xmm0, -102(%edx)
 609 L(aligned_16_86bytes):
 610         movdqa  %xmm0, -86(%edx)
 611 L(aligned_16_70bytes):
 612         movdqa  %xmm0, -70(%edx)
 613 L(aligned_16_54bytes):
 614         movdqa  %xmm0, -54(%edx)
 615 L(aligned_16_38bytes):
 616         movdqa  %xmm0, -38(%edx)
 617 L(aligned_16_22bytes):
 618         movdqa  %xmm0, -22(%edx)
 619 L(aligned_16_6bytes):
 620         movl    %eax, -6(%edx)
 621         movw    %ax, -2(%edx)
 622         SETRTNVAL
 623         RETURN
 624
 625         ALIGN (4)
 626 L(aligned_16_119bytes):
 627         movdqa  %xmm0, -119(%edx)
 628 L(aligned_16_103bytes):
 629         movdqa  %xmm0, -103(%edx)
 630 L(aligned_16_87bytes):
 631         movdqa  %xmm0, -87(%edx)
 632 L(aligned_16_71bytes):
 633         movdqa  %xmm0, -71(%edx)
 634 L(aligned_16_55bytes):
 635         movdqa  %xmm0, -55(%edx)
 636 L(aligned_16_39bytes):
 637         movdqa  %xmm0, -39(%edx)
 638 L(aligned_16_23bytes):
 639         movdqa  %xmm0, -23(%edx)
 640 L(aligned_16_7bytes):
 641         movl    %eax, -7(%edx)
 642         movw    %ax, -3(%edx)
 643         movb    %al, -1(%edx)
 644         SETRTNVAL
 645         RETURN
 646
 647         ALIGN (4)
 648 L(aligned_16_120bytes):
 649         movdqa  %xmm0, -120(%edx)
 650 L(aligned_16_104bytes):
 651         movdqa  %xmm0, -104(%edx)
 652 L(aligned_16_88bytes):
 653         movdqa  %xmm0, -88(%edx)
 654 L(aligned_16_72bytes):
 655         movdqa  %xmm0, -72(%edx)
 656 L(aligned_16_56bytes):
 657         movdqa  %xmm0, -56(%edx)
 658 L(aligned_16_40bytes):
 659         movdqa  %xmm0, -40(%edx)
 660 L(aligned_16_24bytes):
 661         movdqa  %xmm0, -24(%edx)
 662 L(aligned_16_8bytes):
 663         movq    %xmm0, -8(%edx)
 664         SETRTNVAL
 665         RETURN
 666
 667         ALIGN (4)
 668 L(aligned_16_121bytes):
 669         movdqa  %xmm0, -121(%edx)
 670 L(aligned_16_105bytes):
 671         movdqa  %xmm0, -105(%edx)
 672 L(aligned_16_89bytes):
 673         movdqa  %xmm0, -89(%edx)
 674 L(aligned_16_73bytes):
 675         movdqa  %xmm0, -73(%edx)
 676 L(aligned_16_57bytes):
 677         movdqa  %xmm0, -57(%edx)
 678 L(aligned_16_41bytes):
 679         movdqa  %xmm0, -41(%edx)
 680 L(aligned_16_25bytes):
 681         movdqa  %xmm0, -25(%edx)
 682 L(aligned_16_9bytes):
 683         movq    %xmm0, -9(%edx)
 684         movb    %al, -1(%edx)
 685         SETRTNVAL
 686         RETURN
 687
 688         ALIGN (4)
 689 L(aligned_16_122bytes):
 690         movdqa  %xmm0, -122(%edx)
 691 L(aligned_16_106bytes):
 692         movdqa  %xmm0, -106(%edx)
 693 L(aligned_16_90bytes):
 694         movdqa  %xmm0, -90(%edx)
 695 L(aligned_16_74bytes):
 696         movdqa  %xmm0, -74(%edx)
 697 L(aligned_16_58bytes):
 698         movdqa  %xmm0, -58(%edx)
 699 L(aligned_16_42bytes):
 700         movdqa  %xmm0, -42(%edx)
 701 L(aligned_16_26bytes):
 702         movdqa  %xmm0, -26(%edx)
 703 L(aligned_16_10bytes):
 704         movq    %xmm0, -10(%edx)
 705         movw    %ax, -2(%edx)
 706         SETRTNVAL
 707         RETURN
 708
 709         ALIGN (4)
 710 L(aligned_16_123bytes):
 711         movdqa  %xmm0, -123(%edx)
 712 L(aligned_16_107bytes):
 713         movdqa  %xmm0, -107(%edx)
 714 L(aligned_16_91bytes):
 715         movdqa  %xmm0, -91(%edx)
 716 L(aligned_16_75bytes):
 717         movdqa  %xmm0, -75(%edx)
 718 L(aligned_16_59bytes):
 719         movdqa  %xmm0, -59(%edx)
 720 L(aligned_16_43bytes):
 721         movdqa  %xmm0, -43(%edx)
 722 L(aligned_16_27bytes):
 723         movdqa  %xmm0, -27(%edx)
 724 L(aligned_16_11bytes):
 725         movq    %xmm0, -11(%edx)
 726         movw    %ax, -3(%edx)
 727         movb    %al, -1(%edx)
 728         SETRTNVAL
 729         RETURN
 730
 731         ALIGN (4)
 732 L(aligned_16_124bytes):
 733         movdqa  %xmm0, -124(%edx)
 734 L(aligned_16_108bytes):
 735         movdqa  %xmm0, -108(%edx)
 736 L(aligned_16_92bytes):
 737         movdqa  %xmm0, -92(%edx)
 738 L(aligned_16_76bytes):
 739         movdqa  %xmm0, -76(%edx)
 740 L(aligned_16_60bytes):
 741         movdqa  %xmm0, -60(%edx)
 742 L(aligned_16_44bytes):
 743         movdqa  %xmm0, -44(%edx)
 744 L(aligned_16_28bytes):
 745         movdqa  %xmm0, -28(%edx)
 746 L(aligned_16_12bytes):
 747         movq    %xmm0, -12(%edx)
 748         movl    %eax, -4(%edx)
 749         SETRTNVAL
 750         RETURN
 751
 752         ALIGN (4)
 753 L(aligned_16_125bytes):
 754         movdqa  %xmm0, -125(%edx)
 755 L(aligned_16_109bytes):
 756         movdqa  %xmm0, -109(%edx)
 757 L(aligned_16_93bytes):
 758         movdqa  %xmm0, -93(%edx)
 759 L(aligned_16_77bytes):
 760         movdqa  %xmm0, -77(%edx)
 761 L(aligned_16_61bytes):
 762         movdqa  %xmm0, -61(%edx)
 763 L(aligned_16_45bytes):
 764         movdqa  %xmm0, -45(%edx)
 765 L(aligned_16_29bytes):
 766         movdqa  %xmm0, -29(%edx)
 767 L(aligned_16_13bytes):
 768         movq    %xmm0, -13(%edx)
 769         movl    %eax, -5(%edx)
 770         movb    %al, -1(%edx)
 771         SETRTNVAL
 772         RETURN
 773
 774         ALIGN (4)
 775 L(aligned_16_126bytes):
 776         movdqa  %xmm0, -126(%edx)
 777 L(aligned_16_110bytes):
 778         movdqa  %xmm0, -110(%edx)
 779 L(aligned_16_94bytes):
 780         movdqa  %xmm0, -94(%edx)
 781 L(aligned_16_78bytes):
 782         movdqa  %xmm0, -78(%edx)
 783 L(aligned_16_62bytes):
 784         movdqa  %xmm0, -62(%edx)
 785 L(aligned_16_46bytes):
 786         movdqa  %xmm0, -46(%edx)
 787 L(aligned_16_30bytes):
 788         movdqa  %xmm0, -30(%edx)
 789 L(aligned_16_14bytes):
 790         movq    %xmm0, -14(%edx)
 791         movl    %eax, -6(%edx)
 792         movw    %ax, -2(%edx)
 793         SETRTNVAL
 794         RETURN
 795
 796         ALIGN (4)
 797 L(aligned_16_127bytes):
 798         movdqa  %xmm0, -127(%edx)
 799 L(aligned_16_111bytes):
 800         movdqa  %xmm0, -111(%edx)
 801 L(aligned_16_95bytes):
 802         movdqa  %xmm0, -95(%edx)
 803 L(aligned_16_79bytes):
 804         movdqa  %xmm0, -79(%edx)
 805 L(aligned_16_63bytes):
 806         movdqa  %xmm0, -63(%edx)
 807 L(aligned_16_47bytes):
 808         movdqa  %xmm0, -47(%edx)
 809 L(aligned_16_31bytes):
 810         movdqa  %xmm0, -31(%edx)
 811 L(aligned_16_15bytes):
 812         movq    %xmm0, -15(%edx)
 813         movl    %eax, -7(%edx)
 814         movw    %ax, -3(%edx)
 815         movb    %al, -1(%edx)
 816         SETRTNVAL
 817         RETURN_END
 818
 819 END (__memset_sse2_rep)
 820
 821 #endif