sysdeps/i386/i686/multiarch/memset-sse2.S

   1 /* memset with SSE2
   2    Copyright (C) 2010 Free Software Foundation, Inc.
   3    Contributed by Intel Corporation.
   4    This file is part of the GNU C Library.
   5
   6    The GNU C Library is free software; you can redistribute it and/or
   7    modify it under the terms of the GNU Lesser General Public
   8    License as published by the Free Software Foundation; either
   9    version 2.1 of the License, or (at your option) any later version.
  10
  11    The GNU C Library is distributed in the hope that it will be useful,
  12    but WITHOUT ANY WARRANTY; without even the implied warranty of
  13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14    Lesser General Public License for more details.
  15
  16    You should have received a copy of the GNU Lesser General Public
  17    License along with the GNU C Library; if not, write to the Free
  18    Software Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
  19    02111-1307 USA.  */
  20
  21 #ifndef NOT_IN_libc
  22
  23 #include <sysdep.h>
  24 #include "asm-syntax.h"
  25
  26 #define CFI_PUSH(REG)                                           \
  27   cfi_adjust_cfa_offset (4);                                    \
  28   cfi_rel_offset (REG, 0)
  29
  30 #define CFI_POP(REG)                                            \
  31   cfi_adjust_cfa_offset (-4);                                   \
  32   cfi_restore (REG)
  33
  34 #define PUSH(REG)       pushl REG; CFI_PUSH (REG)
  35 #define POP(REG)        popl REG; CFI_POP (REG)
  36
  37 #ifdef USE_AS_BZERO
  38 # define DEST           PARMS
  39 # define LEN            DEST+4
  40 # define SETRTNVAL
  41 #else
  42 # define DEST           PARMS
  43 # define CHR            DEST+4
  44 # define LEN            CHR+4
  45 # define SETRTNVAL      movl DEST(%esp), %eax
  46 #endif
  47
  48 #ifdef SHARED
  49 # define ENTRANCE       PUSH (%ebx);
  50 # define RETURN_END     POP (%ebx); ret
  51 # define RETURN         RETURN_END; CFI_PUSH (%ebx)
  52 # define PARMS          8               /* Preserve EBX.  */
  53 # define JMPTBL(I, B)   I - B
  54
  55 /* Load an entry in a jump table into EBX and branch to it.  TABLE is a
  56    jump table with relative offsets.   */
  57 # define BRANCH_TO_JMPTBL_ENTRY(TABLE)                          \
  58     /* We first load PC into EBX.  */                           \
  59     call        __i686.get_pc_thunk.bx;                         \
  60     /* Get the address of the jump table.  */                   \
  61     add         $(TABLE - .), %ebx;                             \
  62     /* Get the entry and convert the relative offset to the     \
  63        absolute address.  */                                    \
  64     add         (%ebx,%ecx,4), %ebx;                            \
  65     add         %ecx, %edx;                                     \
  66     /* We loaded the jump table and adjuested EDX. Go.  */      \
  67     jmp         *%ebx
  68
  69         .section        .gnu.linkonce.t.__i686.get_pc_thunk.bx,"ax",@progbits
  70         .globl  __i686.get_pc_thunk.bx
  71         .hidden __i686.get_pc_thunk.bx
  72         ALIGN (4)
  73         .type   __i686.get_pc_thunk.bx,@function
  74 __i686.get_pc_thunk.bx:
  75         movl    (%esp), %ebx
  76         ret
  77 #else
  78 # define ENTRANCE
  79 # define RETURN_END     ret
  80 # define RETURN         RETURN_END
  81 # define PARMS          4
  82 # define JMPTBL(I, B)   I
  83
  84 /* Branch to an entry in a jump table.  TABLE is a jump table with
  85    absolute offsets.  */
  86 # define BRANCH_TO_JMPTBL_ENTRY(TABLE)                          \
  87     add         %ecx, %edx;                                     \
  88     jmp         *TABLE(,%ecx,4)
  89 #endif
  90
  91         .section .text.sse2,"ax",@progbits
  92 #if defined SHARED && !defined NOT_IN_libc && !defined USE_AS_BZERO
  93 ENTRY (__memset_chk_sse2)
  94         movl    12(%esp), %eax
  95         cmpl    %eax, 16(%esp)
  96         jb      HIDDEN_JUMPTARGET (__chk_fail)
  97 END (__memset_chk_sse2)
  98 #endif
  99 ENTRY (__memset_sse2)
 100         ENTRANCE
 101
 102         movl    LEN(%esp), %ecx
 103 #ifdef USE_AS_BZERO
 104         xor     %eax, %eax
 105 #else
 106         movzbl  CHR(%esp), %eax
 107         movb    %al, %ah
 108         /* Fill the whole EAX with pattern.  */
 109         movl    %eax, %edx
 110         shl     $16, %eax
 111         or      %edx, %eax
 112 #endif
 113         movl    DEST(%esp), %edx
 114         cmp     $32, %ecx
 115         jae     L(32bytesormore)
 116
 117 L(write_less32bytes):
 118         BRANCH_TO_JMPTBL_ENTRY (L(table_less_32bytes))
 119
 120
 121         .pushsection .rodata.sse2,"a",@progbits
 122         ALIGN (2)
 123 L(table_less_32bytes):
 124         .int    JMPTBL (L(write_0bytes), L(table_less_32bytes))
 125         .int    JMPTBL (L(write_1bytes), L(table_less_32bytes))
 126         .int    JMPTBL (L(write_2bytes), L(table_less_32bytes))
 127         .int    JMPTBL (L(write_3bytes), L(table_less_32bytes))
 128         .int    JMPTBL (L(write_4bytes), L(table_less_32bytes))
 129         .int    JMPTBL (L(write_5bytes), L(table_less_32bytes))
 130         .int    JMPTBL (L(write_6bytes), L(table_less_32bytes))
 131         .int    JMPTBL (L(write_7bytes), L(table_less_32bytes))
 132         .int    JMPTBL (L(write_8bytes), L(table_less_32bytes))
 133         .int    JMPTBL (L(write_9bytes), L(table_less_32bytes))
 134         .int    JMPTBL (L(write_10bytes), L(table_less_32bytes))
 135         .int    JMPTBL (L(write_11bytes), L(table_less_32bytes))
 136         .int    JMPTBL (L(write_12bytes), L(table_less_32bytes))
 137         .int    JMPTBL (L(write_13bytes), L(table_less_32bytes))
 138         .int    JMPTBL (L(write_14bytes), L(table_less_32bytes))
 139         .int    JMPTBL (L(write_15bytes), L(table_less_32bytes))
 140         .int    JMPTBL (L(write_16bytes), L(table_less_32bytes))
 141         .int    JMPTBL (L(write_17bytes), L(table_less_32bytes))
 142         .int    JMPTBL (L(write_18bytes), L(table_less_32bytes))
 143         .int    JMPTBL (L(write_19bytes), L(table_less_32bytes))
 144         .int    JMPTBL (L(write_20bytes), L(table_less_32bytes))
 145         .int    JMPTBL (L(write_21bytes), L(table_less_32bytes))
 146         .int    JMPTBL (L(write_22bytes), L(table_less_32bytes))
 147         .int    JMPTBL (L(write_23bytes), L(table_less_32bytes))
 148         .int    JMPTBL (L(write_24bytes), L(table_less_32bytes))
 149         .int    JMPTBL (L(write_25bytes), L(table_less_32bytes))
 150         .int    JMPTBL (L(write_26bytes), L(table_less_32bytes))
 151         .int    JMPTBL (L(write_27bytes), L(table_less_32bytes))
 152         .int    JMPTBL (L(write_28bytes), L(table_less_32bytes))
 153         .int    JMPTBL (L(write_29bytes), L(table_less_32bytes))
 154         .int    JMPTBL (L(write_30bytes), L(table_less_32bytes))
 155         .int    JMPTBL (L(write_31bytes), L(table_less_32bytes))
 156         .popsection
 157
 158         ALIGN (4)
 159 L(write_28bytes):
 160         movl    %eax, -28(%edx)
 161 L(write_24bytes):
 162         movl    %eax, -24(%edx)
 163 L(write_20bytes):
 164         movl    %eax, -20(%edx)
 165 L(write_16bytes):
 166         movl    %eax, -16(%edx)
 167 L(write_12bytes):
 168         movl    %eax, -12(%edx)
 169 L(write_8bytes):
 170         movl    %eax, -8(%edx)
 171 L(write_4bytes):
 172         movl    %eax, -4(%edx)
 173 L(write_0bytes):
 174         SETRTNVAL
 175         RETURN
 176
 177         ALIGN (4)
 178 L(write_29bytes):
 179         movl    %eax, -29(%edx)
 180 L(write_25bytes):
 181         movl    %eax, -25(%edx)
 182 L(write_21bytes):
 183         movl    %eax, -21(%edx)
 184 L(write_17bytes):
 185         movl    %eax, -17(%edx)
 186 L(write_13bytes):
 187         movl    %eax, -13(%edx)
 188 L(write_9bytes):
 189         movl    %eax, -9(%edx)
 190 L(write_5bytes):
 191         movl    %eax, -5(%edx)
 192 L(write_1bytes):
 193         movb    %al, -1(%edx)
 194         SETRTNVAL
 195         RETURN
 196
 197         ALIGN (4)
 198 L(write_30bytes):
 199         movl    %eax, -30(%edx)
 200 L(write_26bytes):
 201         movl    %eax, -26(%edx)
 202 L(write_22bytes):
 203         movl    %eax, -22(%edx)
 204 L(write_18bytes):
 205         movl    %eax, -18(%edx)
 206 L(write_14bytes):
 207         movl    %eax, -14(%edx)
 208 L(write_10bytes):
 209         movl    %eax, -10(%edx)
 210 L(write_6bytes):
 211         movl    %eax, -6(%edx)
 212 L(write_2bytes):
 213         movw    %ax, -2(%edx)
 214         SETRTNVAL
 215         RETURN
 216
 217         ALIGN (4)
 218 L(write_31bytes):
 219         movl    %eax, -31(%edx)
 220 L(write_27bytes):
 221         movl    %eax, -27(%edx)
 222 L(write_23bytes):
 223         movl    %eax, -23(%edx)
 224 L(write_19bytes):
 225         movl    %eax, -19(%edx)
 226 L(write_15bytes):
 227         movl    %eax, -15(%edx)
 228 L(write_11bytes):
 229         movl    %eax, -11(%edx)
 230 L(write_7bytes):
 231         movl    %eax, -7(%edx)
 232 L(write_3bytes):
 233         movw    %ax, -3(%edx)
 234         movb    %al, -1(%edx)
 235         SETRTNVAL
 236         RETURN
 237
 238         ALIGN (4)
 239 /* ECX > 32 and EDX is 4 byte aligned.  */
 240 L(32bytesormore):
 241         /* Fill xmm0 with the pattern.  */
 242 #ifdef USE_AS_BZERO
 243         pxor    %xmm0, %xmm0
 244 #else
 245         movd    %eax, %xmm0
 246         punpcklbw %xmm0, %xmm0
 247         pshufd  $0, %xmm0, %xmm0
 248 #endif
 249         testl   $0xf, %edx
 250         jz      L(aligned_16)
 251 /* ECX > 32 and EDX is not 16 byte aligned.  */
 252 L(not_aligned_16):
 253         movdqu  %xmm0, (%edx)
 254         movl    %edx, %eax
 255         and     $-16, %edx
 256         add     $16, %edx
 257         sub     %edx, %eax
 258         add     %eax, %ecx
 259         movd    %xmm0, %eax
 260
 261         ALIGN (4)
 262 L(aligned_16):
 263         cmp     $128, %ecx
 264         jge     L(128bytesormore)
 265
 266 L(aligned_16_less128bytes):
 267         BRANCH_TO_JMPTBL_ENTRY (L(table_16_128bytes))
 268
 269         ALIGN (4)
 270 L(128bytesormore):
 271 #ifdef SHARED_CACHE_SIZE
 272         PUSH (%ebx)
 273         mov     $SHARED_CACHE_SIZE, %ebx
 274 #else
 275 # ifdef SHARED
 276         call    __i686.get_pc_thunk.bx
 277         add     $_GLOBAL_OFFSET_TABLE_, %ebx
 278         mov     __x86_shared_cache_size@GOTOFF(%ebx), %ebx
 279 # else
 280         PUSH (%ebx)
 281         mov     __x86_shared_cache_size, %ebx
 282 # endif
 283 #endif
 284         cmp     %ebx, %ecx
 285         jae     L(128bytesormore_nt_start)
 286
 287
 288 #ifdef DATA_CACHE_SIZE
 289         POP (%ebx)
 290         cmp     $DATA_CACHE_SIZE, %ecx
 291 #else
 292 # ifdef SHARED
 293         call    __i686.get_pc_thunk.bx
 294         add     $_GLOBAL_OFFSET_TABLE_, %ebx
 295         cmp     __x86_data_cache_size@GOTOFF(%ebx), %ecx
 296 # else
 297         POP (%ebx)
 298         cmp     __x86_data_cache_size, %ecx
 299 # endif
 300 #endif
 301
 302         jae     L(128bytes_L2_normal)
 303         subl    $128, %ecx
 304 L(128bytesormore_normal):
 305         sub     $128, %ecx
 306         movdqa  %xmm0, (%edx)
 307         movdqa  %xmm0, 0x10(%edx)
 308         movdqa  %xmm0, 0x20(%edx)
 309         movdqa  %xmm0, 0x30(%edx)
 310         movdqa  %xmm0, 0x40(%edx)
 311         movdqa  %xmm0, 0x50(%edx)
 312         movdqa  %xmm0, 0x60(%edx)
 313         movdqa  %xmm0, 0x70(%edx)
 314         lea     128(%edx), %edx
 315         jl      L(128bytesless_normal)
 316
 317
 318         sub     $128, %ecx
 319         movdqa  %xmm0, (%edx)
 320         movdqa  %xmm0, 0x10(%edx)
 321         movdqa  %xmm0, 0x20(%edx)
 322         movdqa  %xmm0, 0x30(%edx)
 323         movdqa  %xmm0, 0x40(%edx)
 324         movdqa  %xmm0, 0x50(%edx)
 325         movdqa  %xmm0, 0x60(%edx)
 326         movdqa  %xmm0, 0x70(%edx)
 327         lea     128(%edx), %edx
 328         jge     L(128bytesormore_normal)
 329
 330 L(128bytesless_normal):
 331         lea     128(%ecx), %ecx
 332         BRANCH_TO_JMPTBL_ENTRY (L(table_16_128bytes))
 333
 334         ALIGN (4)
 335 L(128bytes_L2_normal):
 336         prefetcht0      0x380(%edx)
 337         prefetcht0      0x3c0(%edx)
 338         sub     $128, %ecx
 339         movdqa  %xmm0, (%edx)
 340         movaps  %xmm0, 0x10(%edx)
 341         movaps  %xmm0, 0x20(%edx)
 342         movaps  %xmm0, 0x30(%edx)
 343         movaps  %xmm0, 0x40(%edx)
 344         movaps  %xmm0, 0x50(%edx)
 345         movaps  %xmm0, 0x60(%edx)
 346         movaps  %xmm0, 0x70(%edx)
 347         add     $128, %edx
 348         cmp     $128, %ecx
 349         jge     L(128bytes_L2_normal)
 350
 351 L(128bytesless_L2_normal):
 352         BRANCH_TO_JMPTBL_ENTRY (L(table_16_128bytes))
 353
 354 L(128bytesormore_nt_start):
 355         sub     %ebx, %ecx
 356         ALIGN (4)
 357 L(128bytesormore_shared_cache_loop):
 358         prefetcht0      0x3c0(%edx)
 359         prefetcht0      0x380(%edx)
 360         sub     $0x80, %ebx
 361         movdqa  %xmm0, (%edx)
 362         movdqa  %xmm0, 0x10(%edx)
 363         movdqa  %xmm0, 0x20(%edx)
 364         movdqa  %xmm0, 0x30(%edx)
 365         movdqa  %xmm0, 0x40(%edx)
 366         movdqa  %xmm0, 0x50(%edx)
 367         movdqa  %xmm0, 0x60(%edx)
 368         movdqa  %xmm0, 0x70(%edx)
 369         add     $0x80, %edx
 370         cmp     $0x80, %ebx
 371         jge     L(128bytesormore_shared_cache_loop)
 372         cmp     $0x80, %ecx
 373         jb      L(shared_cache_loop_end)
 374         ALIGN (4)
 375 L(128bytesormore_nt):
 376         sub     $0x80, %ecx
 377         movntdq %xmm0, (%edx)
 378         movntdq %xmm0, 0x10(%edx)
 379         movntdq %xmm0, 0x20(%edx)
 380         movntdq %xmm0, 0x30(%edx)
 381         movntdq %xmm0, 0x40(%edx)
 382         movntdq %xmm0, 0x50(%edx)
 383         movntdq %xmm0, 0x60(%edx)
 384         movntdq %xmm0, 0x70(%edx)
 385         add     $0x80, %edx
 386         cmp     $0x80, %ecx
 387         jge     L(128bytesormore_nt)
 388         sfence
 389 L(shared_cache_loop_end):
 390 #if defined DATA_CACHE_SIZE || !defined SHARED
 391         POP (%ebx)
 392 #endif
 393         BRANCH_TO_JMPTBL_ENTRY (L(table_16_128bytes))
 394
 395
 396         .pushsection .rodata.sse2,"a",@progbits
 397         ALIGN (2)
 398 L(table_16_128bytes):
 399         .int    JMPTBL (L(aligned_16_0bytes), L(table_16_128bytes))
 400         .int    JMPTBL (L(aligned_16_1bytes), L(table_16_128bytes))
 401         .int    JMPTBL (L(aligned_16_2bytes), L(table_16_128bytes))
 402         .int    JMPTBL (L(aligned_16_3bytes), L(table_16_128bytes))
 403         .int    JMPTBL (L(aligned_16_4bytes), L(table_16_128bytes))
 404         .int    JMPTBL (L(aligned_16_5bytes), L(table_16_128bytes))
 405         .int    JMPTBL (L(aligned_16_6bytes), L(table_16_128bytes))
 406         .int    JMPTBL (L(aligned_16_7bytes), L(table_16_128bytes))
 407         .int    JMPTBL (L(aligned_16_8bytes), L(table_16_128bytes))
 408         .int    JMPTBL (L(aligned_16_9bytes), L(table_16_128bytes))
 409         .int    JMPTBL (L(aligned_16_10bytes), L(table_16_128bytes))
 410         .int    JMPTBL (L(aligned_16_11bytes), L(table_16_128bytes))
 411         .int    JMPTBL (L(aligned_16_12bytes), L(table_16_128bytes))
 412         .int    JMPTBL (L(aligned_16_13bytes), L(table_16_128bytes))
 413         .int    JMPTBL (L(aligned_16_14bytes), L(table_16_128bytes))
 414         .int    JMPTBL (L(aligned_16_15bytes), L(table_16_128bytes))
 415         .int    JMPTBL (L(aligned_16_16bytes), L(table_16_128bytes))
 416         .int    JMPTBL (L(aligned_16_17bytes), L(table_16_128bytes))
 417         .int    JMPTBL (L(aligned_16_18bytes), L(table_16_128bytes))
 418         .int    JMPTBL (L(aligned_16_19bytes), L(table_16_128bytes))
 419         .int    JMPTBL (L(aligned_16_20bytes), L(table_16_128bytes))
 420         .int    JMPTBL (L(aligned_16_21bytes), L(table_16_128bytes))
 421         .int    JMPTBL (L(aligned_16_22bytes), L(table_16_128bytes))
 422         .int    JMPTBL (L(aligned_16_23bytes), L(table_16_128bytes))
 423         .int    JMPTBL (L(aligned_16_24bytes), L(table_16_128bytes))
 424         .int    JMPTBL (L(aligned_16_25bytes), L(table_16_128bytes))
 425         .int    JMPTBL (L(aligned_16_26bytes), L(table_16_128bytes))
 426         .int    JMPTBL (L(aligned_16_27bytes), L(table_16_128bytes))
 427         .int    JMPTBL (L(aligned_16_28bytes), L(table_16_128bytes))
 428         .int    JMPTBL (L(aligned_16_29bytes), L(table_16_128bytes))
 429         .int    JMPTBL (L(aligned_16_30bytes), L(table_16_128bytes))
 430         .int    JMPTBL (L(aligned_16_31bytes), L(table_16_128bytes))
 431         .int    JMPTBL (L(aligned_16_32bytes), L(table_16_128bytes))
 432         .int    JMPTBL (L(aligned_16_33bytes), L(table_16_128bytes))
 433         .int    JMPTBL (L(aligned_16_34bytes), L(table_16_128bytes))
 434         .int    JMPTBL (L(aligned_16_35bytes), L(table_16_128bytes))
 435         .int    JMPTBL (L(aligned_16_36bytes), L(table_16_128bytes))
 436         .int    JMPTBL (L(aligned_16_37bytes), L(table_16_128bytes))
 437         .int    JMPTBL (L(aligned_16_38bytes), L(table_16_128bytes))
 438         .int    JMPTBL (L(aligned_16_39bytes), L(table_16_128bytes))
 439         .int    JMPTBL (L(aligned_16_40bytes), L(table_16_128bytes))
 440         .int    JMPTBL (L(aligned_16_41bytes), L(table_16_128bytes))
 441         .int    JMPTBL (L(aligned_16_42bytes), L(table_16_128bytes))
 442         .int    JMPTBL (L(aligned_16_43bytes), L(table_16_128bytes))
 443         .int    JMPTBL (L(aligned_16_44bytes), L(table_16_128bytes))
 444         .int    JMPTBL (L(aligned_16_45bytes), L(table_16_128bytes))
 445         .int    JMPTBL (L(aligned_16_46bytes), L(table_16_128bytes))
 446         .int    JMPTBL (L(aligned_16_47bytes), L(table_16_128bytes))
 447         .int    JMPTBL (L(aligned_16_48bytes), L(table_16_128bytes))
 448         .int    JMPTBL (L(aligned_16_49bytes), L(table_16_128bytes))
 449         .int    JMPTBL (L(aligned_16_50bytes), L(table_16_128bytes))
 450         .int    JMPTBL (L(aligned_16_51bytes), L(table_16_128bytes))
 451         .int    JMPTBL (L(aligned_16_52bytes), L(table_16_128bytes))
 452         .int    JMPTBL (L(aligned_16_53bytes), L(table_16_128bytes))
 453         .int    JMPTBL (L(aligned_16_54bytes), L(table_16_128bytes))
 454         .int    JMPTBL (L(aligned_16_55bytes), L(table_16_128bytes))
 455         .int    JMPTBL (L(aligned_16_56bytes), L(table_16_128bytes))
 456         .int    JMPTBL (L(aligned_16_57bytes), L(table_16_128bytes))
 457         .int    JMPTBL (L(aligned_16_58bytes), L(table_16_128bytes))
 458         .int    JMPTBL (L(aligned_16_59bytes), L(table_16_128bytes))
 459         .int    JMPTBL (L(aligned_16_60bytes), L(table_16_128bytes))
 460         .int    JMPTBL (L(aligned_16_61bytes), L(table_16_128bytes))
 461         .int    JMPTBL (L(aligned_16_62bytes), L(table_16_128bytes))
 462         .int    JMPTBL (L(aligned_16_63bytes), L(table_16_128bytes))
 463         .int    JMPTBL (L(aligned_16_64bytes), L(table_16_128bytes))
 464         .int    JMPTBL (L(aligned_16_65bytes), L(table_16_128bytes))
 465         .int    JMPTBL (L(aligned_16_66bytes), L(table_16_128bytes))
 466         .int    JMPTBL (L(aligned_16_67bytes), L(table_16_128bytes))
 467         .int    JMPTBL (L(aligned_16_68bytes), L(table_16_128bytes))
 468         .int    JMPTBL (L(aligned_16_69bytes), L(table_16_128bytes))
 469         .int    JMPTBL (L(aligned_16_70bytes), L(table_16_128bytes))
 470         .int    JMPTBL (L(aligned_16_71bytes), L(table_16_128bytes))
 471         .int    JMPTBL (L(aligned_16_72bytes), L(table_16_128bytes))
 472         .int    JMPTBL (L(aligned_16_73bytes), L(table_16_128bytes))
 473         .int    JMPTBL (L(aligned_16_74bytes), L(table_16_128bytes))
 474         .int    JMPTBL (L(aligned_16_75bytes), L(table_16_128bytes))
 475         .int    JMPTBL (L(aligned_16_76bytes), L(table_16_128bytes))
 476         .int    JMPTBL (L(aligned_16_77bytes), L(table_16_128bytes))
 477         .int    JMPTBL (L(aligned_16_78bytes), L(table_16_128bytes))
 478         .int    JMPTBL (L(aligned_16_79bytes), L(table_16_128bytes))
 479         .int    JMPTBL (L(aligned_16_80bytes), L(table_16_128bytes))
 480         .int    JMPTBL (L(aligned_16_81bytes), L(table_16_128bytes))
 481         .int    JMPTBL (L(aligned_16_82bytes), L(table_16_128bytes))
 482         .int    JMPTBL (L(aligned_16_83bytes), L(table_16_128bytes))
 483         .int    JMPTBL (L(aligned_16_84bytes), L(table_16_128bytes))
 484         .int    JMPTBL (L(aligned_16_85bytes), L(table_16_128bytes))
 485         .int    JMPTBL (L(aligned_16_86bytes), L(table_16_128bytes))
 486         .int    JMPTBL (L(aligned_16_87bytes), L(table_16_128bytes))
 487         .int    JMPTBL (L(aligned_16_88bytes), L(table_16_128bytes))
 488         .int    JMPTBL (L(aligned_16_89bytes), L(table_16_128bytes))
 489         .int    JMPTBL (L(aligned_16_90bytes), L(table_16_128bytes))
 490         .int    JMPTBL (L(aligned_16_91bytes), L(table_16_128bytes))
 491         .int    JMPTBL (L(aligned_16_92bytes), L(table_16_128bytes))
 492         .int    JMPTBL (L(aligned_16_93bytes), L(table_16_128bytes))
 493         .int    JMPTBL (L(aligned_16_94bytes), L(table_16_128bytes))
 494         .int    JMPTBL (L(aligned_16_95bytes), L(table_16_128bytes))
 495         .int    JMPTBL (L(aligned_16_96bytes), L(table_16_128bytes))
 496         .int    JMPTBL (L(aligned_16_97bytes), L(table_16_128bytes))
 497         .int    JMPTBL (L(aligned_16_98bytes), L(table_16_128bytes))
 498         .int    JMPTBL (L(aligned_16_99bytes), L(table_16_128bytes))
 499         .int    JMPTBL (L(aligned_16_100bytes), L(table_16_128bytes))
 500         .int    JMPTBL (L(aligned_16_101bytes), L(table_16_128bytes))
 501         .int    JMPTBL (L(aligned_16_102bytes), L(table_16_128bytes))
 502         .int    JMPTBL (L(aligned_16_103bytes), L(table_16_128bytes))
 503         .int    JMPTBL (L(aligned_16_104bytes), L(table_16_128bytes))
 504         .int    JMPTBL (L(aligned_16_105bytes), L(table_16_128bytes))
 505         .int    JMPTBL (L(aligned_16_106bytes), L(table_16_128bytes))
 506         .int    JMPTBL (L(aligned_16_107bytes), L(table_16_128bytes))
 507         .int    JMPTBL (L(aligned_16_108bytes), L(table_16_128bytes))
 508         .int    JMPTBL (L(aligned_16_109bytes), L(table_16_128bytes))
 509         .int    JMPTBL (L(aligned_16_110bytes), L(table_16_128bytes))
 510         .int    JMPTBL (L(aligned_16_111bytes), L(table_16_128bytes))
 511         .int    JMPTBL (L(aligned_16_112bytes), L(table_16_128bytes))
 512         .int    JMPTBL (L(aligned_16_113bytes), L(table_16_128bytes))
 513         .int    JMPTBL (L(aligned_16_114bytes), L(table_16_128bytes))
 514         .int    JMPTBL (L(aligned_16_115bytes), L(table_16_128bytes))
 515         .int    JMPTBL (L(aligned_16_116bytes), L(table_16_128bytes))
 516         .int    JMPTBL (L(aligned_16_117bytes), L(table_16_128bytes))
 517         .int    JMPTBL (L(aligned_16_118bytes), L(table_16_128bytes))
 518         .int    JMPTBL (L(aligned_16_119bytes), L(table_16_128bytes))
 519         .int    JMPTBL (L(aligned_16_120bytes), L(table_16_128bytes))
 520         .int    JMPTBL (L(aligned_16_121bytes), L(table_16_128bytes))
 521         .int    JMPTBL (L(aligned_16_122bytes), L(table_16_128bytes))
 522         .int    JMPTBL (L(aligned_16_123bytes), L(table_16_128bytes))
 523         .int    JMPTBL (L(aligned_16_124bytes), L(table_16_128bytes))
 524         .int    JMPTBL (L(aligned_16_125bytes), L(table_16_128bytes))
 525         .int    JMPTBL (L(aligned_16_126bytes), L(table_16_128bytes))
 526         .int    JMPTBL (L(aligned_16_127bytes), L(table_16_128bytes))
 527         .popsection
 528
 529         ALIGN (4)
 530 L(aligned_16_112bytes):
 531         movdqa  %xmm0, -112(%edx)
 532 L(aligned_16_96bytes):
 533         movdqa  %xmm0, -96(%edx)
 534 L(aligned_16_80bytes):
 535         movdqa  %xmm0, -80(%edx)
 536 L(aligned_16_64bytes):
 537         movdqa  %xmm0, -64(%edx)
 538 L(aligned_16_48bytes):
 539         movdqa  %xmm0, -48(%edx)
 540 L(aligned_16_32bytes):
 541         movdqa  %xmm0, -32(%edx)
 542 L(aligned_16_16bytes):
 543         movdqa  %xmm0, -16(%edx)
 544 L(aligned_16_0bytes):
 545         SETRTNVAL
 546         RETURN
 547
 548         ALIGN (4)
 549 L(aligned_16_113bytes):
 550         movdqa  %xmm0, -113(%edx)
 551 L(aligned_16_97bytes):
 552         movdqa  %xmm0, -97(%edx)
 553 L(aligned_16_81bytes):
 554         movdqa  %xmm0, -81(%edx)
 555 L(aligned_16_65bytes):
 556         movdqa  %xmm0, -65(%edx)
 557 L(aligned_16_49bytes):
 558         movdqa  %xmm0, -49(%edx)
 559 L(aligned_16_33bytes):
 560         movdqa  %xmm0, -33(%edx)
 561 L(aligned_16_17bytes):
 562         movdqa  %xmm0, -17(%edx)
 563 L(aligned_16_1bytes):
 564         movb    %al, -1(%edx)
 565         SETRTNVAL
 566         RETURN
 567
 568         ALIGN (4)
 569 L(aligned_16_114bytes):
 570         movdqa  %xmm0, -114(%edx)
 571 L(aligned_16_98bytes):
 572         movdqa  %xmm0, -98(%edx)
 573 L(aligned_16_82bytes):
 574         movdqa  %xmm0, -82(%edx)
 575 L(aligned_16_66bytes):
 576         movdqa  %xmm0, -66(%edx)
 577 L(aligned_16_50bytes):
 578         movdqa  %xmm0, -50(%edx)
 579 L(aligned_16_34bytes):
 580         movdqa  %xmm0, -34(%edx)
 581 L(aligned_16_18bytes):
 582         movdqa  %xmm0, -18(%edx)
 583 L(aligned_16_2bytes):
 584         movw    %ax, -2(%edx)
 585         SETRTNVAL
 586         RETURN
 587
 588         ALIGN (4)
 589 L(aligned_16_115bytes):
 590         movdqa  %xmm0, -115(%edx)
 591 L(aligned_16_99bytes):
 592         movdqa  %xmm0, -99(%edx)
 593 L(aligned_16_83bytes):
 594         movdqa  %xmm0, -83(%edx)
 595 L(aligned_16_67bytes):
 596         movdqa  %xmm0, -67(%edx)
 597 L(aligned_16_51bytes):
 598         movdqa  %xmm0, -51(%edx)
 599 L(aligned_16_35bytes):
 600         movdqa  %xmm0, -35(%edx)
 601 L(aligned_16_19bytes):
 602         movdqa  %xmm0, -19(%edx)
 603 L(aligned_16_3bytes):
 604         movw    %ax, -3(%edx)
 605         movb    %al, -1(%edx)
 606         SETRTNVAL
 607         RETURN
 608
 609         ALIGN (4)
 610 L(aligned_16_116bytes):
 611         movdqa  %xmm0, -116(%edx)
 612 L(aligned_16_100bytes):
 613         movdqa  %xmm0, -100(%edx)
 614 L(aligned_16_84bytes):
 615         movdqa  %xmm0, -84(%edx)
 616 L(aligned_16_68bytes):
 617         movdqa  %xmm0, -68(%edx)
 618 L(aligned_16_52bytes):
 619         movdqa  %xmm0, -52(%edx)
 620 L(aligned_16_36bytes):
 621         movdqa  %xmm0, -36(%edx)
 622 L(aligned_16_20bytes):
 623         movdqa  %xmm0, -20(%edx)
 624 L(aligned_16_4bytes):
 625         movl    %eax, -4(%edx)
 626         SETRTNVAL
 627         RETURN
 628
 629         ALIGN (4)
 630 L(aligned_16_117bytes):
 631         movdqa  %xmm0, -117(%edx)
 632 L(aligned_16_101bytes):
 633         movdqa  %xmm0, -101(%edx)
 634 L(aligned_16_85bytes):
 635         movdqa  %xmm0, -85(%edx)
 636 L(aligned_16_69bytes):
 637         movdqa  %xmm0, -69(%edx)
 638 L(aligned_16_53bytes):
 639         movdqa  %xmm0, -53(%edx)
 640 L(aligned_16_37bytes):
 641         movdqa  %xmm0, -37(%edx)
 642 L(aligned_16_21bytes):
 643         movdqa  %xmm0, -21(%edx)
 644 L(aligned_16_5bytes):
 645         movl    %eax, -5(%edx)
 646         movb    %al, -1(%edx)
 647         SETRTNVAL
 648         RETURN
 649
 650         ALIGN (4)
 651 L(aligned_16_118bytes):
 652         movdqa  %xmm0, -118(%edx)
 653 L(aligned_16_102bytes):
 654         movdqa  %xmm0, -102(%edx)
 655 L(aligned_16_86bytes):
 656         movdqa  %xmm0, -86(%edx)
 657 L(aligned_16_70bytes):
 658         movdqa  %xmm0, -70(%edx)
 659 L(aligned_16_54bytes):
 660         movdqa  %xmm0, -54(%edx)
 661 L(aligned_16_38bytes):
 662         movdqa  %xmm0, -38(%edx)
 663 L(aligned_16_22bytes):
 664         movdqa  %xmm0, -22(%edx)
 665 L(aligned_16_6bytes):
 666         movl    %eax, -6(%edx)
 667         movw    %ax, -2(%edx)
 668         SETRTNVAL
 669         RETURN
 670
 671         ALIGN (4)
 672 L(aligned_16_119bytes):
 673         movdqa  %xmm0, -119(%edx)
 674 L(aligned_16_103bytes):
 675         movdqa  %xmm0, -103(%edx)
 676 L(aligned_16_87bytes):
 677         movdqa  %xmm0, -87(%edx)
 678 L(aligned_16_71bytes):
 679         movdqa  %xmm0, -71(%edx)
 680 L(aligned_16_55bytes):
 681         movdqa  %xmm0, -55(%edx)
 682 L(aligned_16_39bytes):
 683         movdqa  %xmm0, -39(%edx)
 684 L(aligned_16_23bytes):
 685         movdqa  %xmm0, -23(%edx)
 686 L(aligned_16_7bytes):
 687         movl    %eax, -7(%edx)
 688         movw    %ax, -3(%edx)
 689         movb    %al, -1(%edx)
 690         SETRTNVAL
 691         RETURN
 692
 693         ALIGN (4)
 694 L(aligned_16_120bytes):
 695         movdqa  %xmm0, -120(%edx)
 696 L(aligned_16_104bytes):
 697         movdqa  %xmm0, -104(%edx)
 698 L(aligned_16_88bytes):
 699         movdqa  %xmm0, -88(%edx)
 700 L(aligned_16_72bytes):
 701         movdqa  %xmm0, -72(%edx)
 702 L(aligned_16_56bytes):
 703         movdqa  %xmm0, -56(%edx)
 704 L(aligned_16_40bytes):
 705         movdqa  %xmm0, -40(%edx)
 706 L(aligned_16_24bytes):
 707         movdqa  %xmm0, -24(%edx)
 708 L(aligned_16_8bytes):
 709         movq    %xmm0, -8(%edx)
 710         SETRTNVAL
 711         RETURN
 712
 713         ALIGN (4)
 714 L(aligned_16_121bytes):
 715         movdqa  %xmm0, -121(%edx)
 716 L(aligned_16_105bytes):
 717         movdqa  %xmm0, -105(%edx)
 718 L(aligned_16_89bytes):
 719         movdqa  %xmm0, -89(%edx)
 720 L(aligned_16_73bytes):
 721         movdqa  %xmm0, -73(%edx)
 722 L(aligned_16_57bytes):
 723         movdqa  %xmm0, -57(%edx)
 724 L(aligned_16_41bytes):
 725         movdqa  %xmm0, -41(%edx)
 726 L(aligned_16_25bytes):
 727         movdqa  %xmm0, -25(%edx)
 728 L(aligned_16_9bytes):
 729         movq    %xmm0, -9(%edx)
 730         movb    %al, -1(%edx)
 731         SETRTNVAL
 732         RETURN
 733
 734         ALIGN (4)
 735 L(aligned_16_122bytes):
 736         movdqa  %xmm0, -122(%edx)
 737 L(aligned_16_106bytes):
 738         movdqa  %xmm0, -106(%edx)
 739 L(aligned_16_90bytes):
 740         movdqa  %xmm0, -90(%edx)
 741 L(aligned_16_74bytes):
 742         movdqa  %xmm0, -74(%edx)
 743 L(aligned_16_58bytes):
 744         movdqa  %xmm0, -58(%edx)
 745 L(aligned_16_42bytes):
 746         movdqa  %xmm0, -42(%edx)
 747 L(aligned_16_26bytes):
 748         movdqa  %xmm0, -26(%edx)
 749 L(aligned_16_10bytes):
 750         movq    %xmm0, -10(%edx)
 751         movw    %ax, -2(%edx)
 752         SETRTNVAL
 753         RETURN
 754
 755         ALIGN (4)
 756 L(aligned_16_123bytes):
 757         movdqa  %xmm0, -123(%edx)
 758 L(aligned_16_107bytes):
 759         movdqa  %xmm0, -107(%edx)
 760 L(aligned_16_91bytes):
 761         movdqa  %xmm0, -91(%edx)
 762 L(aligned_16_75bytes):
 763         movdqa  %xmm0, -75(%edx)
 764 L(aligned_16_59bytes):
 765         movdqa  %xmm0, -59(%edx)
 766 L(aligned_16_43bytes):
 767         movdqa  %xmm0, -43(%edx)
 768 L(aligned_16_27bytes):
 769         movdqa  %xmm0, -27(%edx)
 770 L(aligned_16_11bytes):
 771         movq    %xmm0, -11(%edx)
 772         movw    %ax, -3(%edx)
 773         movb    %al, -1(%edx)
 774         SETRTNVAL
 775         RETURN
 776
 777         ALIGN (4)
 778 L(aligned_16_124bytes):
 779         movdqa  %xmm0, -124(%edx)
 780 L(aligned_16_108bytes):
 781         movdqa  %xmm0, -108(%edx)
 782 L(aligned_16_92bytes):
 783         movdqa  %xmm0, -92(%edx)
 784 L(aligned_16_76bytes):
 785         movdqa  %xmm0, -76(%edx)
 786 L(aligned_16_60bytes):
 787         movdqa  %xmm0, -60(%edx)
 788 L(aligned_16_44bytes):
 789         movdqa  %xmm0, -44(%edx)
 790 L(aligned_16_28bytes):
 791         movdqa  %xmm0, -28(%edx)
 792 L(aligned_16_12bytes):
 793         movq    %xmm0, -12(%edx)
 794         movl    %eax, -4(%edx)
 795         SETRTNVAL
 796         RETURN
 797
 798         ALIGN (4)
 799 L(aligned_16_125bytes):
 800         movdqa  %xmm0, -125(%edx)
 801 L(aligned_16_109bytes):
 802         movdqa  %xmm0, -109(%edx)
 803 L(aligned_16_93bytes):
 804         movdqa  %xmm0, -93(%edx)
 805 L(aligned_16_77bytes):
 806         movdqa  %xmm0, -77(%edx)
 807 L(aligned_16_61bytes):
 808         movdqa  %xmm0, -61(%edx)
 809 L(aligned_16_45bytes):
 810         movdqa  %xmm0, -45(%edx)
 811 L(aligned_16_29bytes):
 812         movdqa  %xmm0, -29(%edx)
 813 L(aligned_16_13bytes):
 814         movq    %xmm0, -13(%edx)
 815         movl    %eax, -5(%edx)
 816         movb    %al, -1(%edx)
 817         SETRTNVAL
 818         RETURN
 819
 820         ALIGN (4)
 821 L(aligned_16_126bytes):
 822         movdqa  %xmm0, -126(%edx)
 823 L(aligned_16_110bytes):
 824         movdqa  %xmm0, -110(%edx)
 825 L(aligned_16_94bytes):
 826         movdqa  %xmm0, -94(%edx)
 827 L(aligned_16_78bytes):
 828         movdqa  %xmm0, -78(%edx)
 829 L(aligned_16_62bytes):
 830         movdqa  %xmm0, -62(%edx)
 831 L(aligned_16_46bytes):
 832         movdqa  %xmm0, -46(%edx)
 833 L(aligned_16_30bytes):
 834         movdqa  %xmm0, -30(%edx)
 835 L(aligned_16_14bytes):
 836         movq    %xmm0, -14(%edx)
 837         movl    %eax, -6(%edx)
 838         movw    %ax, -2(%edx)
 839         SETRTNVAL
 840         RETURN
 841
 842         ALIGN (4)
 843 L(aligned_16_127bytes):
 844         movdqa  %xmm0, -127(%edx)
 845 L(aligned_16_111bytes):
 846         movdqa  %xmm0, -111(%edx)
 847 L(aligned_16_95bytes):
 848         movdqa  %xmm0, -95(%edx)
 849 L(aligned_16_79bytes):
 850         movdqa  %xmm0, -79(%edx)
 851 L(aligned_16_63bytes):
 852         movdqa  %xmm0, -63(%edx)
 853 L(aligned_16_47bytes):
 854         movdqa  %xmm0, -47(%edx)
 855 L(aligned_16_31bytes):
 856         movdqa  %xmm0, -31(%edx)
 857 L(aligned_16_15bytes):
 858         movq    %xmm0, -15(%edx)
 859         movl    %eax, -7(%edx)
 860         movw    %ax, -3(%edx)
 861         movb    %al, -1(%edx)
 862         SETRTNVAL
 863         RETURN_END
 864
 865 END (__memset_sse2)
 866
 867 #endif