arch/sparc64/lib/NGmemcpy.S

   1 /* NGmemcpy.S: Niagara optimized memcpy.
   2  *
   3  * Copyright (C) 2006, 2007 David S. Miller (davem@davemloft.net)
   4  */
   5
   6 #ifdef __KERNEL__
   7 #include <asm/asi.h>
   8 #include <asm/thread_info.h>
   9 #define GLOBAL_SPARE    %g7
  10 #define RESTORE_ASI(TMP)        \
  11         ldub    [%g6 + TI_CURRENT_DS], TMP;  \
  12         wr      TMP, 0x0, %asi;
  13 #else
  14 #define GLOBAL_SPARE    %g5
  15 #define RESTORE_ASI(TMP)        \
  16         wr      %g0, ASI_PNF, %asi
  17 #endif
  18
  19 #ifdef __sparc_v9__
  20 #define SAVE_AMOUNT     128
  21 #else
  22 #define SAVE_AMOUNT     64
  23 #endif
  24
  25 #ifndef STORE_ASI
  26 #define STORE_ASI       ASI_BLK_INIT_QUAD_LDD_P
  27 #endif
  28
  29 #ifndef EX_LD
  30 #define EX_LD(x)        x
  31 #endif
  32
  33 #ifndef EX_ST
  34 #define EX_ST(x)        x
  35 #endif
  36
  37 #ifndef EX_RETVAL
  38 #define EX_RETVAL(x)    x
  39 #endif
  40
  41 #ifndef LOAD
  42 #ifndef MEMCPY_DEBUG
  43 #define LOAD(type,addr,dest)    type [addr], dest
  44 #else
  45 #define LOAD(type,addr,dest)    type##a [addr] 0x80, dest
  46 #endif
  47 #endif
  48
  49 #ifndef LOAD_TWIN
  50 #define LOAD_TWIN(addr_reg,dest0,dest1) \
  51         ldda [addr_reg] ASI_BLK_INIT_QUAD_LDD_P, dest0
  52 #endif
  53
  54 #ifndef STORE
  55 #define STORE(type,src,addr)    type src, [addr]
  56 #endif
  57
  58 #ifndef STORE_INIT
  59 #ifndef SIMULATE_NIAGARA_ON_NON_NIAGARA
  60 #define STORE_INIT(src,addr)    stxa src, [addr] %asi
  61 #else
  62 #define STORE_INIT(src,addr)    stx src, [addr + 0x00]
  63 #endif
  64 #endif
  65
  66 #ifndef FUNC_NAME
  67 #define FUNC_NAME       NGmemcpy
  68 #endif
  69
  70 #ifndef PREAMBLE
  71 #define PREAMBLE
  72 #endif
  73
  74 #ifndef XCC
  75 #define XCC xcc
  76 #endif
  77
  78         .register       %g2,#scratch
  79         .register       %g3,#scratch
  80
  81         .text
  82         .align          64
  83
  84         .globl  FUNC_NAME
  85         .type   FUNC_NAME,#function
  86 FUNC_NAME:      /* %i0=dst, %i1=src, %i2=len */
  87         PREAMBLE
  88         save            %sp, -SAVE_AMOUNT, %sp
  89         srlx            %i2, 31, %g2
  90         cmp             %g2, 0
  91         tne             %xcc, 5
  92         mov             %i0, %o0
  93         cmp             %i2, 0
  94         be,pn           %XCC, 85f
  95          or             %o0, %i1, %i3
  96         cmp             %i2, 16
  97         blu,a,pn        %XCC, 80f
  98          or             %i3, %i2, %i3
  99
 100         /* 2 blocks (128 bytes) is the minimum we can do the block
 101          * copy with.  We need to ensure that we'll iterate at least
 102          * once in the block copy loop.  At worst we'll need to align
 103          * the destination to a 64-byte boundary which can chew up
 104          * to (64 - 1) bytes from the length before we perform the
 105          * block copy loop.
 106          */
 107         cmp             %i2, (2 * 64)
 108         blu,pt          %XCC, 70f
 109          andcc          %i3, 0x7, %g0
 110
 111         /* %o0: dst
 112          * %i1: src
 113          * %i2: len  (known to be >= 128)
 114          *
 115          * The block copy loops will use %i4/%i5,%g2/%g3 as
 116          * temporaries while copying the data.
 117          */
 118
 119         LOAD(prefetch, %i1, #one_read)
 120         wr              %g0, STORE_ASI, %asi
 121
 122         /* Align destination on 64-byte boundary.  */
 123         andcc           %o0, (64 - 1), %i4
 124         be,pt           %XCC, 2f
 125          sub            %i4, 64, %i4
 126         sub             %g0, %i4, %i4   ! bytes to align dst
 127         sub             %i2, %i4, %i2
 128 1:      subcc           %i4, 1, %i4
 129         EX_LD(LOAD(ldub, %i1, %g1))
 130         EX_ST(STORE(stb, %g1, %o0))
 131         add             %i1, 1, %i1
 132         bne,pt          %XCC, 1b
 133         add             %o0, 1, %o0
 134
 135         /* If the source is on a 16-byte boundary we can do
 136          * the direct block copy loop.  If it is 8-byte aligned
 137          * we can do the 16-byte loads offset by -8 bytes and the
 138          * init stores offset by one register.
 139          *
 140          * If the source is not even 8-byte aligned, we need to do
 141          * shifting and masking (basically integer faligndata).
 142          *
 143          * The careful bit with init stores is that if we store
 144          * to any part of the cache line we have to store the whole
 145          * cacheline else we can end up with corrupt L2 cache line
 146          * contents.  Since the loop works on 64-bytes of 64-byte
 147          * aligned store data at a time, this is easy to ensure.
 148          */
 149 2:
 150         andcc           %i1, (16 - 1), %i4
 151         andn            %i2, (64 - 1), %g1      ! block copy loop iterator
 152         be,pt           %XCC, 50f
 153          sub            %i2, %g1, %i2           ! final sub-block copy bytes
 154
 155         cmp             %i4, 8
 156         be,pt           %XCC, 10f
 157          sub            %i1, %i4, %i1
 158
 159         /* Neither 8-byte nor 16-byte aligned, shift and mask.  */
 160         and             %i4, 0x7, GLOBAL_SPARE
 161         sll             GLOBAL_SPARE, 3, GLOBAL_SPARE
 162         mov             64, %i5
 163         EX_LD(LOAD_TWIN(%i1, %g2, %g3))
 164         sub             %i5, GLOBAL_SPARE, %i5
 165         mov             16, %o4
 166         mov             32, %o5
 167         mov             48, %o7
 168         mov             64, %i3
 169
 170         bg,pn           %XCC, 9f
 171          nop
 172
 173 #define MIX_THREE_WORDS(WORD1, WORD2, WORD3, PRE_SHIFT, POST_SHIFT, TMP) \
 174         sllx            WORD1, POST_SHIFT, WORD1; \
 175         srlx            WORD2, PRE_SHIFT, TMP; \
 176         sllx            WORD2, POST_SHIFT, WORD2; \
 177         or              WORD1, TMP, WORD1; \
 178         srlx            WORD3, PRE_SHIFT, TMP; \
 179         or              WORD2, TMP, WORD2;
 180
 181 8:      EX_LD(LOAD_TWIN(%i1 + %o4, %o2, %o3))
 182         MIX_THREE_WORDS(%g2, %g3, %o2, %i5, GLOBAL_SPARE, %o1)
 183         LOAD(prefetch, %i1 + %i3, #one_read)
 184
 185         EX_ST(STORE_INIT(%g2, %o0 + 0x00))
 186         EX_ST(STORE_INIT(%g3, %o0 + 0x08))
 187
 188         EX_LD(LOAD_TWIN(%i1 + %o5, %g2, %g3))
 189         MIX_THREE_WORDS(%o2, %o3, %g2, %i5, GLOBAL_SPARE, %o1)
 190
 191         EX_ST(STORE_INIT(%o2, %o0 + 0x10))
 192         EX_ST(STORE_INIT(%o3, %o0 + 0x18))
 193
 194         EX_LD(LOAD_TWIN(%i1 + %o7, %o2, %o3))
 195         MIX_THREE_WORDS(%g2, %g3, %o2, %i5, GLOBAL_SPARE, %o1)
 196
 197         EX_ST(STORE_INIT(%g2, %o0 + 0x20))
 198         EX_ST(STORE_INIT(%g3, %o0 + 0x28))
 199
 200         EX_LD(LOAD_TWIN(%i1 + %i3, %g2, %g3))
 201         add             %i1, 64, %i1
 202         MIX_THREE_WORDS(%o2, %o3, %g2, %i5, GLOBAL_SPARE, %o1)
 203
 204         EX_ST(STORE_INIT(%o2, %o0 + 0x30))
 205         EX_ST(STORE_INIT(%o3, %o0 + 0x38))
 206
 207         subcc           %g1, 64, %g1
 208         bne,pt          %XCC, 8b
 209          add            %o0, 64, %o0
 210
 211         ba,pt           %XCC, 60f
 212          add            %i1, %i4, %i1
 213
 214 9:      EX_LD(LOAD_TWIN(%i1 + %o4, %o2, %o3))
 215         MIX_THREE_WORDS(%g3, %o2, %o3, %i5, GLOBAL_SPARE, %o1)
 216         LOAD(prefetch, %i1 + %i3, #one_read)
 217
 218         EX_ST(STORE_INIT(%g3, %o0 + 0x00))
 219         EX_ST(STORE_INIT(%o2, %o0 + 0x08))
 220
 221         EX_LD(LOAD_TWIN(%i1 + %o5, %g2, %g3))
 222         MIX_THREE_WORDS(%o3, %g2, %g3, %i5, GLOBAL_SPARE, %o1)
 223
 224         EX_ST(STORE_INIT(%o3, %o0 + 0x10))
 225         EX_ST(STORE_INIT(%g2, %o0 + 0x18))
 226
 227         EX_LD(LOAD_TWIN(%i1 + %o7, %o2, %o3))
 228         MIX_THREE_WORDS(%g3, %o2, %o3, %i5, GLOBAL_SPARE, %o1)
 229
 230         EX_ST(STORE_INIT(%g3, %o0 + 0x20))
 231         EX_ST(STORE_INIT(%o2, %o0 + 0x28))
 232
 233         EX_LD(LOAD_TWIN(%i1 + %i3, %g2, %g3))
 234         add             %i1, 64, %i1
 235         MIX_THREE_WORDS(%o3, %g2, %g3, %i5, GLOBAL_SPARE, %o1)
 236
 237         EX_ST(STORE_INIT(%o3, %o0 + 0x30))
 238         EX_ST(STORE_INIT(%g2, %o0 + 0x38))
 239
 240         subcc           %g1, 64, %g1
 241         bne,pt          %XCC, 9b
 242          add            %o0, 64, %o0
 243
 244         ba,pt           %XCC, 60f
 245          add            %i1, %i4, %i1
 246
 247 10:     /* Destination is 64-byte aligned, source was only 8-byte
 248          * aligned but it has been subtracted by 8 and we perform
 249          * one twin load ahead, then add 8 back into source when
 250          * we finish the loop.
 251          */
 252         EX_LD(LOAD_TWIN(%i1, %o4, %o5))
 253         mov     16, %o7
 254         mov     32, %g2
 255         mov     48, %g3
 256         mov     64, %o1
 257 1:      EX_LD(LOAD_TWIN(%i1 + %o7, %o2, %o3))
 258         LOAD(prefetch, %i1 + %o1, #one_read)
 259         EX_ST(STORE_INIT(%o5, %o0 + 0x00))      ! initializes cache line
 260         EX_ST(STORE_INIT(%o2, %o0 + 0x08))
 261         EX_LD(LOAD_TWIN(%i1 + %g2, %o4, %o5))
 262         EX_ST(STORE_INIT(%o3, %o0 + 0x10))
 263         EX_ST(STORE_INIT(%o4, %o0 + 0x18))
 264         EX_LD(LOAD_TWIN(%i1 + %g3, %o2, %o3))
 265         EX_ST(STORE_INIT(%o5, %o0 + 0x20))
 266         EX_ST(STORE_INIT(%o2, %o0 + 0x28))
 267         EX_LD(LOAD_TWIN(%i1 + %o1, %o4, %o5))
 268         add             %i1, 64, %i1
 269         EX_ST(STORE_INIT(%o3, %o0 + 0x30))
 270         EX_ST(STORE_INIT(%o4, %o0 + 0x38))
 271         subcc           %g1, 64, %g1
 272         bne,pt          %XCC, 1b
 273          add            %o0, 64, %o0
 274
 275         ba,pt           %XCC, 60f
 276          add            %i1, 0x8, %i1
 277
 278 50:     /* Destination is 64-byte aligned, and source is 16-byte
 279          * aligned.
 280          */
 281         mov     16, %o7
 282         mov     32, %g2
 283         mov     48, %g3
 284         mov     64, %o1
 285 1:      EX_LD(LOAD_TWIN(%i1 + %g0, %o4, %o5))
 286         EX_LD(LOAD_TWIN(%i1 + %o7, %o2, %o3))
 287         LOAD(prefetch, %i1 + %o1, #one_read)
 288         EX_ST(STORE_INIT(%o4, %o0 + 0x00))      ! initializes cache line
 289         EX_ST(STORE_INIT(%o5, %o0 + 0x08))
 290         EX_LD(LOAD_TWIN(%i1 + %g2, %o4, %o5))
 291         EX_ST(STORE_INIT(%o2, %o0 + 0x10))
 292         EX_ST(STORE_INIT(%o3, %o0 + 0x18))
 293         EX_LD(LOAD_TWIN(%i1 + %g3, %o2, %o3))
 294         add     %i1, 64, %i1
 295         EX_ST(STORE_INIT(%o4, %o0 + 0x20))
 296         EX_ST(STORE_INIT(%o5, %o0 + 0x28))
 297         EX_ST(STORE_INIT(%o2, %o0 + 0x30))
 298         EX_ST(STORE_INIT(%o3, %o0 + 0x38))
 299         subcc   %g1, 64, %g1
 300         bne,pt  %XCC, 1b
 301          add    %o0, 64, %o0
 302         /* fall through */
 303
 304 60:
 305         membar          #Sync
 306
 307         /* %i2 contains any final bytes still needed to be copied
 308          * over. If anything is left, we copy it one byte at a time.
 309          */
 310         RESTORE_ASI(%i3)
 311         brz,pt          %i2, 85f
 312          sub            %o0, %i1, %i3
 313         ba,a,pt         %XCC, 90f
 314
 315         .align          64
 316 70: /* 16 < len <= 64 */
 317         bne,pn          %XCC, 75f
 318          sub            %o0, %i1, %i3
 319
 320 72:
 321         andn            %i2, 0xf, %i4
 322         and             %i2, 0xf, %i2
 323 1:      subcc           %i4, 0x10, %i4
 324         EX_LD(LOAD(ldx, %i1, %o4))
 325         add             %i1, 0x08, %i1
 326         EX_LD(LOAD(ldx, %i1, %g1))
 327         sub             %i1, 0x08, %i1
 328         EX_ST(STORE(stx, %o4, %i1 + %i3))
 329         add             %i1, 0x8, %i1
 330         EX_ST(STORE(stx, %g1, %i1 + %i3))
 331         bgu,pt          %XCC, 1b
 332          add            %i1, 0x8, %i1
 333 73:     andcc           %i2, 0x8, %g0
 334         be,pt           %XCC, 1f
 335          nop
 336         sub             %i2, 0x8, %i2
 337         EX_LD(LOAD(ldx, %i1, %o4))
 338         EX_ST(STORE(stx, %o4, %i1 + %i3))
 339         add             %i1, 0x8, %i1
 340 1:      andcc           %i2, 0x4, %g0
 341         be,pt           %XCC, 1f
 342          nop
 343         sub             %i2, 0x4, %i2
 344         EX_LD(LOAD(lduw, %i1, %i5))
 345         EX_ST(STORE(stw, %i5, %i1 + %i3))
 346         add             %i1, 0x4, %i1
 347 1:      cmp             %i2, 0
 348         be,pt           %XCC, 85f
 349          nop
 350         ba,pt           %xcc, 90f
 351          nop
 352
 353 75:
 354         andcc           %o0, 0x7, %g1
 355         sub             %g1, 0x8, %g1
 356         be,pn           %icc, 2f
 357          sub            %g0, %g1, %g1
 358         sub             %i2, %g1, %i2
 359
 360 1:      subcc           %g1, 1, %g1
 361         EX_LD(LOAD(ldub, %i1, %i5))
 362         EX_ST(STORE(stb, %i5, %i1 + %i3))
 363         bgu,pt          %icc, 1b
 364          add            %i1, 1, %i1
 365
 366 2:      add             %i1, %i3, %o0
 367         andcc           %i1, 0x7, %g1
 368         bne,pt          %icc, 8f
 369          sll            %g1, 3, %g1
 370
 371         cmp             %i2, 16
 372         bgeu,pt         %icc, 72b
 373          nop
 374         ba,a,pt         %xcc, 73b
 375
 376 8:      mov             64, %i3
 377         andn            %i1, 0x7, %i1
 378         EX_LD(LOAD(ldx, %i1, %g2))
 379         sub             %i3, %g1, %i3
 380         andn            %i2, 0x7, %i4
 381         sllx            %g2, %g1, %g2
 382 1:      add             %i1, 0x8, %i1
 383         EX_LD(LOAD(ldx, %i1, %g3))
 384         subcc           %i4, 0x8, %i4
 385         srlx            %g3, %i3, %i5
 386         or              %i5, %g2, %i5
 387         EX_ST(STORE(stx, %i5, %o0))
 388         add             %o0, 0x8, %o0
 389         bgu,pt          %icc, 1b
 390          sllx           %g3, %g1, %g2
 391
 392         srl             %g1, 3, %g1
 393         andcc           %i2, 0x7, %i2
 394         be,pn           %icc, 85f
 395          add            %i1, %g1, %i1
 396         ba,pt           %xcc, 90f
 397          sub            %o0, %i1, %i3
 398
 399         .align          64
 400 80: /* 0 < len <= 16 */
 401         andcc           %i3, 0x3, %g0
 402         bne,pn          %XCC, 90f
 403          sub            %o0, %i1, %i3
 404
 405 1:
 406         subcc           %i2, 4, %i2
 407         EX_LD(LOAD(lduw, %i1, %g1))
 408         EX_ST(STORE(stw, %g1, %i1 + %i3))
 409         bgu,pt          %XCC, 1b
 410          add            %i1, 4, %i1
 411
 412 85:     ret
 413          restore        EX_RETVAL(%i0), %g0, %o0
 414
 415         .align          32
 416 90:
 417         subcc           %i2, 1, %i2
 418         EX_LD(LOAD(ldub, %i1, %g1))
 419         EX_ST(STORE(stb, %g1, %i1 + %i3))
 420         bgu,pt          %XCC, 90b
 421          add            %i1, 1, %i1
 422         ret
 423          restore        EX_RETVAL(%i0), %g0, %o0
 424
 425         .size           FUNC_NAME, .-FUNC_NAME