arch/xtensa/mm/misc.S

   1 /*
   2  * arch/xtensa/mm/misc.S
   3  *
   4  * Miscellaneous assembly functions.
   5  *
   6  * This file is subject to the terms and conditions of the GNU General Public
   7  * License.  See the file "COPYING" in the main directory of this archive
   8  * for more details.
   9  *
  10  * Copyright (C) 2001 - 2007 Tensilica Inc.
  11  *
  12  * Chris Zankel <chris@zankel.net>
  13  */
  14
  15
  16 #include <linux/linkage.h>
  17 #include <asm/page.h>
  18 #include <asm/pgtable.h>
  19 #include <asm/asmmacro.h>
  20 #include <asm/cacheasm.h>
  21 #include <asm/tlbflush.h>
  22
  23
  24 /*
  25  * clear_page and clear_user_page are the same for non-cache-aliased configs.
  26  *
  27  * clear_page (unsigned long page)
  28  *                    a2
  29  */
  30
  31 ENTRY(clear_page)
  32         entry   a1, 16
  33
  34         movi    a3, 0
  35         __loopi a2, a7, PAGE_SIZE, 32
  36         s32i    a3, a2, 0
  37         s32i    a3, a2, 4
  38         s32i    a3, a2, 8
  39         s32i    a3, a2, 12
  40         s32i    a3, a2, 16
  41         s32i    a3, a2, 20
  42         s32i    a3, a2, 24
  43         s32i    a3, a2, 28
  44         __endla a2, a7, 32
  45
  46         retw
  47
  48 /*
  49  * copy_page and copy_user_page are the same for non-cache-aliased configs.
  50  *
  51  * copy_page (void *to, void *from)
  52  *               a2          a3
  53  */
  54
  55 ENTRY(copy_page)
  56         entry   a1, 16
  57
  58         __loopi a2, a4, PAGE_SIZE, 32
  59
  60         l32i    a8, a3, 0
  61         l32i    a9, a3, 4
  62         s32i    a8, a2, 0
  63         s32i    a9, a2, 4
  64
  65         l32i    a8, a3, 8
  66         l32i    a9, a3, 12
  67         s32i    a8, a2, 8
  68         s32i    a9, a2, 12
  69
  70         l32i    a8, a3, 16
  71         l32i    a9, a3, 20
  72         s32i    a8, a2, 16
  73         s32i    a9, a2, 20
  74
  75         l32i    a8, a3, 24
  76         l32i    a9, a3, 28
  77         s32i    a8, a2, 24
  78         s32i    a9, a2, 28
  79
  80         addi    a2, a2, 32
  81         addi    a3, a3, 32
  82
  83         __endl  a2, a4
  84
  85         retw
  86
  87 /*
  88  * If we have to deal with cache aliasing, we use temporary memory mappings
  89  * to ensure that the source and destination pages have the same color as
  90  * the virtual address. We use way 0 and 1 for temporary mappings in such cases.
  91  *
  92  * The temporary DTLB entries shouldn't be flushed by interrupts, but are
  93  * flushed by preemptive task switches. Special code in the
  94  * fast_second_level_miss handler re-established the temporary mapping.
  95  * It requires that the PPNs for the destination and source addresses are
  96  * in a6, and a7, respectively.
  97  */
  98
  99 /* TLB miss exceptions are treated special in the following region */
 100
 101 ENTRY(__tlbtemp_mapping_start)
 102
 103 #if (DCACHE_WAY_SIZE > PAGE_SIZE)
 104
 105 /*
 106  * clear_user_page (void *addr, unsigned long vaddr, struct page *page)
 107  *                     a2              a3                 a4
 108  */
 109
 110 ENTRY(clear_user_page)
 111         entry   a1, 32
 112
 113         /* Mark page dirty and determine alias. */
 114
 115         movi    a7, (1 << PG_ARCH_1)
 116         l32i    a5, a4, PAGE_FLAGS
 117         xor     a6, a2, a3
 118         extui   a3, a3, PAGE_SHIFT, DCACHE_ALIAS_ORDER
 119         extui   a6, a6, PAGE_SHIFT, DCACHE_ALIAS_ORDER
 120         or      a5, a5, a7
 121         slli    a3, a3, PAGE_SHIFT
 122         s32i    a5, a4, PAGE_FLAGS
 123
 124         /* Skip setting up a temporary DTLB if not aliased. */
 125
 126         beqz    a6, 1f
 127
 128         /* Invalidate kernel page. */
 129
 130         mov     a10, a2
 131         call8   __invalidate_dcache_page
 132
 133         /* Setup a temporary DTLB with the color of the VPN */
 134
 135         movi    a4, -PAGE_OFFSET + (PAGE_KERNEL | _PAGE_HW_WRITE)
 136         movi    a5, TLBTEMP_BASE_1                      # virt
 137         add     a6, a2, a4                              # ppn
 138         add     a2, a5, a3                              # add 'color'
 139
 140         wdtlb   a6, a2
 141         dsync
 142
 143 1:      movi    a3, 0
 144         __loopi a2, a7, PAGE_SIZE, 32
 145         s32i    a3, a2, 0
 146         s32i    a3, a2, 4
 147         s32i    a3, a2, 8
 148         s32i    a3, a2, 12
 149         s32i    a3, a2, 16
 150         s32i    a3, a2, 20
 151         s32i    a3, a2, 24
 152         s32i    a3, a2, 28
 153         __endla a2, a7, 32
 154
 155         bnez    a6, 1f
 156         retw
 157
 158         /* We need to invalidate the temporary idtlb entry, if any. */
 159
 160 1:      addi    a2, a2, -PAGE_SIZE
 161         idtlb   a2
 162         dsync
 163
 164         retw
 165
 166 /*
 167  * copy_page_user (void *to, void *from, unsigned long vaddr, struct page *page)
 168  *                    a2          a3            a4                  a5
 169  */
 170
 171 ENTRY(copy_user_page)
 172
 173         entry   a1, 32
 174
 175         /* Mark page dirty and determine alias for destination. */
 176
 177         movi    a8, (1 << PG_ARCH_1)
 178         l32i    a9, a5, PAGE_FLAGS
 179         xor     a6, a2, a4
 180         xor     a7, a3, a4
 181         extui   a4, a4, PAGE_SHIFT, DCACHE_ALIAS_ORDER
 182         extui   a6, a6, PAGE_SHIFT, DCACHE_ALIAS_ORDER
 183         extui   a7, a7, PAGE_SHIFT, DCACHE_ALIAS_ORDER
 184         or      a9, a9, a8
 185         slli    a4, a4, PAGE_SHIFT
 186         s32i    a9, a5, PAGE_FLAGS
 187         movi    a5, -PAGE_OFFSET + (PAGE_KERNEL | _PAGE_HW_WRITE)
 188
 189         beqz    a6, 1f
 190
 191         /* Invalidate dcache */
 192
 193         mov     a10, a2
 194         call8   __invalidate_dcache_page
 195
 196         /* Setup a temporary DTLB with a matching color. */
 197
 198         movi    a8, TLBTEMP_BASE_1                      # base
 199         add     a6, a2, a5                              # ppn
 200         add     a2, a8, a4                              # add 'color'
 201
 202         wdtlb   a6, a2
 203         dsync
 204
 205         /* Skip setting up a temporary DTLB for destination if not aliased. */
 206
 207 1:      beqz    a7, 1f
 208
 209         /* Setup a temporary DTLB with a matching color. */
 210
 211         movi    a8, TLBTEMP_BASE_2                      # base
 212         add     a7, a3, a5                              # ppn
 213         add     a3, a8, a4
 214         addi    a8, a3, 1                               # way1
 215
 216         wdtlb   a7, a8
 217         dsync
 218
 219 1:      __loopi a2, a4, PAGE_SIZE, 32
 220
 221         l32i    a8, a3, 0
 222         l32i    a9, a3, 4
 223         s32i    a8, a2, 0
 224         s32i    a9, a2, 4
 225
 226         l32i    a8, a3, 8
 227         l32i    a9, a3, 12
 228         s32i    a8, a2, 8
 229         s32i    a9, a2, 12
 230
 231         l32i    a8, a3, 16
 232         l32i    a9, a3, 20
 233         s32i    a8, a2, 16
 234         s32i    a9, a2, 20
 235
 236         l32i    a8, a3, 24
 237         l32i    a9, a3, 28
 238         s32i    a8, a2, 24
 239         s32i    a9, a2, 28
 240
 241         addi    a2, a2, 32
 242         addi    a3, a3, 32
 243
 244         __endl  a2, a4
 245
 246         /* We need to invalidate any temporary mapping! */
 247
 248         bnez    a6, 1f
 249         bnez    a7, 2f
 250         retw
 251
 252 1:      addi    a2, a2, -PAGE_SIZE
 253         idtlb   a2
 254         dsync
 255         bnez    a7, 2f
 256         retw
 257
 258 2:      addi    a3, a3, -PAGE_SIZE+1
 259         idtlb   a3
 260         dsync
 261
 262         retw
 263
 264 #endif
 265
 266 #if (DCACHE_WAY_SIZE > PAGE_SIZE)
 267
 268 /*
 269  * void __flush_invalidate_dcache_page_alias (addr, phys)
 270  *                                             a2    a3
 271  */
 272
 273 ENTRY(__flush_invalidate_dcache_page_alias)
 274         entry   sp, 16
 275
 276         movi    a7, 0                   # required for exception handler
 277         addi    a6, a3, (PAGE_KERNEL | _PAGE_HW_WRITE)
 278         mov     a4, a2
 279         wdtlb   a6, a2
 280         dsync
 281
 282         ___flush_invalidate_dcache_page a2 a3
 283
 284         idtlb   a4
 285         dsync
 286
 287         retw
 288
 289 #endif
 290
 291 ENTRY(__tlbtemp_mapping_itlb)
 292
 293 #if (ICACHE_WAY_SIZE > PAGE_SIZE)
 294
 295 ENTRY(__invalidate_icache_page_alias)
 296         entry   sp, 16
 297
 298         addi    a6, a3, (PAGE_KERNEL_EXEC | _PAGE_HW_WRITE)
 299         mov     a4, a2
 300         witlb   a6, a2
 301         isync
 302
 303         ___invalidate_icache_page a2 a3
 304
 305         iitlb   a4
 306         isync
 307         retw
 308
 309 #endif
 310
 311 /* End of special treatment in tlb miss exception */
 312
 313 ENTRY(__tlbtemp_mapping_end)
 314
 315 /*
 316  * void __invalidate_icache_page(ulong start)
 317  */
 318
 319 ENTRY(__invalidate_icache_page)
 320         entry   sp, 16
 321
 322         ___invalidate_icache_page a2 a3
 323         isync
 324
 325         retw
 326
 327 /*
 328  * void __invalidate_dcache_page(ulong start)
 329  */
 330
 331 ENTRY(__invalidate_dcache_page)
 332         entry   sp, 16
 333
 334         ___invalidate_dcache_page a2 a3
 335         dsync
 336
 337         retw
 338
 339 /*
 340  * void __flush_invalidate_dcache_page(ulong start)
 341  */
 342
 343 ENTRY(__flush_invalidate_dcache_page)
 344         entry   sp, 16
 345
 346         ___flush_invalidate_dcache_page a2 a3
 347
 348         dsync
 349         retw
 350
 351 /*
 352  * void __flush_dcache_page(ulong start)
 353  */
 354
 355 ENTRY(__flush_dcache_page)
 356         entry   sp, 16
 357
 358         ___flush_dcache_page a2 a3
 359
 360         dsync
 361         retw
 362
 363 /*
 364  * void __invalidate_icache_range(ulong start, ulong size)
 365  */
 366
 367 ENTRY(__invalidate_icache_range)
 368         entry   sp, 16
 369
 370         ___invalidate_icache_range a2 a3 a4
 371         isync
 372
 373         retw
 374
 375 /*
 376  * void __flush_invalidate_dcache_range(ulong start, ulong size)
 377  */
 378
 379 ENTRY(__flush_invalidate_dcache_range)
 380         entry   sp, 16
 381
 382         ___flush_invalidate_dcache_range a2 a3 a4
 383         dsync
 384
 385         retw
 386
 387 /*
 388  * void _flush_dcache_range(ulong start, ulong size)
 389  */
 390
 391 ENTRY(__flush_dcache_range)
 392         entry   sp, 16
 393
 394         ___flush_dcache_range a2 a3 a4
 395         dsync
 396
 397         retw
 398
 399 /*
 400  * void _invalidate_dcache_range(ulong start, ulong size)
 401  */
 402
 403 ENTRY(__invalidate_dcache_range)
 404         entry   sp, 16
 405
 406         ___invalidate_dcache_range a2 a3 a4
 407
 408         retw
 409
 410 /*
 411  * void _invalidate_icache_all(void)
 412  */
 413
 414 ENTRY(__invalidate_icache_all)
 415         entry   sp, 16
 416
 417         ___invalidate_icache_all a2 a3
 418         isync
 419
 420         retw
 421
 422 /*
 423  * void _flush_invalidate_dcache_all(void)
 424  */
 425
 426 ENTRY(__flush_invalidate_dcache_all)
 427         entry   sp, 16
 428
 429         ___flush_invalidate_dcache_all a2 a3
 430         dsync
 431
 432         retw
 433
 434 /*
 435  * void _invalidate_dcache_all(void)
 436  */
 437
 438 ENTRY(__invalidate_dcache_all)
 439         entry   sp, 16
 440
 441         ___invalidate_dcache_all a2 a3
 442         dsync
 443
 444         retw
 445