arch/x86/kernel/relocate_kernel_64.S

   1 /*
   2  * relocate_kernel.S - put the kernel image in place to boot
   3  * Copyright (C) 2002-2005 Eric Biederman  <ebiederm@xmission.com>
   4  *
   5  * This source code is licensed under the GNU General Public License,
   6  * Version 2.  See the file COPYING for more details.
   7  */
   8
   9 #include <linux/linkage.h>
  10 #include <asm/page.h>
  11 #include <asm/kexec.h>
  12
  13 /*
  14  * Must be relocatable PIC code callable as a C function
  15  */
  16
  17 #define PTR(x) (x << 3)
  18 #define PAGE_ATTR 0x63 /* _PAGE_PRESENT|_PAGE_RW|_PAGE_ACCESSED|_PAGE_DIRTY */
  19
  20         .text
  21         .align PAGE_SIZE
  22         .code64
  23         .globl relocate_kernel
  24 relocate_kernel:
  25         /* %rdi indirection_page
  26          * %rsi page_list
  27          * %rdx start address
  28          */
  29
  30         /* map the control page at its virtual address */
  31
  32         movq    $0x0000ff8000000000, %r10        /* mask */
  33         mov     $(39 - 3), %cl                   /* bits to shift */
  34         movq    PTR(VA_CONTROL_PAGE)(%rsi), %r11 /* address to map */
  35
  36         movq    %r11, %r9
  37         andq    %r10, %r9
  38         shrq    %cl, %r9
  39
  40         movq    PTR(VA_PGD)(%rsi), %r8
  41         addq    %r8, %r9
  42         movq    PTR(PA_PUD_0)(%rsi), %r8
  43         orq     $PAGE_ATTR, %r8
  44         movq    %r8, (%r9)
  45
  46         shrq    $9, %r10
  47         sub     $9, %cl
  48
  49         movq    %r11, %r9
  50         andq    %r10, %r9
  51         shrq    %cl, %r9
  52
  53         movq    PTR(VA_PUD_0)(%rsi), %r8
  54         addq    %r8, %r9
  55         movq    PTR(PA_PMD_0)(%rsi), %r8
  56         orq     $PAGE_ATTR, %r8
  57         movq    %r8, (%r9)
  58
  59         shrq    $9, %r10
  60         sub     $9, %cl
  61
  62         movq    %r11, %r9
  63         andq    %r10, %r9
  64         shrq    %cl, %r9
  65
  66         movq    PTR(VA_PMD_0)(%rsi), %r8
  67         addq    %r8, %r9
  68         movq    PTR(PA_PTE_0)(%rsi), %r8
  69         orq     $PAGE_ATTR, %r8
  70         movq    %r8, (%r9)
  71
  72         shrq    $9, %r10
  73         sub     $9, %cl
  74
  75         movq    %r11, %r9
  76         andq    %r10, %r9
  77         shrq    %cl, %r9
  78
  79         movq    PTR(VA_PTE_0)(%rsi), %r8
  80         addq    %r8, %r9
  81         movq    PTR(PA_CONTROL_PAGE)(%rsi), %r8
  82         orq     $PAGE_ATTR, %r8
  83         movq    %r8, (%r9)
  84
  85         /* identity map the control page at its physical address */
  86
  87         movq    $0x0000ff8000000000, %r10        /* mask */
  88         mov     $(39 - 3), %cl                   /* bits to shift */
  89         movq    PTR(PA_CONTROL_PAGE)(%rsi), %r11 /* address to map */
  90
  91         movq    %r11, %r9
  92         andq    %r10, %r9
  93         shrq    %cl, %r9
  94
  95         movq    PTR(VA_PGD)(%rsi), %r8
  96         addq    %r8, %r9
  97         movq    PTR(PA_PUD_1)(%rsi), %r8
  98         orq     $PAGE_ATTR, %r8
  99         movq    %r8, (%r9)
 100
 101         shrq    $9, %r10
 102         sub     $9, %cl
 103
 104         movq    %r11, %r9
 105         andq    %r10, %r9
 106         shrq    %cl, %r9
 107
 108         movq    PTR(VA_PUD_1)(%rsi), %r8
 109         addq    %r8, %r9
 110         movq    PTR(PA_PMD_1)(%rsi), %r8
 111         orq     $PAGE_ATTR, %r8
 112         movq    %r8, (%r9)
 113
 114         shrq    $9, %r10
 115         sub     $9, %cl
 116
 117         movq    %r11, %r9
 118         andq    %r10, %r9
 119         shrq    %cl, %r9
 120
 121         movq    PTR(VA_PMD_1)(%rsi), %r8
 122         addq    %r8, %r9
 123         movq    PTR(PA_PTE_1)(%rsi), %r8
 124         orq     $PAGE_ATTR, %r8
 125         movq    %r8, (%r9)
 126
 127         shrq    $9, %r10
 128         sub     $9, %cl
 129
 130         movq    %r11, %r9
 131         andq    %r10, %r9
 132         shrq    %cl, %r9
 133
 134         movq    PTR(VA_PTE_1)(%rsi), %r8
 135         addq    %r8, %r9
 136         movq    PTR(PA_CONTROL_PAGE)(%rsi), %r8
 137         orq     $PAGE_ATTR, %r8
 138         movq    %r8, (%r9)
 139
 140 relocate_new_kernel:
 141         /* %rdi indirection_page
 142          * %rsi page_list
 143          * %rdx start address
 144          */
 145
 146         /* zero out flags, and disable interrupts */
 147         pushq $0
 148         popfq
 149
 150         /* get physical address of control page now */
 151         /* this is impossible after page table switch */
 152         movq    PTR(PA_CONTROL_PAGE)(%rsi), %r8
 153
 154         /* get physical address of page table now too */
 155         movq    PTR(PA_TABLE_PAGE)(%rsi), %rcx
 156
 157         /* switch to new set of page tables */
 158         movq    PTR(PA_PGD)(%rsi), %r9
 159         movq    %r9, %cr3
 160
 161         /* setup a new stack at the end of the physical control page */
 162         lea     PAGE_SIZE(%r8), %rsp
 163
 164         /* jump to identity mapped page */
 165         addq    $(identity_mapped - relocate_kernel), %r8
 166         pushq   %r8
 167         ret
 168
 169 identity_mapped:
 170         /* store the start address on the stack */
 171         pushq   %rdx
 172
 173         /* Set cr0 to a known state:
 174          * 31 1 == Paging enabled
 175          * 18 0 == Alignment check disabled
 176          * 16 0 == Write protect disabled
 177          * 3  0 == No task switch
 178          * 2  0 == Don't do FP software emulation.
 179          * 0  1 == Proctected mode enabled
 180          */
 181         movq    %cr0, %rax
 182         andq    $~((1<<18)|(1<<16)|(1<<3)|(1<<2)), %rax
 183         orl     $((1<<31)|(1<<0)), %eax
 184         movq    %rax, %cr0
 185
 186         /* Set cr4 to a known state:
 187          * 10 0 == xmm exceptions disabled
 188          * 9  0 == xmm registers instructions disabled
 189          * 8  0 == performance monitoring counter disabled
 190          * 7  0 == page global disabled
 191          * 6  0 == machine check exceptions disabled
 192          * 5  1 == physical address extension enabled
 193          * 4  0 == page size extensions disabled
 194          * 3  0 == Debug extensions disabled
 195          * 2  0 == Time stamp disable (disabled)
 196          * 1  0 == Protected mode virtual interrupts disabled
 197          * 0  0 == VME disabled
 198          */
 199
 200         movq    $((1<<5)), %rax
 201         movq    %rax, %cr4
 202
 203         jmp 1f
 204 1:
 205
 206         /* Switch to the identity mapped page tables,
 207          * and flush the TLB.
 208         */
 209         movq    %rcx, %cr3
 210
 211         /* Do the copies */
 212         movq    %rdi, %rcx      /* Put the page_list in %rcx */
 213         xorq    %rdi, %rdi
 214         xorq    %rsi, %rsi
 215         jmp     1f
 216
 217 0:      /* top, read another word for the indirection page */
 218
 219         movq    (%rbx), %rcx
 220         addq    $8,     %rbx
 221 1:
 222         testq   $0x1,   %rcx  /* is it a destination page? */
 223         jz      2f
 224         movq    %rcx,   %rdi
 225         andq    $0xfffffffffffff000, %rdi
 226         jmp     0b
 227 2:
 228         testq   $0x2,   %rcx  /* is it an indirection page? */
 229         jz      2f
 230         movq    %rcx,   %rbx
 231         andq    $0xfffffffffffff000, %rbx
 232         jmp     0b
 233 2:
 234         testq   $0x4,   %rcx  /* is it the done indicator? */
 235         jz      2f
 236         jmp     3f
 237 2:
 238         testq   $0x8,   %rcx  /* is it the source indicator? */
 239         jz      0b            /* Ignore it otherwise */
 240         movq    %rcx,   %rsi  /* For ever source page do a copy */
 241         andq    $0xfffffffffffff000, %rsi
 242
 243         movq    $512,   %rcx
 244         rep ; movsq
 245         jmp     0b
 246 3:
 247
 248         /* To be certain of avoiding problems with self-modifying code
 249          * I need to execute a serializing instruction here.
 250          * So I flush the TLB by reloading %cr3 here, it's handy,
 251          * and not processor dependent.
 252          */
 253         movq    %cr3, %rax
 254         movq    %rax, %cr3
 255
 256         /* set all of the registers to known values */
 257         /* leave %rsp alone */
 258
 259         xorq    %rax, %rax
 260         xorq    %rbx, %rbx
 261         xorq    %rcx, %rcx
 262         xorq    %rdx, %rdx
 263         xorq    %rsi, %rsi
 264         xorq    %rdi, %rdi
 265         xorq    %rbp, %rbp
 266         xorq    %r8,  %r8
 267         xorq    %r9,  %r9
 268         xorq    %r10, %r9
 269         xorq    %r11, %r11
 270         xorq    %r12, %r12
 271         xorq    %r13, %r13
 272         xorq    %r14, %r14
 273         xorq    %r15, %r15
 274
 275         ret