1 /* $NetBSD: frameasm.h,v 1.15 2011/01/12 23:12:11 joerg Exp $ */ 2 3 #ifndef _AMD64_MACHINE_FRAMEASM_H 4 #define _AMD64_MACHINE_FRAMEASM_H 5 6 #ifdef _KERNEL_OPT 7 #include "opt_xen.h" 8 #endif 9 10 /* 11 * Macros to define pushing/popping frames for interrupts, traps 12 * and system calls. Currently all the same; will diverge later. 13 */ 14 15 #ifdef XEN 16 #define HYPERVISOR_iret hypercall_page + (__HYPERVISOR_iret * 32) 17 /* Xen do not need swapgs, done by hypervisor */ 18 #define swapgs 19 #define iretq pushq $0 ; jmp HYPERVISOR_iret 20 #endif 21 22 /* 23 * These are used on interrupt or trap entry or exit. 24 */ 25 #define INTR_SAVE_GPRS \ 26 movq %rdi,TF_RDI(%rsp) ; \ 27 movq %rsi,TF_RSI(%rsp) ; \ 28 movq %rdx,TF_RDX(%rsp) ; \ 29 movq %rcx,TF_RCX(%rsp) ; \ 30 movq %r8,TF_R8(%rsp) ; \ 31 movq %r9,TF_R9(%rsp) ; \ 32 movq %r10,TF_R10(%rsp) ; \ 33 movq %r11,TF_R11(%rsp) ; \ 34 movq %r12,TF_R12(%rsp) ; \ 35 movq %r13,TF_R13(%rsp) ; \ 36 movq %r14,TF_R14(%rsp) ; \ 37 movq %r15,TF_R15(%rsp) ; \ 38 movq %rbp,TF_RBP(%rsp) ; \ 39 movq %rbx,TF_RBX(%rsp) ; \ 40 movq %rax,TF_RAX(%rsp) ; \ 41 cld 42 43 #define INTR_RESTORE_GPRS \ 44 movq TF_RDI(%rsp),%rdi ; \ 45 movq TF_RSI(%rsp),%rsi ; \ 46 movq TF_RDX(%rsp),%rdx ; \ 47 movq TF_RCX(%rsp),%rcx ; \ 48 movq TF_R8(%rsp),%r8 ; \ 49 movq TF_R9(%rsp),%r9 ; \ 50 movq TF_R10(%rsp),%r10 ; \ 51 movq TF_R11(%rsp),%r11 ; \ 52 movq TF_R12(%rsp),%r12 ; \ 53 movq TF_R13(%rsp),%r13 ; \ 54 movq TF_R14(%rsp),%r14 ; \ 55 movq TF_R15(%rsp),%r15 ; \ 56 movq TF_RBP(%rsp),%rbp ; \ 57 movq TF_RBX(%rsp),%rbx ; \ 58 movq TF_RAX(%rsp),%rax 59 60 #define INTRENTRY \ 61 subq $TF_REGSIZE,%rsp ; \ 62 testq $SEL_UPL,TF_CS(%rsp) ; \ 63 je 98f ; \ 64 swapgs ; \ 65 movw %gs,TF_GS(%rsp) ; \ 66 movw %fs,TF_FS(%rsp) ; \ 67 movw %es,TF_ES(%rsp) ; \ 68 movw %ds,TF_DS(%rsp) ; \ 69 98: INTR_SAVE_GPRS 70 71 #ifndef XEN 72 #define INTRFASTEXIT \ 73 INTR_RESTORE_GPRS ; \ 74 testq $SEL_UPL,TF_CS(%rsp) /* Interrupted %cs */ ; \ 75 je 99f ; \ 76 cli ; \ 77 movw TF_ES(%rsp),%es ; \ 78 movw TF_DS(%rsp),%ds ; \ 79 swapgs ; \ 80 99: addq $TF_REGSIZE+16,%rsp /* + T_xxx and error code */ ; \ 81 iretq 82 83 #define INTR_RECURSE_HWFRAME \ 84 movq %rsp,%r10 ; \ 85 movl %ss,%r11d ; \ 86 pushq %r11 ; \ 87 pushq %r10 ; \ 88 pushfq ; \ 89 movl %cs,%r11d ; \ 90 pushq %r11 ; \ 91 pushq %r13 ; 92 93 #else /* !XEN */ 94 /* 95 * Disabling events before going to user mode sounds like a BAD idea 96 * do no restore gs either, HYPERVISOR_iret will do a swapgs 97 */ 98 #define INTRFASTEXIT \ 99 INTR_RESTORE_GPRS ; \ 100 testq $SEL_UPL,TF_CS(%rsp) ; \ 101 je 99f ; \ 102 movw TF_ES(%rsp),%es ; \ 103 movw TF_DS(%rsp),%ds ; \ 104 99: addq $TF_REGSIZE+16,%rsp /* + T_xxx and error code */ ; \ 105 iretq 106 107 /* We must fixup CS, as even kernel mode runs at CPL 3 */ 108 #define INTR_RECURSE_HWFRAME \ 109 movq %rsp,%r10 ; \ 110 movl %ss,%r11d ; \ 111 pushq %r11 ; \ 112 pushq %r10 ; \ 113 pushfq ; \ 114 movl %cs,%r11d ; \ 115 pushq %r11 ; \ 116 andb $0xfc,(%rsp) ; \ 117 pushq %r13 ; 118 119 #endif /* !XEN */ 120 121 #define DO_DEFERRED_SWITCH \ 122 cmpl $0, CPUVAR(WANT_PMAPLOAD) ; \ 123 jz 1f ; \ 124 call _C_LABEL(do_pmap_load) ; \ 125 1: 126 127 #define CHECK_DEFERRED_SWITCH \ 128 cmpl $0, CPUVAR(WANT_PMAPLOAD) 129 130 #define CHECK_ASTPENDING(reg) cmpl $0, L_MD_ASTPENDING(reg) 131 #define CLEAR_ASTPENDING(reg) movl $0, L_MD_ASTPENDING(reg) 132 133 #ifdef XEN 134 #define CLI(temp_reg) \ 135 movl CPUVAR(CPUID),%e ## temp_reg ; \ 136 shlq $6,%r ## temp_reg ; \ 137 addq CPUVAR(VCPU),%r ## temp_reg ; \ 138 movb $1,EVTCHN_UPCALL_MASK(%r ## temp_reg) 139 #define STI(temp_reg) \ 140 movl CPUVAR(CPUID),%e ## temp_reg ; \ 141 shlq $6,%r ## temp_reg ; \ 142 addq CPUVAR(VCPU),%r ## temp_reg ; \ 143 movb $0,EVTCHN_UPCALL_MASK(%r ## temp_reg) 144 #else /* XEN */ 145 #define CLI(temp_reg) cli 146 #define STI(temp_reg) sti 147 #endif /* XEN */ 148 149 #endif /* _AMD64_MACHINE_FRAMEASM_H */ 150