initial commit
[freebsd-arm:freebsd-arm.git] / amd64 / include / xen / xen-os.h
1 /******************************************************************************
2  * os.h
3  * 
4  * random collection of macros and definition
5  */
6
7 #ifndef _XEN_OS_H_
8 #define _XEN_OS_H_
9
10 #ifdef PAE
11 #define CONFIG_X86_PAE
12 #endif
13
14 #if !defined(__XEN_INTERFACE_VERSION__)  
15 /*  
16  * Can update to a more recent version when we implement  
17  * the hypercall page  
18  */  
19 #define  __XEN_INTERFACE_VERSION__ 0x00030204  
20 #endif  
21
22 #include <xen/interface/xen.h>
23
24 /* Force a proper event-channel callback from Xen. */
25 void force_evtchn_callback(void);
26
27 extern int gdtset;
28
29 extern shared_info_t *HYPERVISOR_shared_info;
30
31 /* REP NOP (PAUSE) is a good thing to insert into busy-wait loops. */
32 static inline void rep_nop(void)
33 {
34     __asm__ __volatile__ ( "rep;nop" : : : "memory" );
35 }
36 #define cpu_relax() rep_nop()
37
38 /* crude memory allocator for memory allocation early in 
39  *  boot
40  */
41 void *bootmem_alloc(unsigned int size);
42 void bootmem_free(void *ptr, unsigned int size);
43
44
45 /* Everything below this point is not included by assembler (.S) files. */
46 #ifndef __ASSEMBLY__
47
48 void printk(const char *fmt, ...);
49
50 /* some function prototypes */
51 void trap_init(void);
52
53 #define likely(x)  __builtin_expect((x),1)
54 #define unlikely(x)  __builtin_expect((x),0)
55
56 #ifndef XENHVM
57
58 /*
59  * STI/CLI equivalents. These basically set and clear the virtual
60  * event_enable flag in teh shared_info structure. Note that when
61  * the enable bit is set, there may be pending events to be handled.
62  * We may therefore call into do_hypervisor_callback() directly.
63  */
64
65 #define __cli()                                                         \
66 do {                                                                    \
67         vcpu_info_t *_vcpu;                                             \
68         _vcpu = &HYPERVISOR_shared_info->vcpu_info[PCPU_GET(cpuid)];    \
69         _vcpu->evtchn_upcall_mask = 1;                                  \
70         barrier();                                                      \
71 } while (0)
72
73 #define __sti()                                                         \
74 do {                                                                    \
75         vcpu_info_t *_vcpu;                                             \
76         barrier();                                                      \
77         _vcpu = &HYPERVISOR_shared_info->vcpu_info[PCPU_GET(cpuid)];    \
78         _vcpu->evtchn_upcall_mask = 0;                                  \
79         barrier(); /* unmask then check (avoid races) */                \
80         if ( unlikely(_vcpu->evtchn_upcall_pending) )                   \
81                 force_evtchn_callback();                                \
82 } while (0)
83
84 #define __restore_flags(x)                                              \
85 do {                                                                    \
86         vcpu_info_t *_vcpu;                                             \
87         barrier();                                                      \
88         _vcpu = &HYPERVISOR_shared_info->vcpu_info[PCPU_GET(cpuid)];    \
89         if ((_vcpu->evtchn_upcall_mask = (x)) == 0) {                   \
90                 barrier(); /* unmask then check (avoid races) */        \
91                 if ( unlikely(_vcpu->evtchn_upcall_pending) )           \
92                         force_evtchn_callback();                        \
93         }                                                               \
94 } while (0)
95
96 /*
97  * Add critical_{enter, exit}?
98  *
99  */
100 #define __save_and_cli(x)                                               \
101 do {                                                                    \
102         vcpu_info_t *_vcpu;                                             \
103         _vcpu = &HYPERVISOR_shared_info->vcpu_info[PCPU_GET(cpuid)];    \
104         (x) = _vcpu->evtchn_upcall_mask;                                \
105         _vcpu->evtchn_upcall_mask = 1;                                  \
106         barrier();                                                      \
107 } while (0)
108
109
110 #define cli() __cli()
111 #define sti() __sti()
112 #define save_flags(x) __save_flags(x)
113 #define restore_flags(x) __restore_flags(x)
114 #define save_and_cli(x) __save_and_cli(x)
115
116 #define local_irq_save(x)       __save_and_cli(x)
117 #define local_irq_restore(x)    __restore_flags(x)
118 #define local_irq_disable()     __cli()
119 #define local_irq_enable()      __sti()
120
121 #define mtx_lock_irqsave(lock, x) {local_irq_save((x)); mtx_lock_spin((lock));}
122 #define mtx_unlock_irqrestore(lock, x) {mtx_unlock_spin((lock)); local_irq_restore((x)); }
123 #define spin_lock_irqsave mtx_lock_irqsave
124 #define spin_unlock_irqrestore mtx_unlock_irqrestore
125
126 #else
127 #endif
128
129 #ifndef mb
130 #define mb() __asm__ __volatile__("mfence":::"memory")
131 #endif
132 #ifndef rmb
133 #define rmb() __asm__ __volatile__("lfence":::"memory");
134 #endif
135 #ifndef wmb
136 #define wmb() barrier()
137 #endif
138 #ifdef SMP
139 #define smp_mb() mb() 
140 #define smp_rmb() rmb()
141 #define smp_wmb() wmb()
142 #define smp_read_barrier_depends()      read_barrier_depends()
143 #define set_mb(var, value) do { xchg(&var, value); } while (0)
144 #else
145 #define smp_mb()        barrier()
146 #define smp_rmb()       barrier()
147 #define smp_wmb()       barrier()
148 #define smp_read_barrier_depends()      do { } while(0)
149 #define set_mb(var, value) do { var = value; barrier(); } while (0)
150 #endif
151
152
153 /* This is a barrier for the compiler only, NOT the processor! */
154 #define barrier() __asm__ __volatile__("": : :"memory")
155
156 #define LOCK_PREFIX ""
157 #define LOCK ""
158 #define ADDR (*(volatile long *) addr)
159 /*
160  * Make sure gcc doesn't try to be clever and move things around
161  * on us. We need to use _exactly_ the address the user gave us,
162  * not some alias that contains the same information.
163  */
164 typedef struct { volatile int counter; } atomic_t;
165
166
167
168 #define xen_xchg(ptr,v) \
169         ((__typeof__(*(ptr)))__xchg((unsigned long)(v),(ptr),sizeof(*(ptr))))
170 struct __xchg_dummy { unsigned long a[100]; };
171 #define __xg(x) ((volatile struct __xchg_dummy *)(x))
172 static __inline unsigned long __xchg(unsigned long x, volatile void * ptr,
173                                    int size)
174 {
175     switch (size) {
176     case 1:
177         __asm__ __volatile__("xchgb %b0,%1"
178                              :"=q" (x)
179                              :"m" (*__xg(ptr)), "0" (x)
180                              :"memory");
181         break;
182     case 2:
183         __asm__ __volatile__("xchgw %w0,%1"
184                              :"=r" (x)
185                              :"m" (*__xg(ptr)), "0" (x)
186                              :"memory");
187         break;
188     case 4:
189         __asm__ __volatile__("xchgl %0,%1"
190                              :"=r" (x)
191                              :"m" (*__xg(ptr)), "0" (x)
192                              :"memory");
193         break;
194     }
195     return x;
196 }
197
198 /**
199  * test_and_clear_bit - Clear a bit and return its old value
200  * @nr: Bit to set
201  * @addr: Address to count from
202  *
203  * This operation is atomic and cannot be reordered.  
204  * It also implies a memory barrier.
205  */
206 static __inline int test_and_clear_bit(int nr, volatile void * addr)
207 {
208         int oldbit;
209
210         __asm__ __volatile__( LOCK_PREFIX
211                 "btrl %2,%1\n\tsbbl %0,%0"
212                 :"=r" (oldbit),"=m" (ADDR)
213                 :"Ir" (nr) : "memory");
214         return oldbit;
215 }
216
217 static __inline int constant_test_bit(int nr, const volatile void * addr)
218 {
219     return ((1UL << (nr & 31)) & (((const volatile unsigned int *) addr)[nr >> 5])) != 0;
220 }
221
222 static __inline int variable_test_bit(int nr, volatile void * addr)
223 {
224     int oldbit;
225     
226     __asm__ __volatile__(
227         "btl %2,%1\n\tsbbl %0,%0"
228         :"=r" (oldbit)
229         :"m" (ADDR),"Ir" (nr));
230     return oldbit;
231 }
232
233 #define test_bit(nr,addr) \
234 (__builtin_constant_p(nr) ? \
235  constant_test_bit((nr),(addr)) : \
236  variable_test_bit((nr),(addr)))
237
238
239 /**
240  * set_bit - Atomically set a bit in memory
241  * @nr: the bit to set
242  * @addr: the address to start counting from
243  *
244  * This function is atomic and may not be reordered.  See __set_bit()
245  * if you do not require the atomic guarantees.
246  * Note that @nr may be almost arbitrarily large; this function is not
247  * restricted to acting on a single-word quantity.
248  */
249 static __inline__ void set_bit(int nr, volatile void * addr)
250 {
251         __asm__ __volatile__( LOCK_PREFIX
252                 "btsl %1,%0"
253                 :"=m" (ADDR)
254                 :"Ir" (nr));
255 }
256
257 /**
258  * clear_bit - Clears a bit in memory
259  * @nr: Bit to clear
260  * @addr: Address to start counting from
261  *
262  * clear_bit() is atomic and may not be reordered.  However, it does
263  * not contain a memory barrier, so if it is used for locking purposes,
264  * you should call smp_mb__before_clear_bit() and/or smp_mb__after_clear_bit()
265  * in order to ensure changes are visible on other processors.
266  */
267 static __inline__ void clear_bit(int nr, volatile void * addr)
268 {
269         __asm__ __volatile__( LOCK_PREFIX
270                 "btrl %1,%0"
271                 :"=m" (ADDR)
272                 :"Ir" (nr));
273 }
274
275 /**
276  * atomic_inc - increment atomic variable
277  * @v: pointer of type atomic_t
278  * 
279  * Atomically increments @v by 1.  Note that the guaranteed
280  * useful range of an atomic_t is only 24 bits.
281  */ 
282 static __inline__ void atomic_inc(atomic_t *v)
283 {
284         __asm__ __volatile__(
285                 LOCK "incl %0"
286                 :"=m" (v->counter)
287                 :"m" (v->counter));
288 }
289
290
291 #define rdtscll(val) \
292      __asm__ __volatile__("rdtsc" : "=A" (val))
293
294 #endif /* !__ASSEMBLY__ */
295
296 #endif /* _OS_H_ */