12874c5fdSThomas Gleixner /* SPDX-License-Identifier: GPL-2.0-or-later */
261e85e36SJonas Bonn /*
361e85e36SJonas Bonn * OpenRISC Linux
461e85e36SJonas Bonn *
561e85e36SJonas Bonn * Linux architectural port borrowing liberally from similar works of
661e85e36SJonas Bonn * others. All original copyrights apply as per the original source
761e85e36SJonas Bonn * declaration.
861e85e36SJonas Bonn *
961e85e36SJonas Bonn * OpenRISC implementation:
1061e85e36SJonas Bonn * Copyright (C) 2003 Matjaz Breskvar <phoenix@bsemi.com>
1161e85e36SJonas Bonn * Copyright (C) 2010-2011 Jonas Bonn <jonas@southpole.se>
1261e85e36SJonas Bonn * et al.
1361e85e36SJonas Bonn */
1461e85e36SJonas Bonn
1561e85e36SJonas Bonn #ifndef __ASM_OPENRISC_UACCESS_H
1661e85e36SJonas Bonn #define __ASM_OPENRISC_UACCESS_H
1761e85e36SJonas Bonn
1861e85e36SJonas Bonn /*
1961e85e36SJonas Bonn * User space memory access functions
2061e85e36SJonas Bonn */
2161e85e36SJonas Bonn #include <linux/prefetch.h>
2261e85e36SJonas Bonn #include <linux/string.h>
2361e85e36SJonas Bonn #include <asm/page.h>
246c36a4ebSAl Viro #include <asm/extable.h>
2512700c17SArnd Bergmann #include <asm-generic/access_ok.h>
2661e85e36SJonas Bonn
2761e85e36SJonas Bonn /*
2861e85e36SJonas Bonn * These are the main single-value transfer routines. They automatically
2961e85e36SJonas Bonn * use the right size if we just have the right pointer type.
3061e85e36SJonas Bonn *
3161e85e36SJonas Bonn * This gets kind of ugly. We want to return _two_ values in "get_user()"
3261e85e36SJonas Bonn * and yet we don't want to do any pointers, because that is too much
3361e85e36SJonas Bonn * of a performance impact. Thus we have a few rather ugly macros here,
3461e85e36SJonas Bonn * and hide all the uglyness from the user.
3561e85e36SJonas Bonn *
3661e85e36SJonas Bonn * The "__xxx" versions of the user access functions are versions that
3761e85e36SJonas Bonn * do not verify the address space, that must have been done previously
3861e85e36SJonas Bonn * with a separate "access_ok()" call (this is used when we do multiple
3961e85e36SJonas Bonn * accesses to the same area of user memory).
4061e85e36SJonas Bonn *
4161e85e36SJonas Bonn * As we use the same address space for kernel and user data on the
4261e85e36SJonas Bonn * PowerPC, we can just do these as direct assignments. (Of course, the
4361e85e36SJonas Bonn * exception handling means that it's no longer "just"...)
4461e85e36SJonas Bonn */
4561e85e36SJonas Bonn #define get_user(x, ptr) \
4661e85e36SJonas Bonn __get_user_check((x), (ptr), sizeof(*(ptr)))
4761e85e36SJonas Bonn #define put_user(x, ptr) \
4861e85e36SJonas Bonn __put_user_check((__typeof__(*(ptr)))(x), (ptr), sizeof(*(ptr)))
4961e85e36SJonas Bonn
5061e85e36SJonas Bonn #define __get_user(x, ptr) \
5161e85e36SJonas Bonn __get_user_nocheck((x), (ptr), sizeof(*(ptr)))
5261e85e36SJonas Bonn #define __put_user(x, ptr) \
5361e85e36SJonas Bonn __put_user_nocheck((__typeof__(*(ptr)))(x), (ptr), sizeof(*(ptr)))
5461e85e36SJonas Bonn
5561e85e36SJonas Bonn extern long __put_user_bad(void);
5661e85e36SJonas Bonn
5761e85e36SJonas Bonn #define __put_user_nocheck(x, ptr, size) \
5861e85e36SJonas Bonn ({ \
5961e85e36SJonas Bonn long __pu_err; \
6061e85e36SJonas Bonn __put_user_size((x), (ptr), (size), __pu_err); \
6161e85e36SJonas Bonn __pu_err; \
6261e85e36SJonas Bonn })
6361e85e36SJonas Bonn
6461e85e36SJonas Bonn #define __put_user_check(x, ptr, size) \
6561e85e36SJonas Bonn ({ \
6661e85e36SJonas Bonn long __pu_err = -EFAULT; \
6717fcd83cSStafford Horne __typeof__(*(ptr)) __user *__pu_addr = (ptr); \
6896d4f267SLinus Torvalds if (access_ok(__pu_addr, size)) \
6961e85e36SJonas Bonn __put_user_size((x), __pu_addr, (size), __pu_err); \
7061e85e36SJonas Bonn __pu_err; \
7161e85e36SJonas Bonn })
7261e85e36SJonas Bonn
7361e85e36SJonas Bonn #define __put_user_size(x, ptr, size, retval) \
7461e85e36SJonas Bonn do { \
7561e85e36SJonas Bonn retval = 0; \
7661e85e36SJonas Bonn switch (size) { \
7761e85e36SJonas Bonn case 1: __put_user_asm(x, ptr, retval, "l.sb"); break; \
7861e85e36SJonas Bonn case 2: __put_user_asm(x, ptr, retval, "l.sh"); break; \
7961e85e36SJonas Bonn case 4: __put_user_asm(x, ptr, retval, "l.sw"); break; \
8061e85e36SJonas Bonn case 8: __put_user_asm2(x, ptr, retval); break; \
8161e85e36SJonas Bonn default: __put_user_bad(); \
8261e85e36SJonas Bonn } \
8361e85e36SJonas Bonn } while (0)
8461e85e36SJonas Bonn
8561e85e36SJonas Bonn struct __large_struct {
8661e85e36SJonas Bonn unsigned long buf[100];
8761e85e36SJonas Bonn };
8861e85e36SJonas Bonn #define __m(x) (*(struct __large_struct *)(x))
8961e85e36SJonas Bonn
9061e85e36SJonas Bonn /*
9161e85e36SJonas Bonn * We don't tell gcc that we are accessing memory, but this is OK
9261e85e36SJonas Bonn * because we do not write to any memory gcc knows about, so there
9361e85e36SJonas Bonn * are no aliasing issues.
9461e85e36SJonas Bonn */
9561e85e36SJonas Bonn #define __put_user_asm(x, addr, err, op) \
9661e85e36SJonas Bonn __asm__ __volatile__( \
9761e85e36SJonas Bonn "1: "op" 0(%2),%1\n" \
9861e85e36SJonas Bonn "2:\n" \
9961e85e36SJonas Bonn ".section .fixup,\"ax\"\n" \
10061e85e36SJonas Bonn "3: l.addi %0,r0,%3\n" \
10161e85e36SJonas Bonn " l.j 2b\n" \
10261e85e36SJonas Bonn " l.nop\n" \
10361e85e36SJonas Bonn ".previous\n" \
10461e85e36SJonas Bonn ".section __ex_table,\"a\"\n" \
10561e85e36SJonas Bonn " .align 2\n" \
10661e85e36SJonas Bonn " .long 1b,3b\n" \
10761e85e36SJonas Bonn ".previous" \
10861e85e36SJonas Bonn : "=r"(err) \
10961e85e36SJonas Bonn : "r"(x), "r"(addr), "i"(-EFAULT), "0"(err))
11061e85e36SJonas Bonn
11161e85e36SJonas Bonn #define __put_user_asm2(x, addr, err) \
11261e85e36SJonas Bonn __asm__ __volatile__( \
11361e85e36SJonas Bonn "1: l.sw 0(%2),%1\n" \
11461e85e36SJonas Bonn "2: l.sw 4(%2),%H1\n" \
11561e85e36SJonas Bonn "3:\n" \
11661e85e36SJonas Bonn ".section .fixup,\"ax\"\n" \
11761e85e36SJonas Bonn "4: l.addi %0,r0,%3\n" \
11861e85e36SJonas Bonn " l.j 3b\n" \
11961e85e36SJonas Bonn " l.nop\n" \
12061e85e36SJonas Bonn ".previous\n" \
12161e85e36SJonas Bonn ".section __ex_table,\"a\"\n" \
12261e85e36SJonas Bonn " .align 2\n" \
12361e85e36SJonas Bonn " .long 1b,4b\n" \
12461e85e36SJonas Bonn " .long 2b,4b\n" \
12561e85e36SJonas Bonn ".previous" \
12661e85e36SJonas Bonn : "=r"(err) \
12761e85e36SJonas Bonn : "r"(x), "r"(addr), "i"(-EFAULT), "0"(err))
12861e85e36SJonas Bonn
12961e85e36SJonas Bonn #define __get_user_nocheck(x, ptr, size) \
13061e85e36SJonas Bonn ({ \
131d877322bSStafford Horne long __gu_err; \
132d877322bSStafford Horne __get_user_size((x), (ptr), (size), __gu_err); \
13361e85e36SJonas Bonn __gu_err; \
13461e85e36SJonas Bonn })
13561e85e36SJonas Bonn
13661e85e36SJonas Bonn #define __get_user_check(x, ptr, size) \
13761e85e36SJonas Bonn ({ \
138d877322bSStafford Horne long __gu_err = -EFAULT; \
13917fcd83cSStafford Horne const __typeof__(*(ptr)) __user *__gu_addr = (ptr); \
14096d4f267SLinus Torvalds if (access_ok(__gu_addr, size)) \
141d877322bSStafford Horne __get_user_size((x), __gu_addr, (size), __gu_err); \
142d877322bSStafford Horne else \
143d877322bSStafford Horne (x) = (__typeof__(*(ptr))) 0; \
14461e85e36SJonas Bonn __gu_err; \
14561e85e36SJonas Bonn })
14661e85e36SJonas Bonn
14761e85e36SJonas Bonn extern long __get_user_bad(void);
14861e85e36SJonas Bonn
14961e85e36SJonas Bonn #define __get_user_size(x, ptr, size, retval) \
15061e85e36SJonas Bonn do { \
15161e85e36SJonas Bonn retval = 0; \
15261e85e36SJonas Bonn switch (size) { \
15361e85e36SJonas Bonn case 1: __get_user_asm(x, ptr, retval, "l.lbz"); break; \
15461e85e36SJonas Bonn case 2: __get_user_asm(x, ptr, retval, "l.lhz"); break; \
15561e85e36SJonas Bonn case 4: __get_user_asm(x, ptr, retval, "l.lwz"); break; \
156154e67cdSStafford Horne case 8: __get_user_asm2(x, ptr, retval); break; \
157d877322bSStafford Horne default: (x) = (__typeof__(*(ptr)))__get_user_bad(); \
15861e85e36SJonas Bonn } \
15961e85e36SJonas Bonn } while (0)
16061e85e36SJonas Bonn
16161e85e36SJonas Bonn #define __get_user_asm(x, addr, err, op) \
162d877322bSStafford Horne { \
163d877322bSStafford Horne unsigned long __gu_tmp; \
16461e85e36SJonas Bonn __asm__ __volatile__( \
16561e85e36SJonas Bonn "1: "op" %1,0(%2)\n" \
16661e85e36SJonas Bonn "2:\n" \
16761e85e36SJonas Bonn ".section .fixup,\"ax\"\n" \
16861e85e36SJonas Bonn "3: l.addi %0,r0,%3\n" \
16961e85e36SJonas Bonn " l.addi %1,r0,0\n" \
17061e85e36SJonas Bonn " l.j 2b\n" \
17161e85e36SJonas Bonn " l.nop\n" \
17261e85e36SJonas Bonn ".previous\n" \
17361e85e36SJonas Bonn ".section __ex_table,\"a\"\n" \
17461e85e36SJonas Bonn " .align 2\n" \
17561e85e36SJonas Bonn " .long 1b,3b\n" \
17661e85e36SJonas Bonn ".previous" \
177d877322bSStafford Horne : "=r"(err), "=r"(__gu_tmp) \
178d877322bSStafford Horne : "r"(addr), "i"(-EFAULT), "0"(err)); \
179d877322bSStafford Horne (x) = (__typeof__(*(addr)))__gu_tmp; \
180d877322bSStafford Horne }
18161e85e36SJonas Bonn
18261e85e36SJonas Bonn #define __get_user_asm2(x, addr, err) \
183d877322bSStafford Horne { \
184d877322bSStafford Horne unsigned long long __gu_tmp; \
18561e85e36SJonas Bonn __asm__ __volatile__( \
18661e85e36SJonas Bonn "1: l.lwz %1,0(%2)\n" \
18761e85e36SJonas Bonn "2: l.lwz %H1,4(%2)\n" \
18861e85e36SJonas Bonn "3:\n" \
18961e85e36SJonas Bonn ".section .fixup,\"ax\"\n" \
19061e85e36SJonas Bonn "4: l.addi %0,r0,%3\n" \
19161e85e36SJonas Bonn " l.addi %1,r0,0\n" \
19261e85e36SJonas Bonn " l.addi %H1,r0,0\n" \
19361e85e36SJonas Bonn " l.j 3b\n" \
19461e85e36SJonas Bonn " l.nop\n" \
19561e85e36SJonas Bonn ".previous\n" \
19661e85e36SJonas Bonn ".section __ex_table,\"a\"\n" \
19761e85e36SJonas Bonn " .align 2\n" \
19861e85e36SJonas Bonn " .long 1b,4b\n" \
19961e85e36SJonas Bonn " .long 2b,4b\n" \
20061e85e36SJonas Bonn ".previous" \
201d877322bSStafford Horne : "=r"(err), "=&r"(__gu_tmp) \
202d877322bSStafford Horne : "r"(addr), "i"(-EFAULT), "0"(err)); \
203d877322bSStafford Horne (x) = (__typeof__(*(addr)))( \
204d877322bSStafford Horne (__typeof__((x)-(x)))__gu_tmp); \
205d877322bSStafford Horne }
20661e85e36SJonas Bonn
20761e85e36SJonas Bonn /* more complex routines */
20861e85e36SJonas Bonn
20961e85e36SJonas Bonn extern unsigned long __must_check
21061e85e36SJonas Bonn __copy_tofrom_user(void *to, const void *from, unsigned long size);
21161e85e36SJonas Bonn static inline unsigned long
raw_copy_from_user(void * to,const void __user * from,unsigned long size)212ab89866bSAl Viro raw_copy_from_user(void *to, const void __user *from, unsigned long size)
21361e85e36SJonas Bonn {
214ab89866bSAl Viro return __copy_tofrom_user(to, (__force const void *)from, size);
21561e85e36SJonas Bonn }
21661e85e36SJonas Bonn static inline unsigned long
raw_copy_to_user(void __user * to,const void * from,unsigned long size)2179e9da641SLuc Van Oostenryck raw_copy_to_user(void __user *to, const void *from, unsigned long size)
21861e85e36SJonas Bonn {
219ab89866bSAl Viro return __copy_tofrom_user((__force void *)to, from, size);
22061e85e36SJonas Bonn }
221ab89866bSAl Viro #define INLINE_COPY_FROM_USER
222ab89866bSAl Viro #define INLINE_COPY_TO_USER
22361e85e36SJonas Bonn
22417fcd83cSStafford Horne extern unsigned long __clear_user(void __user *addr, unsigned long size);
22561e85e36SJonas Bonn
22661e85e36SJonas Bonn static inline __must_check unsigned long
clear_user(void __user * addr,unsigned long size)22717fcd83cSStafford Horne clear_user(void __user *addr, unsigned long size)
22861e85e36SJonas Bonn {
22996d4f267SLinus Torvalds if (likely(access_ok(addr, size)))
230acb2505dSAl Viro size = __clear_user(addr, size);
23161e85e36SJonas Bonn return size;
23261e85e36SJonas Bonn }
23361e85e36SJonas Bonn
234603d6637SJonas Bonn extern long strncpy_from_user(char *dest, const char __user *src, long count);
23561e85e36SJonas Bonn
236b48b2c3eSJonas Bonn extern __must_check long strnlen_user(const char __user *str, long n);
23761e85e36SJonas Bonn
23861e85e36SJonas Bonn #endif /* __ASM_OPENRISC_UACCESS_H */
239