110d565efSmrg //===-- asan_fake_stack.cc ------------------------------------------------===//
210d565efSmrg //
310d565efSmrg // This file is distributed under the University of Illinois Open Source
410d565efSmrg // License. See LICENSE.TXT for details.
510d565efSmrg //
610d565efSmrg //===----------------------------------------------------------------------===//
710d565efSmrg //
810d565efSmrg // This file is a part of AddressSanitizer, an address sanity checker.
910d565efSmrg //
1010d565efSmrg // FakeStack is used to detect use-after-return bugs.
1110d565efSmrg //===----------------------------------------------------------------------===//
1210d565efSmrg 
1310d565efSmrg #include "asan_allocator.h"
1410d565efSmrg #include "asan_poisoning.h"
1510d565efSmrg #include "asan_thread.h"
1610d565efSmrg 
1710d565efSmrg namespace __asan {
1810d565efSmrg 
1910d565efSmrg static const u64 kMagic1 = kAsanStackAfterReturnMagic;
2010d565efSmrg static const u64 kMagic2 = (kMagic1 << 8) | kMagic1;
2110d565efSmrg static const u64 kMagic4 = (kMagic2 << 16) | kMagic2;
2210d565efSmrg static const u64 kMagic8 = (kMagic4 << 32) | kMagic4;
2310d565efSmrg 
2410d565efSmrg static const u64 kAllocaRedzoneSize = 32UL;
2510d565efSmrg static const u64 kAllocaRedzoneMask = 31UL;
2610d565efSmrg 
2710d565efSmrg // For small size classes inline PoisonShadow for better performance.
SetShadow(uptr ptr,uptr size,uptr class_id,u64 magic)2810d565efSmrg ALWAYS_INLINE void SetShadow(uptr ptr, uptr size, uptr class_id, u64 magic) {
2910d565efSmrg   u64 *shadow = reinterpret_cast<u64*>(MemToShadow(ptr));
30*0fc04c29Smrg   if (SHADOW_SCALE == 3 && class_id <= 6) {
31*0fc04c29Smrg     // This code expects SHADOW_SCALE=3.
3210d565efSmrg     for (uptr i = 0; i < (((uptr)1) << class_id); i++) {
3310d565efSmrg       shadow[i] = magic;
3410d565efSmrg       // Make sure this does not become memset.
3510d565efSmrg       SanitizerBreakOptimization(nullptr);
3610d565efSmrg     }
3710d565efSmrg   } else {
3810d565efSmrg     // The size class is too big, it's cheaper to poison only size bytes.
3910d565efSmrg     PoisonShadow(ptr, size, static_cast<u8>(magic));
4010d565efSmrg   }
4110d565efSmrg }
4210d565efSmrg 
Create(uptr stack_size_log)4310d565efSmrg FakeStack *FakeStack::Create(uptr stack_size_log) {
4410d565efSmrg   static uptr kMinStackSizeLog = 16;
4510d565efSmrg   static uptr kMaxStackSizeLog = FIRST_32_SECOND_64(24, 28);
4610d565efSmrg   if (stack_size_log < kMinStackSizeLog)
4710d565efSmrg     stack_size_log = kMinStackSizeLog;
4810d565efSmrg   if (stack_size_log > kMaxStackSizeLog)
4910d565efSmrg     stack_size_log = kMaxStackSizeLog;
5010d565efSmrg   uptr size = RequiredSize(stack_size_log);
5110d565efSmrg   FakeStack *res = reinterpret_cast<FakeStack *>(
5210d565efSmrg       flags()->uar_noreserve ? MmapNoReserveOrDie(size, "FakeStack")
5310d565efSmrg                              : MmapOrDie(size, "FakeStack"));
5410d565efSmrg   res->stack_size_log_ = stack_size_log;
5510d565efSmrg   u8 *p = reinterpret_cast<u8 *>(res);
5610d565efSmrg   VReport(1, "T%d: FakeStack created: %p -- %p stack_size_log: %zd; "
5710d565efSmrg           "mmapped %zdK, noreserve=%d \n",
5810d565efSmrg           GetCurrentTidOrInvalid(), p,
5910d565efSmrg           p + FakeStack::RequiredSize(stack_size_log), stack_size_log,
6010d565efSmrg           size >> 10, flags()->uar_noreserve);
6110d565efSmrg   return res;
6210d565efSmrg }
6310d565efSmrg 
Destroy(int tid)6410d565efSmrg void FakeStack::Destroy(int tid) {
6510d565efSmrg   PoisonAll(0);
6610d565efSmrg   if (Verbosity() >= 2) {
6710d565efSmrg     InternalScopedString str(kNumberOfSizeClasses * 50);
6810d565efSmrg     for (uptr class_id = 0; class_id < kNumberOfSizeClasses; class_id++)
6910d565efSmrg       str.append("%zd: %zd/%zd; ", class_id, hint_position_[class_id],
7010d565efSmrg                  NumberOfFrames(stack_size_log(), class_id));
7110d565efSmrg     Report("T%d: FakeStack destroyed: %s\n", tid, str.data());
7210d565efSmrg   }
7310d565efSmrg   uptr size = RequiredSize(stack_size_log_);
7410d565efSmrg   FlushUnneededASanShadowMemory(reinterpret_cast<uptr>(this), size);
7510d565efSmrg   UnmapOrDie(this, size);
7610d565efSmrg }
7710d565efSmrg 
PoisonAll(u8 magic)7810d565efSmrg void FakeStack::PoisonAll(u8 magic) {
7910d565efSmrg   PoisonShadow(reinterpret_cast<uptr>(this), RequiredSize(stack_size_log()),
8010d565efSmrg                magic);
8110d565efSmrg }
8210d565efSmrg 
8310d565efSmrg #if !defined(_MSC_VER) || defined(__clang__)
8410d565efSmrg ALWAYS_INLINE USED
8510d565efSmrg #endif
Allocate(uptr stack_size_log,uptr class_id,uptr real_stack)8610d565efSmrg FakeFrame *FakeStack::Allocate(uptr stack_size_log, uptr class_id,
8710d565efSmrg                                uptr real_stack) {
8810d565efSmrg   CHECK_LT(class_id, kNumberOfSizeClasses);
8910d565efSmrg   if (needs_gc_)
9010d565efSmrg     GC(real_stack);
9110d565efSmrg   uptr &hint_position = hint_position_[class_id];
9210d565efSmrg   const int num_iter = NumberOfFrames(stack_size_log, class_id);
9310d565efSmrg   u8 *flags = GetFlags(stack_size_log, class_id);
9410d565efSmrg   for (int i = 0; i < num_iter; i++) {
9510d565efSmrg     uptr pos = ModuloNumberOfFrames(stack_size_log, class_id, hint_position++);
9610d565efSmrg     // This part is tricky. On one hand, checking and setting flags[pos]
9710d565efSmrg     // should be atomic to ensure async-signal safety. But on the other hand,
9810d565efSmrg     // if the signal arrives between checking and setting flags[pos], the
9910d565efSmrg     // signal handler's fake stack will start from a different hint_position
10010d565efSmrg     // and so will not touch this particular byte. So, it is safe to do this
10110d565efSmrg     // with regular non-atomic load and store (at least I was not able to make
10210d565efSmrg     // this code crash).
10310d565efSmrg     if (flags[pos]) continue;
10410d565efSmrg     flags[pos] = 1;
10510d565efSmrg     FakeFrame *res = reinterpret_cast<FakeFrame *>(
10610d565efSmrg         GetFrame(stack_size_log, class_id, pos));
10710d565efSmrg     res->real_stack = real_stack;
10810d565efSmrg     *SavedFlagPtr(reinterpret_cast<uptr>(res), class_id) = &flags[pos];
10910d565efSmrg     return res;
11010d565efSmrg   }
11110d565efSmrg   return nullptr; // We are out of fake stack.
11210d565efSmrg }
11310d565efSmrg 
AddrIsInFakeStack(uptr ptr,uptr * frame_beg,uptr * frame_end)11410d565efSmrg uptr FakeStack::AddrIsInFakeStack(uptr ptr, uptr *frame_beg, uptr *frame_end) {
11510d565efSmrg   uptr stack_size_log = this->stack_size_log();
11610d565efSmrg   uptr beg = reinterpret_cast<uptr>(GetFrame(stack_size_log, 0, 0));
11710d565efSmrg   uptr end = reinterpret_cast<uptr>(this) + RequiredSize(stack_size_log);
11810d565efSmrg   if (ptr < beg || ptr >= end) return 0;
11910d565efSmrg   uptr class_id = (ptr - beg) >> stack_size_log;
12010d565efSmrg   uptr base = beg + (class_id << stack_size_log);
12110d565efSmrg   CHECK_LE(base, ptr);
12210d565efSmrg   CHECK_LT(ptr, base + (((uptr)1) << stack_size_log));
12310d565efSmrg   uptr pos = (ptr - base) >> (kMinStackFrameSizeLog + class_id);
12410d565efSmrg   uptr res = base + pos * BytesInSizeClass(class_id);
12510d565efSmrg   *frame_end = res + BytesInSizeClass(class_id);
12610d565efSmrg   *frame_beg = res + sizeof(FakeFrame);
12710d565efSmrg   return res;
12810d565efSmrg }
12910d565efSmrg 
HandleNoReturn()13010d565efSmrg void FakeStack::HandleNoReturn() {
13110d565efSmrg   needs_gc_ = true;
13210d565efSmrg }
13310d565efSmrg 
13410d565efSmrg // When throw, longjmp or some such happens we don't call OnFree() and
13510d565efSmrg // as the result may leak one or more fake frames, but the good news is that
13610d565efSmrg // we are notified about all such events by HandleNoReturn().
13710d565efSmrg // If we recently had such no-return event we need to collect garbage frames.
13810d565efSmrg // We do it based on their 'real_stack' values -- everything that is lower
13910d565efSmrg // than the current real_stack is garbage.
GC(uptr real_stack)14010d565efSmrg NOINLINE void FakeStack::GC(uptr real_stack) {
14110d565efSmrg   uptr collected = 0;
14210d565efSmrg   for (uptr class_id = 0; class_id < kNumberOfSizeClasses; class_id++) {
14310d565efSmrg     u8 *flags = GetFlags(stack_size_log(), class_id);
14410d565efSmrg     for (uptr i = 0, n = NumberOfFrames(stack_size_log(), class_id); i < n;
14510d565efSmrg          i++) {
14610d565efSmrg       if (flags[i] == 0) continue;  // not allocated.
14710d565efSmrg       FakeFrame *ff = reinterpret_cast<FakeFrame *>(
14810d565efSmrg           GetFrame(stack_size_log(), class_id, i));
14910d565efSmrg       if (ff->real_stack < real_stack) {
15010d565efSmrg         flags[i] = 0;
15110d565efSmrg         collected++;
15210d565efSmrg       }
15310d565efSmrg     }
15410d565efSmrg   }
15510d565efSmrg   needs_gc_ = false;
15610d565efSmrg }
15710d565efSmrg 
ForEachFakeFrame(RangeIteratorCallback callback,void * arg)15810d565efSmrg void FakeStack::ForEachFakeFrame(RangeIteratorCallback callback, void *arg) {
15910d565efSmrg   for (uptr class_id = 0; class_id < kNumberOfSizeClasses; class_id++) {
16010d565efSmrg     u8 *flags = GetFlags(stack_size_log(), class_id);
16110d565efSmrg     for (uptr i = 0, n = NumberOfFrames(stack_size_log(), class_id); i < n;
16210d565efSmrg          i++) {
16310d565efSmrg       if (flags[i] == 0) continue;  // not allocated.
16410d565efSmrg       FakeFrame *ff = reinterpret_cast<FakeFrame *>(
16510d565efSmrg           GetFrame(stack_size_log(), class_id, i));
16610d565efSmrg       uptr begin = reinterpret_cast<uptr>(ff);
16710d565efSmrg       callback(begin, begin + FakeStack::BytesInSizeClass(class_id), arg);
16810d565efSmrg     }
16910d565efSmrg   }
17010d565efSmrg }
17110d565efSmrg 
172c7a68eb7Smrg #if (SANITIZER_LINUX && !SANITIZER_ANDROID) || SANITIZER_FUCHSIA
17310d565efSmrg static THREADLOCAL FakeStack *fake_stack_tls;
17410d565efSmrg 
GetTLSFakeStack()17510d565efSmrg FakeStack *GetTLSFakeStack() {
17610d565efSmrg   return fake_stack_tls;
17710d565efSmrg }
SetTLSFakeStack(FakeStack * fs)17810d565efSmrg void SetTLSFakeStack(FakeStack *fs) {
17910d565efSmrg   fake_stack_tls = fs;
18010d565efSmrg }
18110d565efSmrg #else
GetTLSFakeStack()18210d565efSmrg FakeStack *GetTLSFakeStack() { return 0; }
SetTLSFakeStack(FakeStack * fs)18310d565efSmrg void SetTLSFakeStack(FakeStack *fs) { }
184c7a68eb7Smrg #endif  // (SANITIZER_LINUX && !SANITIZER_ANDROID) || SANITIZER_FUCHSIA
18510d565efSmrg 
GetFakeStack()18610d565efSmrg static FakeStack *GetFakeStack() {
18710d565efSmrg   AsanThread *t = GetCurrentThread();
18810d565efSmrg   if (!t) return nullptr;
18910d565efSmrg   return t->fake_stack();
19010d565efSmrg }
19110d565efSmrg 
GetFakeStackFast()19210d565efSmrg static FakeStack *GetFakeStackFast() {
19310d565efSmrg   if (FakeStack *fs = GetTLSFakeStack())
19410d565efSmrg     return fs;
19510d565efSmrg   if (!__asan_option_detect_stack_use_after_return)
19610d565efSmrg     return nullptr;
19710d565efSmrg   return GetFakeStack();
19810d565efSmrg }
19910d565efSmrg 
OnMalloc(uptr class_id,uptr size)20010d565efSmrg ALWAYS_INLINE uptr OnMalloc(uptr class_id, uptr size) {
20110d565efSmrg   FakeStack *fs = GetFakeStackFast();
20210d565efSmrg   if (!fs) return 0;
20310d565efSmrg   uptr local_stack;
20410d565efSmrg   uptr real_stack = reinterpret_cast<uptr>(&local_stack);
20510d565efSmrg   FakeFrame *ff = fs->Allocate(fs->stack_size_log(), class_id, real_stack);
20610d565efSmrg   if (!ff) return 0;  // Out of fake stack.
20710d565efSmrg   uptr ptr = reinterpret_cast<uptr>(ff);
20810d565efSmrg   SetShadow(ptr, size, class_id, 0);
20910d565efSmrg   return ptr;
21010d565efSmrg }
21110d565efSmrg 
OnFree(uptr ptr,uptr class_id,uptr size)21210d565efSmrg ALWAYS_INLINE void OnFree(uptr ptr, uptr class_id, uptr size) {
21310d565efSmrg   FakeStack::Deallocate(ptr, class_id);
21410d565efSmrg   SetShadow(ptr, size, class_id, kMagic8);
21510d565efSmrg }
21610d565efSmrg 
21710d565efSmrg } // namespace __asan
21810d565efSmrg 
21910d565efSmrg // ---------------------- Interface ---------------- {{{1
22010d565efSmrg using namespace __asan;
22110d565efSmrg #define DEFINE_STACK_MALLOC_FREE_WITH_CLASS_ID(class_id)                       \
22210d565efSmrg   extern "C" SANITIZER_INTERFACE_ATTRIBUTE uptr                                \
22310d565efSmrg       __asan_stack_malloc_##class_id(uptr size) {                              \
22410d565efSmrg     return OnMalloc(class_id, size);                                           \
22510d565efSmrg   }                                                                            \
22610d565efSmrg   extern "C" SANITIZER_INTERFACE_ATTRIBUTE void __asan_stack_free_##class_id(  \
22710d565efSmrg       uptr ptr, uptr size) {                                                   \
22810d565efSmrg     OnFree(ptr, class_id, size);                                               \
22910d565efSmrg   }
23010d565efSmrg 
23110d565efSmrg DEFINE_STACK_MALLOC_FREE_WITH_CLASS_ID(0)
23210d565efSmrg DEFINE_STACK_MALLOC_FREE_WITH_CLASS_ID(1)
23310d565efSmrg DEFINE_STACK_MALLOC_FREE_WITH_CLASS_ID(2)
23410d565efSmrg DEFINE_STACK_MALLOC_FREE_WITH_CLASS_ID(3)
23510d565efSmrg DEFINE_STACK_MALLOC_FREE_WITH_CLASS_ID(4)
23610d565efSmrg DEFINE_STACK_MALLOC_FREE_WITH_CLASS_ID(5)
23710d565efSmrg DEFINE_STACK_MALLOC_FREE_WITH_CLASS_ID(6)
23810d565efSmrg DEFINE_STACK_MALLOC_FREE_WITH_CLASS_ID(7)
23910d565efSmrg DEFINE_STACK_MALLOC_FREE_WITH_CLASS_ID(8)
24010d565efSmrg DEFINE_STACK_MALLOC_FREE_WITH_CLASS_ID(9)
24110d565efSmrg DEFINE_STACK_MALLOC_FREE_WITH_CLASS_ID(10)
24210d565efSmrg extern "C" {
24310d565efSmrg SANITIZER_INTERFACE_ATTRIBUTE
__asan_get_current_fake_stack()24410d565efSmrg void *__asan_get_current_fake_stack() { return GetFakeStackFast(); }
24510d565efSmrg 
24610d565efSmrg SANITIZER_INTERFACE_ATTRIBUTE
__asan_addr_is_in_fake_stack(void * fake_stack,void * addr,void ** beg,void ** end)24710d565efSmrg void *__asan_addr_is_in_fake_stack(void *fake_stack, void *addr, void **beg,
24810d565efSmrg                                    void **end) {
24910d565efSmrg   FakeStack *fs = reinterpret_cast<FakeStack*>(fake_stack);
25010d565efSmrg   if (!fs) return nullptr;
25110d565efSmrg   uptr frame_beg, frame_end;
25210d565efSmrg   FakeFrame *frame = reinterpret_cast<FakeFrame *>(fs->AddrIsInFakeStack(
25310d565efSmrg       reinterpret_cast<uptr>(addr), &frame_beg, &frame_end));
25410d565efSmrg   if (!frame) return nullptr;
25510d565efSmrg   if (frame->magic != kCurrentStackFrameMagic)
25610d565efSmrg     return nullptr;
25710d565efSmrg   if (beg) *beg = reinterpret_cast<void*>(frame_beg);
25810d565efSmrg   if (end) *end = reinterpret_cast<void*>(frame_end);
25910d565efSmrg   return reinterpret_cast<void*>(frame->real_stack);
26010d565efSmrg }
26110d565efSmrg 
26210d565efSmrg SANITIZER_INTERFACE_ATTRIBUTE
__asan_alloca_poison(uptr addr,uptr size)26310d565efSmrg void __asan_alloca_poison(uptr addr, uptr size) {
26410d565efSmrg   uptr LeftRedzoneAddr = addr - kAllocaRedzoneSize;
26510d565efSmrg   uptr PartialRzAddr = addr + size;
26610d565efSmrg   uptr RightRzAddr = (PartialRzAddr + kAllocaRedzoneMask) & ~kAllocaRedzoneMask;
26710d565efSmrg   uptr PartialRzAligned = PartialRzAddr & ~(SHADOW_GRANULARITY - 1);
26810d565efSmrg   FastPoisonShadow(LeftRedzoneAddr, kAllocaRedzoneSize, kAsanAllocaLeftMagic);
26910d565efSmrg   FastPoisonShadowPartialRightRedzone(
27010d565efSmrg       PartialRzAligned, PartialRzAddr % SHADOW_GRANULARITY,
27110d565efSmrg       RightRzAddr - PartialRzAligned, kAsanAllocaRightMagic);
27210d565efSmrg   FastPoisonShadow(RightRzAddr, kAllocaRedzoneSize, kAsanAllocaRightMagic);
27310d565efSmrg }
27410d565efSmrg 
27510d565efSmrg SANITIZER_INTERFACE_ATTRIBUTE
__asan_allocas_unpoison(uptr top,uptr bottom)27610d565efSmrg void __asan_allocas_unpoison(uptr top, uptr bottom) {
27710d565efSmrg   if ((!top) || (top > bottom)) return;
27810d565efSmrg   REAL(memset)(reinterpret_cast<void*>(MemToShadow(top)), 0,
27910d565efSmrg                (bottom - top) / SHADOW_GRANULARITY);
28010d565efSmrg }
28110d565efSmrg } // extern "C"
282