1 /*
2 * Copyright (c) 2016, Alliance for Open Media. All rights reserved
3 *
4 * This source code is subject to the terms of the BSD 2 Clause License and
5 * the Alliance for Open Media Patent License 1.0. If the BSD 2 Clause License
6 * was not distributed with this source code in the LICENSE file, you can
7 * obtain it at www.aomedia.org/license/software. If the Alliance for Open
8 * Media Patent License 1.0 was not distributed with this source code in the
9 * PATENTS file, you can obtain it at www.aomedia.org/license/patent.
10 */
11
12 #include <arm_neon.h>
13
14 #include "./aom_dsp_rtcd.h"
15 #include "./aom_config.h"
16 #include "aom/aom_integer.h"
17
loop_filter_neon_16(uint8x16_t qblimit,uint8x16_t qlimit,uint8x16_t qthresh,uint8x16_t q3,uint8x16_t q4,uint8x16_t q5,uint8x16_t q6,uint8x16_t q7,uint8x16_t q8,uint8x16_t q9,uint8x16_t q10,uint8x16_t * q5r,uint8x16_t * q6r,uint8x16_t * q7r,uint8x16_t * q8r)18 static INLINE void loop_filter_neon_16(uint8x16_t qblimit, // blimit
19 uint8x16_t qlimit, // limit
20 uint8x16_t qthresh, // thresh
21 uint8x16_t q3, // p3
22 uint8x16_t q4, // p2
23 uint8x16_t q5, // p1
24 uint8x16_t q6, // p0
25 uint8x16_t q7, // q0
26 uint8x16_t q8, // q1
27 uint8x16_t q9, // q2
28 uint8x16_t q10, // q3
29 uint8x16_t *q5r, // p1
30 uint8x16_t *q6r, // p0
31 uint8x16_t *q7r, // q0
32 uint8x16_t *q8r) { // q1
33 uint8x16_t q1u8, q2u8, q11u8, q12u8, q13u8, q14u8, q15u8;
34 int16x8_t q2s16, q11s16;
35 uint16x8_t q4u16;
36 int8x16_t q0s8, q1s8, q2s8, q11s8, q12s8, q13s8;
37 int8x8_t d2s8, d3s8;
38
39 q11u8 = vabdq_u8(q3, q4);
40 q12u8 = vabdq_u8(q4, q5);
41 q13u8 = vabdq_u8(q5, q6);
42 q14u8 = vabdq_u8(q8, q7);
43 q3 = vabdq_u8(q9, q8);
44 q4 = vabdq_u8(q10, q9);
45
46 q11u8 = vmaxq_u8(q11u8, q12u8);
47 q12u8 = vmaxq_u8(q13u8, q14u8);
48 q3 = vmaxq_u8(q3, q4);
49 q15u8 = vmaxq_u8(q11u8, q12u8);
50
51 q9 = vabdq_u8(q6, q7);
52
53 // aom_hevmask
54 q13u8 = vcgtq_u8(q13u8, qthresh);
55 q14u8 = vcgtq_u8(q14u8, qthresh);
56 q15u8 = vmaxq_u8(q15u8, q3);
57
58 q2u8 = vabdq_u8(q5, q8);
59 q9 = vqaddq_u8(q9, q9);
60
61 q15u8 = vcgeq_u8(qlimit, q15u8);
62
63 // aom_filter() function
64 // convert to signed
65 q10 = vdupq_n_u8(0x80);
66 q8 = veorq_u8(q8, q10);
67 q7 = veorq_u8(q7, q10);
68 q6 = veorq_u8(q6, q10);
69 q5 = veorq_u8(q5, q10);
70
71 q2u8 = vshrq_n_u8(q2u8, 1);
72 q9 = vqaddq_u8(q9, q2u8);
73
74 q2s16 = vsubl_s8(vget_low_s8(vreinterpretq_s8_u8(q7)),
75 vget_low_s8(vreinterpretq_s8_u8(q6)));
76 q11s16 = vsubl_s8(vget_high_s8(vreinterpretq_s8_u8(q7)),
77 vget_high_s8(vreinterpretq_s8_u8(q6)));
78
79 q9 = vcgeq_u8(qblimit, q9);
80
81 q1s8 = vqsubq_s8(vreinterpretq_s8_u8(q5), vreinterpretq_s8_u8(q8));
82
83 q14u8 = vorrq_u8(q13u8, q14u8);
84
85 q4u16 = vdupq_n_u16(3);
86 q2s16 = vmulq_s16(q2s16, vreinterpretq_s16_u16(q4u16));
87 q11s16 = vmulq_s16(q11s16, vreinterpretq_s16_u16(q4u16));
88
89 q1u8 = vandq_u8(vreinterpretq_u8_s8(q1s8), q14u8);
90 q15u8 = vandq_u8(q15u8, q9);
91
92 q1s8 = vreinterpretq_s8_u8(q1u8);
93 q2s16 = vaddw_s8(q2s16, vget_low_s8(q1s8));
94 q11s16 = vaddw_s8(q11s16, vget_high_s8(q1s8));
95
96 q4 = vdupq_n_u8(3);
97 q9 = vdupq_n_u8(4);
98 // aom_filter = clamp(aom_filter + 3 * ( qs0 - ps0))
99 d2s8 = vqmovn_s16(q2s16);
100 d3s8 = vqmovn_s16(q11s16);
101 q1s8 = vcombine_s8(d2s8, d3s8);
102 q1u8 = vandq_u8(vreinterpretq_u8_s8(q1s8), q15u8);
103 q1s8 = vreinterpretq_s8_u8(q1u8);
104
105 q2s8 = vqaddq_s8(q1s8, vreinterpretq_s8_u8(q4));
106 q1s8 = vqaddq_s8(q1s8, vreinterpretq_s8_u8(q9));
107 q2s8 = vshrq_n_s8(q2s8, 3);
108 q1s8 = vshrq_n_s8(q1s8, 3);
109
110 q11s8 = vqaddq_s8(vreinterpretq_s8_u8(q6), q2s8);
111 q0s8 = vqsubq_s8(vreinterpretq_s8_u8(q7), q1s8);
112
113 q1s8 = vrshrq_n_s8(q1s8, 1);
114 q1s8 = vbicq_s8(q1s8, vreinterpretq_s8_u8(q14u8));
115
116 q13s8 = vqaddq_s8(vreinterpretq_s8_u8(q5), q1s8);
117 q12s8 = vqsubq_s8(vreinterpretq_s8_u8(q8), q1s8);
118
119 *q8r = veorq_u8(vreinterpretq_u8_s8(q12s8), q10);
120 *q7r = veorq_u8(vreinterpretq_u8_s8(q0s8), q10);
121 *q6r = veorq_u8(vreinterpretq_u8_s8(q11s8), q10);
122 *q5r = veorq_u8(vreinterpretq_u8_s8(q13s8), q10);
123 return;
124 }
125
aom_lpf_horizontal_4_dual_neon(uint8_t * s,int p,const uint8_t * blimit0,const uint8_t * limit0,const uint8_t * thresh0,const uint8_t * blimit1,const uint8_t * limit1,const uint8_t * thresh1)126 void aom_lpf_horizontal_4_dual_neon(
127 uint8_t *s, int p /* pitch */, const uint8_t *blimit0,
128 const uint8_t *limit0, const uint8_t *thresh0, const uint8_t *blimit1,
129 const uint8_t *limit1, const uint8_t *thresh1) {
130 uint8x8_t dblimit0, dlimit0, dthresh0, dblimit1, dlimit1, dthresh1;
131 uint8x16_t qblimit, qlimit, qthresh;
132 uint8x16_t q3u8, q4u8, q5u8, q6u8, q7u8, q8u8, q9u8, q10u8;
133
134 dblimit0 = vld1_u8(blimit0);
135 dlimit0 = vld1_u8(limit0);
136 dthresh0 = vld1_u8(thresh0);
137 dblimit1 = vld1_u8(blimit1);
138 dlimit1 = vld1_u8(limit1);
139 dthresh1 = vld1_u8(thresh1);
140 qblimit = vcombine_u8(dblimit0, dblimit1);
141 qlimit = vcombine_u8(dlimit0, dlimit1);
142 qthresh = vcombine_u8(dthresh0, dthresh1);
143
144 s -= (p << 2);
145
146 q3u8 = vld1q_u8(s);
147 s += p;
148 q4u8 = vld1q_u8(s);
149 s += p;
150 q5u8 = vld1q_u8(s);
151 s += p;
152 q6u8 = vld1q_u8(s);
153 s += p;
154 q7u8 = vld1q_u8(s);
155 s += p;
156 q8u8 = vld1q_u8(s);
157 s += p;
158 q9u8 = vld1q_u8(s);
159 s += p;
160 q10u8 = vld1q_u8(s);
161
162 loop_filter_neon_16(qblimit, qlimit, qthresh, q3u8, q4u8, q5u8, q6u8, q7u8,
163 q8u8, q9u8, q10u8, &q5u8, &q6u8, &q7u8, &q8u8);
164
165 s -= (p * 5);
166 vst1q_u8(s, q5u8);
167 s += p;
168 vst1q_u8(s, q6u8);
169 s += p;
170 vst1q_u8(s, q7u8);
171 s += p;
172 vst1q_u8(s, q8u8);
173 return;
174 }
175