1; RUN: opt -mtriple=arm-arm-eabi -mcpu=cortex-m33 < %s -arm-parallel-dsp -S | FileCheck %s 2; 3; The Cortex-M0 does not support unaligned accesses: 4; RUN: opt -mtriple=arm-arm-eabi -mcpu=cortex-m0 < %s -arm-parallel-dsp -S | FileCheck %s --check-prefix=CHECK-UNSUPPORTED 5; 6; Check DSP extension: 7; RUN: opt -mtriple=arm-arm-eabi -mcpu=cortex-m33 -mattr=-dsp < %s -arm-parallel-dsp -S | FileCheck %s --check-prefix=CHECK-UNSUPPORTED 8 9define dso_local i64 @OneReduction(i32 %arg, i32* nocapture readnone %arg1, i16* nocapture readonly %arg2, i16* nocapture readonly %arg3) { 10; 11; CHECK-LABEL: @OneReduction 12; CHECK: %mac1{{\.}}026 = phi i64 [ [[V8:%[0-9]+]], %for.body ], [ 0, %for.body.preheader ] 13; CHECK: [[V6:%[0-9]+]] = bitcast i16* %arrayidx to i32* 14; CHECK: [[V7:%[0-9]+]] = load i32, i32* [[V6]], align 2 15; CHECK: [[V4:%[0-9]+]] = bitcast i16* %arrayidx3 to i32* 16; CHECK: [[V5:%[0-9]+]] = load i32, i32* [[V4]], align 2 17; CHECK: [[V8]] = call i64 @llvm.arm.smlald(i32 [[V5]], i32 [[V7]], i64 %mac1{{\.}}026) 18; CHECK-NOT: call i64 @llvm.arm.smlald 19; 20; CHECK-UNSUPPORTED-NOT: call i64 @llvm.arm.smlald 21; 22entry: 23 %cmp24 = icmp sgt i32 %arg, 0 24 br i1 %cmp24, label %for.body.preheader, label %for.cond.cleanup 25 26for.body.preheader: 27 %.pre = load i16, i16* %arg3, align 2 28 %.pre27 = load i16, i16* %arg2, align 2 29 br label %for.body 30 31for.cond.cleanup: 32 %mac1.0.lcssa = phi i64 [ 0, %entry ], [ %add11, %for.body ] 33 ret i64 %mac1.0.lcssa 34 35for.body: 36; One reduction statement here: 37 %mac1.026 = phi i64 [ %add11, %for.body ], [ 0, %for.body.preheader ] 38 39 %i.025 = phi i32 [ %add, %for.body ], [ 0, %for.body.preheader ] 40 %arrayidx = getelementptr inbounds i16, i16* %arg3, i32 %i.025 41 %0 = load i16, i16* %arrayidx, align 2 42 %add = add nuw nsw i32 %i.025, 1 43 %arrayidx1 = getelementptr inbounds i16, i16* %arg3, i32 %add 44 %1 = load i16, i16* %arrayidx1, align 2 45 %arrayidx3 = getelementptr inbounds i16, i16* %arg2, i32 %i.025 46 %2 = load i16, i16* %arrayidx3, align 2 47 %conv = sext i16 %2 to i32 48 %conv4 = sext i16 %0 to i32 49 %mul = mul nsw i32 %conv, %conv4 50 %sext0 = sext i32 %mul to i64 51 %arrayidx6 = getelementptr inbounds i16, i16* %arg2, i32 %add 52 %3 = load i16, i16* %arrayidx6, align 2 53 %conv7 = sext i16 %3 to i32 54 %conv8 = sext i16 %1 to i32 55 %mul9 = mul nsw i32 %conv7, %conv8 56 %sext1 = sext i32 %mul9 to i64 57 %add10 = add i64 %sext0, %mac1.026 58 59; Here the Mul is the LHS, and the Add the RHS. 60 %add11 = add i64 %sext1, %add10 61 62 %exitcond = icmp ne i32 %add, %arg 63 br i1 %exitcond, label %for.body, label %for.cond.cleanup 64} 65 66define dso_local arm_aapcs_vfpcc i64 @TwoReductions(i32 %arg, i32* nocapture readnone %arg1, i16* nocapture readonly %arg2, i16* nocapture readonly %arg3) { 67; 68; CHECK-LABEL: @TwoReductions 69; 70; CHECK: %mac1{{\.}}058 = phi i64 [ [[V10:%[0-9]+]], %for.body ], [ 0, %for.body.preheader ] 71; CHECK: %mac2{{\.}}057 = phi i64 [ [[V17:%[0-9]+]], %for.body ], [ 0, %for.body.preheader ] 72; CHECK: [[V10]] = call i64 @llvm.arm.smlald(i32 %{{.*}}, i32 %{{.*}}, i64 %mac1{{\.}}058) 73; CHECK: [[V17]] = call i64 @llvm.arm.smlald(i32 %{{.*}}, i32 %{{.*}}, i64 %mac2{{\.}}057) 74; CHECK-NOT: call i64 @llvm.arm.smlald 75; 76entry: 77 %cmp55 = icmp sgt i32 %arg, 0 78 br i1 %cmp55, label %for.body.preheader, label %for.cond.cleanup 79 80for.cond.cleanup: 81 %mac2.0.lcssa = phi i64 [ 0, %entry ], [ %add28, %for.body ] 82 %mac1.0.lcssa = phi i64 [ 0, %entry ], [ %add16, %for.body ] 83 %add30 = add nsw i64 %mac1.0.lcssa, %mac2.0.lcssa 84 ret i64 %add30 85 86for.body.preheader: 87 br label %for.body 88 89for.body: 90; And two reduction statements here: 91 %mac1.058 = phi i64 [ %add16, %for.body ], [ 0, %for.body.preheader ] 92 %mac2.057 = phi i64 [ %add28, %for.body ], [ 0, %for.body.preheader ] 93 94 %i.056 = phi i32 [ %add29, %for.body ], [ 0, %for.body.preheader ] 95 %arrayidx = getelementptr inbounds i16, i16* %arg3, i32 %i.056 96 %0 = load i16, i16* %arrayidx, align 2 97 %add1 = or i32 %i.056, 1 98 %arrayidx2 = getelementptr inbounds i16, i16* %arg3, i32 %add1 99 %1 = load i16, i16* %arrayidx2, align 2 100 %add3 = or i32 %i.056, 2 101 %arrayidx4 = getelementptr inbounds i16, i16* %arg3, i32 %add3 102 %2 = load i16, i16* %arrayidx4, align 2 103 104 %add5 = or i32 %i.056, 3 105 %arrayidx6 = getelementptr inbounds i16, i16* %arg3, i32 %add5 106 %3 = load i16, i16* %arrayidx6, align 2 107 %arrayidx8 = getelementptr inbounds i16, i16* %arg2, i32 %i.056 108 %4 = load i16, i16* %arrayidx8, align 2 109 %conv = sext i16 %4 to i32 110 %conv9 = sext i16 %0 to i32 111 %mul = mul nsw i32 %conv, %conv9 112 %sext0 = sext i32 %mul to i64 113 %arrayidx11 = getelementptr inbounds i16, i16* %arg2, i32 %add1 114 %5 = load i16, i16* %arrayidx11, align 2 115 %conv12 = sext i16 %5 to i32 116 %conv13 = sext i16 %1 to i32 117 %mul14 = mul nsw i32 %conv12, %conv13 118 %sext1 = sext i32 %mul14 to i64 119 %add15 = add i64 %sext0, %mac1.058 120 %add16 = add i64 %add15, %sext1 121 %arrayidx18 = getelementptr inbounds i16, i16* %arg2, i32 %add3 122 %6 = load i16, i16* %arrayidx18, align 2 123 %conv19 = sext i16 %6 to i32 124 %conv20 = sext i16 %2 to i32 125 %mul21 = mul nsw i32 %conv19, %conv20 126 %sext2 = sext i32 %mul21 to i64 127 %arrayidx23 = getelementptr inbounds i16, i16* %arg2, i32 %add5 128 %7 = load i16, i16* %arrayidx23, align 2 129 %conv24 = sext i16 %7 to i32 130 %conv25 = sext i16 %3 to i32 131 %mul26 = mul nsw i32 %conv24, %conv25 132 %sext3 = sext i32 %mul26 to i64 133 %add27 = add i64 %sext2, %mac2.057 134 %add28 = add i64 %add27, %sext3 135 %add29 = add nuw nsw i32 %i.056, 4 136 %cmp = icmp slt i32 %add29, %arg 137 br i1 %cmp, label %for.body, label %for.cond.cleanup 138} 139 140define i64 @zext_mul_reduction(i32 %arg, i32* nocapture readnone %arg1, i16* nocapture readonly %arg2, i16* nocapture readonly %arg3) { 141; CHECK-LABEL: @zext_mul_reduction 142; CHECK-NOT: call i64 @llvm.arm.smlald 143; CHECK-NOT: call i32 @llvm.arm.smlad 144entry: 145 %cmp24 = icmp sgt i32 %arg, 0 146 br i1 %cmp24, label %for.body.preheader, label %for.cond.cleanup 147 148for.body.preheader: 149 %.pre = load i16, i16* %arg3, align 2 150 %.pre27 = load i16, i16* %arg2, align 2 151 br label %for.body 152 153for.cond.cleanup: 154 %mac1.0.lcssa = phi i64 [ 0, %entry ], [ %add11, %for.body ] 155 ret i64 %mac1.0.lcssa 156 157for.body: 158 %mac1.026 = phi i64 [ %add11, %for.body ], [ 0, %for.body.preheader ] 159 %i.025 = phi i32 [ %add, %for.body ], [ 0, %for.body.preheader ] 160 %arrayidx = getelementptr inbounds i16, i16* %arg3, i32 %i.025 161 %0 = load i16, i16* %arrayidx, align 2 162 %add = add nuw nsw i32 %i.025, 1 163 %arrayidx1 = getelementptr inbounds i16, i16* %arg3, i32 %add 164 %1 = load i16, i16* %arrayidx1, align 2 165 %arrayidx3 = getelementptr inbounds i16, i16* %arg2, i32 %i.025 166 %2 = load i16, i16* %arrayidx3, align 2 167 %conv = zext i16 %2 to i32 168 %conv4 = sext i16 %0 to i32 169 %mul = mul nsw i32 %conv, %conv4 170 %sext0 = sext i32 %mul to i64 171 %arrayidx6 = getelementptr inbounds i16, i16* %arg2, i32 %add 172 %3 = load i16, i16* %arrayidx6, align 2 173 %conv7 = zext i16 %3 to i32 174 %conv8 = sext i16 %1 to i32 175 %mul9 = mul nsw i32 %conv7, %conv8 176 %sext1 = sext i32 %mul9 to i64 177 %add10 = add i64 %sext0, %mac1.026 178 %add11 = add i64 %sext1, %add10 179 %exitcond = icmp ne i32 %add, %arg 180 br i1 %exitcond, label %for.body, label %for.cond.cleanup 181} 182 183define i64 @zext_add_reduction(i32 %arg, i32* nocapture readnone %arg1, i16* nocapture readonly %arg2, i16* nocapture readonly %arg3) { 184; CHECK-LABEL: @zext_add_reduction 185; CHECK-NOT: call i64 @llvm.arm.smlald 186; CHECK-NOT: call i32 @llvm.arm.smlad 187entry: 188 %cmp24 = icmp sgt i32 %arg, 0 189 br i1 %cmp24, label %for.body.preheader, label %for.cond.cleanup 190 191for.body.preheader: 192 %.pre = load i16, i16* %arg3, align 2 193 %.pre27 = load i16, i16* %arg2, align 2 194 br label %for.body 195 196for.cond.cleanup: 197 %mac1.0.lcssa = phi i64 [ 0, %entry ], [ %add11, %for.body ] 198 ret i64 %mac1.0.lcssa 199 200for.body: 201 %mac1.026 = phi i64 [ %add11, %for.body ], [ 0, %for.body.preheader ] 202 %i.025 = phi i32 [ %add, %for.body ], [ 0, %for.body.preheader ] 203 %arrayidx = getelementptr inbounds i16, i16* %arg3, i32 %i.025 204 %0 = load i16, i16* %arrayidx, align 2 205 %add = add nuw nsw i32 %i.025, 1 206 %arrayidx1 = getelementptr inbounds i16, i16* %arg3, i32 %add 207 %1 = load i16, i16* %arrayidx1, align 2 208 %arrayidx3 = getelementptr inbounds i16, i16* %arg2, i32 %i.025 209 %2 = load i16, i16* %arrayidx3, align 2 210 %conv = sext i16 %2 to i32 211 %conv4 = sext i16 %0 to i32 212 %mul = mul nsw i32 %conv, %conv4 213 %sext0 = zext i32 %mul to i64 214 %arrayidx6 = getelementptr inbounds i16, i16* %arg2, i32 %add 215 %3 = load i16, i16* %arrayidx6, align 2 216 %conv7 = sext i16 %3 to i32 217 %conv8 = sext i16 %1 to i32 218 %mul9 = mul nsw i32 %conv7, %conv8 219 %sext1 = zext i32 %mul9 to i64 220 %add10 = add i64 %sext0, %mac1.026 221 %add11 = add i64 %sext1, %add10 222 %exitcond = icmp ne i32 %add, %arg 223 br i1 %exitcond, label %for.body, label %for.cond.cleanup 224} 225