Clang Project

clang_source_code/test/OpenMP/nvptx_target_teams_distribute_parallel_for_codegen.cpp
1// Test target codegen - host bc file has to be created first.
2// RUN: %clang_cc1 -verify -fopenmp -fopenmp-version=45 -fopenmp-cuda-mode -x c++ -triple powerpc64le-unknown-unknown -fopenmp-targets=nvptx64-nvidia-cuda -emit-llvm-bc %s -o %t-ppc-host.bc
3// RUN: %clang_cc1 -verify -fopenmp -fopenmp-version=45 -fopenmp-cuda-mode -x c++ -triple nvptx64-unknown-unknown -fopenmp-targets=nvptx64-nvidia-cuda -emit-llvm %s -fopenmp-is-device -fopenmp-host-ir-file-path %t-ppc-host.bc -o - | FileCheck %s --check-prefix CHECK --check-prefix CHECK-64 --check-prefix CHECK-DIV64
4// RUN: %clang_cc1 -verify -fopenmp -fopenmp-version=45 -fopenmp-cuda-mode -x c++ -triple nvptx64-unknown-unknown -fopenmp-targets=nvptx64-nvidia-cuda -emit-llvm %s -fopenmp-is-device -fopenmp-host-ir-file-path %t-ppc-host.bc -fopenmp-optimistic-collapse -o - | FileCheck %s --check-prefix CHECK --check-prefix CHECK-DIV32
5// RUN: %clang_cc1 -verify -fopenmp -fopenmp-version=45 -fopenmp-cuda-mode -x c++ -triple i386-unknown-unknown -fopenmp-targets=nvptx-nvidia-cuda -emit-llvm-bc %s -o %t-x86-host.bc
6// RUN: %clang_cc1 -verify -fopenmp -fopenmp-version=45 -fopenmp-cuda-mode -x c++ -triple nvptx-unknown-unknown -fopenmp-targets=nvptx-nvidia-cuda -emit-llvm %s -fopenmp-is-device -fopenmp-host-ir-file-path %t-x86-host.bc -o - | FileCheck %s --check-prefix CHECK --check-prefix CHECK-32
7// RUN: %clang_cc1 -verify -fopenmp -fopenmp-version=45 -fopenmp-cuda-mode -fexceptions -fcxx-exceptions -x c++ -triple nvptx-unknown-unknown -fopenmp-targets=nvptx-nvidia-cuda -emit-llvm %s -fopenmp-is-device -fopenmp-host-ir-file-path %t-x86-host.bc -o - | FileCheck %s --check-prefix CHECK --check-prefix CHECK-32
8// expected-no-diagnostics
9#ifndef HEADER
10#define HEADER
11
12// Check that the execution mode of all 5 target regions on the gpu is set to SPMD Mode.
13// CHECK-DAG: {{@__omp_offloading_.+l34}}_exec_mode = weak constant i8 0
14// CHECK-DAG: {{@__omp_offloading_.+l40}}_exec_mode = weak constant i8 0
15// CHECK-DAG: {{@__omp_offloading_.+l45}}_exec_mode = weak constant i8 0
16// CHECK-DAG: {{@__omp_offloading_.+l50}}_exec_mode = weak constant i8 0
17// CHECK-DAG: {{@__omp_offloading_.+l58}}_exec_mode = weak constant i8 0
18// CHECK-DAG: {{@__omp_offloading_.+l65}}_exec_mode = weak constant i8 0
19
20#define N 1000
21#define M 10
22
23template<typename tx>
24tx ftemplate(int n) {
25  tx a[N];
26  short aa[N];
27  tx b[10];
28  tx c[M][M];
29  tx f = n;
30  tx l;
31  int k;
32  tx *v;
33
34#pragma omp target teams distribute parallel for lastprivate(l) dist_schedule(static,128) schedule(static,32)
35  for(int i = 0; i < n; i++) {
36    a[i] = 1;
37    l = i;
38  }
39
40#pragma omp target teams distribute parallel for map(tofrom: aa) num_teams(M) thread_limit(64)
41  for(int i = 0; i < n; i++) {
42    aa[i] += 1;
43  }
44
45#pragma omp target teams distribute parallel for map(tofrom:a, aa, b) if(target: n>40) proc_bind(spread)
46  for(int i = 0; i < 10; i++) {
47    b[i] += 1;
48  }
49
50#pragma omp target teams distribute parallel for collapse(2) firstprivate(f) private(k)
51  for(int i = 0; i < M; i++) {
52    for(int j = 0; j < M; j++) {
53      k = M;
54      c[i][j] = i + j * f + k;
55    }
56  }
57
58#pragma omp target teams distribute parallel for collapse(2)
59  for(int i = 0; i < n; i++) {
60    for(int j = 0; j < n; j++) {
61      c[i][j] = i + j;
62    }
63  }
64
65#pragma omp target teams distribute parallel for map(a, v[:N])
66  for(int i = 0; i < n; i++)
67    a[i] = v[i];
68  return a[0];
69}
70
71int bar(int n){
72  int a = 0;
73
74  a += ftemplate<int>(n);
75
76  return a;
77}
78
79// CHECK-DAG: [[MEM_TY:%.+]] = type { [128 x i8] }
80// CHECK-DAG: [[SHARED_GLOBAL_RD:@.+]] = common addrspace(3) global [[MEM_TY]] zeroinitializer
81// CHECK-DAG: [[KERNEL_PTR:@.+]] = internal addrspace(3) global i8* null
82// CHECK-DAG: [[KERNEL_SIZE:@.+]] = internal unnamed_addr constant i{{64|32}} 4
83// CHECK-DAG: [[KERNEL_SHARED:@.+]] = internal unnamed_addr constant i16 1
84
85// CHECK-LABEL: define {{.*}}void {{@__omp_offloading_.+}}_l34(
86// CHECK-DAG: [[THREAD_LIMIT:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.ntid.x()
87// CHECK: call void @__kmpc_spmd_kernel_init(i32 [[THREAD_LIMIT]], i16 0, i16 0)
88// CHECK: call void @__kmpc_get_team_static_memory(i16 1, i8* addrspacecast (i8 addrspace(3)* getelementptr inbounds ([[MEM_TY]], [[MEM_TY]] addrspace(3)* [[SHARED_GLOBAL_RD]], i32 0, i32 0, i32 0) to i8*), i{{64|32}} 4, i16 1, i8** addrspacecast (i8* addrspace(3)* [[KERNEL_PTR]] to i8**))
89// CHECK: [[TEAM_ALLOC:%.+]] = load i8*, i8* addrspace(3)* [[KERNEL_PTR]],
90// CHECK: [[BC:%.+]] = bitcast i8* [[TEAM_ALLOC]] to [[REC:%.+]]*
91// CHECK: getelementptr inbounds [[REC]], [[REC]]* [[BC]], i{{[0-9]+}} 0, i{{[0-9]+}} 0
92// CHECK: call void @__kmpc_for_static_init_4({{.+}}, {{.+}}, {{.+}} 91,
93// CHECK: {{call|invoke}} void [[OUTL1:@.+]](
94// CHECK: call void @__kmpc_for_static_fini(
95// CHECK: call void @__kmpc_restore_team_static_memory(i16 1, i16 1)
96// CHECK: call void @__kmpc_spmd_kernel_deinit_v2(i16 0)
97// CHECK: ret void
98
99// CHECK: define internal void [[OUTL1]](
100// CHECK: call void @__kmpc_for_static_init_4({{.+}}, {{.+}}, {{.+}} 33,
101// CHECK: call void @__kmpc_for_static_fini(
102// CHECK: ret void
103
104// CHECK-LABEL: define {{.*}}void {{@__omp_offloading_.+}}(
105// CHECK-DAG: [[THREAD_LIMIT:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.ntid.x()
106// CHECK: call void @__kmpc_spmd_kernel_init(i32 [[THREAD_LIMIT]], i16 0, i16 0)
107// CHECK: call void @__kmpc_for_static_init_4({{.+}}, {{.+}}, {{.+}} 91,
108// CHECK: {{call|invoke}} void [[OUTL2:@.+]](
109// CHECK: call void @__kmpc_for_static_fini(
110// CHECK: call void @__kmpc_spmd_kernel_deinit_v2(i16 0)
111// CHECK: ret void
112
113// CHECK: define internal void [[OUTL2]](
114// CHECK: call void @__kmpc_for_static_init_4({{.+}}, {{.+}}, {{.+}} 33,
115// CHECK: call void @__kmpc_for_static_fini(
116// CHECK: ret void
117
118// CHECK-LABEL: define {{.*}}void {{@__omp_offloading_.+}}(
119// CHECK-DAG: [[THREAD_LIMIT:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.ntid.x()
120// CHECK: call void @__kmpc_spmd_kernel_init(i32 [[THREAD_LIMIT]], i16 0, i16 0)
121// CHECK: call void @__kmpc_for_static_init_4({{.+}}, {{.+}}, {{.+}} 91,
122// CHECK: {{call|invoke}} void [[OUTL3:@.+]](
123// CHECK: call void @__kmpc_for_static_fini(
124// CHECK: call void @__kmpc_spmd_kernel_deinit_v2(i16 0)
125// CHECK: ret void
126
127// CHECK: define internal void [[OUTL3]](
128// CHECK: call void @__kmpc_for_static_init_4({{.+}}, {{.+}}, {{.+}} 33,
129// CHECK: call void @__kmpc_for_static_fini(
130// CHECK: ret void
131
132// Distribute with collapse(2)
133// CHECK: define {{.*}}void {{@__omp_offloading_.+}}({{.+}}, i{{32|64}} [[F_IN:%.+]])
134// CHECK: alloca
135// CHECK: alloca
136// CHECK: alloca
137// CHECK: alloca
138// CHECK: [[OMP_IV:%.+]] = alloca
139// CHECK: alloca
140// CHECK: alloca
141// CHECK: [[OMP_LB:%.+]] = alloca
142// CHECK: [[OMP_UB:%.+]] = alloca
143// CHECK: [[OMP_ST:%.+]] = alloca
144// CHECK: store {{.+}} [[F_IN]], {{.+}}* {{.+}},
145// CHECK-DAG: [[THREAD_LIMIT:%.+]] = call i32 @llvm.nvvm.read.ptx.sreg.ntid.x()
146// CHECK: call void @__kmpc_spmd_kernel_init(i32 [[THREAD_LIMIT]], i16 0, i16 0)
147// CHECK: store {{.+}} 99, {{.+}}* [[COMB_UB:%.+]], align
148// CHECK: call void @__kmpc_for_static_init_4({{.+}}, {{.+}}, {{.+}} 91, {{.+}}, {{.+}}, {{.+}}* [[COMB_UB]],
149
150// check EUB for distribute
151// CHECK-DAG: [[OMP_UB_VAL_1:%.+]] = load{{.+}} [[OMP_UB]],
152// CHECK-DAG: [[CMP_UB_NUM_IT:%.+]] = icmp sgt {{.+}}  [[OMP_UB_VAL_1]], 99
153// CHECK: br {{.+}} [[CMP_UB_NUM_IT]], label %[[EUB_TRUE:.+]], label %[[EUB_FALSE:.+]]
154// CHECK-DAG: [[EUB_TRUE]]:
155// CHECK: br label %[[EUB_END:.+]]
156// CHECK-DAG: [[EUB_FALSE]]:
157// CHECK: [[OMP_UB_VAL2:%.+]] = load{{.+}} [[OMP_UB]],
158// CHECK: br label %[[EUB_END]]
159// CHECK-DAG: [[EUB_END]]:
160// CHECK-DAG: [[EUB_RES:%.+]] = phi{{.+}} [ 99, %[[EUB_TRUE]] ], [ [[OMP_UB_VAL2]], %[[EUB_FALSE]] ]
161// CHECK: store{{.+}} [[EUB_RES]], {{.+}}* [[OMP_UB]],
162
163// initialize omp.iv
164// CHECK: [[OMP_LB_VAL_1:%.+]] = load{{.+}}, {{.+}}* [[OMP_LB]],
165// CHECK: store {{.+}} [[OMP_LB_VAL_1]], {{.+}}* [[OMP_IV]],
166
167// check exit condition
168// CHECK-DAG: [[OMP_IV_VAL_1:%.+]] = load {{.+}} [[OMP_IV]],
169// CHECK: [[CMP_IV_UB:%.+]] = icmp slt {{.+}} [[OMP_IV_VAL_1]], 100
170// CHECK: br {{.+}} [[CMP_IV_UB]], label %[[DIST_INNER_LOOP_BODY:.+]], label %[[DIST_INNER_LOOP_END:.+]]
171
172// check that PrevLB and PrevUB are passed to the 'for'
173// CHECK: [[DIST_INNER_LOOP_BODY]]:
174// CHECK-DAG: [[OMP_PREV_LB:%.+]] = load {{.+}}, {{.+}} [[OMP_LB]],
175// CHECK-64-DAG: [[OMP_PREV_LB_EXT:%.+]] = zext {{.+}} [[OMP_PREV_LB]] to {{.+}}
176// CHECK-DAG: [[OMP_PREV_UB:%.+]] = load {{.+}}, {{.+}} [[OMP_UB]],
177// CHECK-64-DAG: [[OMP_PREV_UB_EXT:%.+]] = zext {{.+}} [[OMP_PREV_UB]] to {{.+}}
178
179// check that distlb and distub are properly passed to the outlined function
180// CHECK-32: {{call|invoke}} void [[OUTL4:@.+]]({{.*}} i32 [[OMP_PREV_LB]], i32 [[OMP_PREV_UB]]
181// CHECK-64: {{call|invoke}} void [[OUTL4:@.+]]({{.*}} i64 [[OMP_PREV_LB_EXT]], i64 [[OMP_PREV_UB_EXT]]
182
183// check DistInc
184// CHECK-DAG: [[OMP_IV_VAL_3:%.+]] = load {{.+}}, {{.+}}* [[OMP_IV]],
185// CHECK-DAG: [[OMP_ST_VAL_1:%.+]] = load {{.+}}, {{.+}}* [[OMP_ST]],
186// CHECK: [[OMP_IV_INC:%.+]] = add{{.+}} [[OMP_IV_VAL_3]], [[OMP_ST_VAL_1]]
187// CHECK: store{{.+}} [[OMP_IV_INC]], {{.+}}* [[OMP_IV]],
188// CHECK-DAG: [[OMP_LB_VAL_2:%.+]] = load{{.+}}, {{.+}} [[OMP_LB]],
189// CHECK-DAG: [[OMP_ST_VAL_2:%.+]] = load{{.+}}, {{.+}} [[OMP_ST]],
190// CHECK-DAG: [[OMP_LB_NEXT:%.+]] = add{{.+}} [[OMP_LB_VAL_2]], [[OMP_ST_VAL_2]]
191// CHECK: store{{.+}} [[OMP_LB_NEXT]], {{.+}}* [[OMP_LB]],
192// CHECK-DAG: [[OMP_UB_VAL_5:%.+]] = load{{.+}}, {{.+}} [[OMP_UB]],
193// CHECK-DAG: [[OMP_ST_VAL_3:%.+]] = load{{.+}}, {{.+}} [[OMP_ST]],
194// CHECK-DAG: [[OMP_UB_NEXT:%.+]] = add{{.+}} [[OMP_UB_VAL_5]], [[OMP_ST_VAL_3]]
195// CHECK: store{{.+}} [[OMP_UB_NEXT]], {{.+}}* [[OMP_UB]],
196
197// Update UB
198// CHECK-DAG: [[OMP_UB_VAL_6:%.+]] = load{{.+}}, {{.+}} [[OMP_UB]],
199// CHECK-DAG: [[CMP_UB_NUM_IT_1:%.+]] = icmp sgt {{.+}}[[OMP_UB_VAL_6]], 99
200// CHECK: br {{.+}} [[CMP_UB_NUM_IT_1]], label %[[EUB_TRUE_1:.+]], label %[[EUB_FALSE_1:.+]]
201// CHECK-DAG: [[EUB_TRUE_1]]:
202// CHECK: br label %[[EUB_END_1:.+]]
203// CHECK-DAG: [[EUB_FALSE_1]]:
204// CHECK: [[OMP_UB_VAL3:%.+]] = load{{.+}} [[OMP_UB]],
205// CHECK: br label %[[EUB_END_1]]
206// CHECK-DAG: [[EUB_END_1]]:
207// CHECK-DAG: [[EUB_RES_1:%.+]] = phi{{.+}} [ 99, %[[EUB_TRUE_1]] ], [ [[OMP_UB_VAL3]], %[[EUB_FALSE_1]] ]
208// CHECK: store{{.+}} [[EUB_RES_1]], {{.+}}* [[OMP_UB]],
209
210// Store LB in IV
211// CHECK-DAG: [[OMP_LB_VAL_3:%.+]] = load{{.+}}, {{.+}} [[OMP_LB]],
212// CHECK: store{{.+}} [[OMP_LB_VAL_3]], {{.+}}* [[OMP_IV]],
213
214// CHECK: [[DIST_INNER_LOOP_END]]:
215// CHECK: call void @__kmpc_for_static_fini(
216// CHECK: call void @__kmpc_spmd_kernel_deinit_v2(i16 0)
217// CHECK: ret void
218
219// CHECK-32: define internal void [[OUTL4]](
220// CHECK-64: define internal void [[OUTL4]](
221// CHECK: call void @__kmpc_for_static_init_4({{.+}}, {{.+}}, {{.+}} 33,
222// CHECK: call void @__kmpc_for_static_fini(
223// CHECK: ret void
224
225// CHECK: define weak void @__omp_offloading_{{.*}}_l58(i[[SZ:64|32]] %{{[^,]+}}, [10 x [10 x i32]]* dereferenceable{{.*}})
226// CHECK: call void [[OUTLINED:@__omp_outlined.*]](i32* %{{.+}}, i32* %{{.+}}, i[[SZ]] %{{.*}}, i[[SZ]] %{{.*}}, i[[SZ]] %{{.*}}, [10 x [10 x i32]]* %{{.*}})
227// CHECK: define internal void [[OUTLINED]](i32* noalias %{{.*}}, i32* noalias %{{.*}} i[[SZ]] %{{.+}}, i[[SZ]] %{{.+}}, i[[SZ]] %{{.+}}, [10 x [10 x i32]]* dereferenceable{{.*}})
228// CHECK-DIV64: div i64
229// CHECK-DIV32-NO: div i64
230
231// CHECK: define weak void @__omp_offloading_{{.*}}_l65(i[[SZ:64|32]] %{{[^,]+}}, [1000 x i32]* dereferenceable{{.*}}, i32* %{{[^)]+}})
232// CHECK: call void [[OUTLINED:@__omp_outlined.*]](i32* %{{.+}}, i32* %{{.+}}, i[[SZ]] %{{.*}}, i[[SZ]] %{{.*}}, i[[SZ]] %{{.*}}, [1000 x i32]* %{{.*}}, i32* %{{.*}})
233// CHECK: define internal void [[OUTLINED]](i32* noalias %{{.*}}, i32* noalias %{{.*}} i[[SZ]] %{{.+}}, i[[SZ]] %{{.+}}, i[[SZ]] %{{.+}}, [1000 x i32]* dereferenceable{{.*}}, i32* %{{.*}})
234
235#endif
236
CodeThinker, Enjoy your reading code