1 /* -*- Mode: C; c-basic-offset:4 ; indent-tabs-mode:nil -*- */
2 /*
3 * Copyright (c) 2011-2017 Los Alamos National Security, LLC. All rights
4 * reserved.
5 * Copyright (c) 2011 UT-Battelle, LLC. All rights reserved.
6 * Copyright (c) 2013 The University of Tennessee and The University
7 * of Tennessee Research Foundation. All rights
8 * reserved.
9 * $COPYRIGHT$
10 *
11 * Additional copyrights may follow
12 *
13 * $HEADER$
14 */
15
16 #if !defined(MCA_BTL_UGNI_FRAG_H)
17 #define MCA_BTL_UGNI_FRAG_H
18
19 #include "btl_ugni.h"
20 #include "btl_ugni_endpoint.h"
21
22 typedef struct mca_btl_ugni_send_frag_hdr_t {
23 uint32_t lag;
24 } mca_btl_ugni_send_frag_hdr_t;
25
26 typedef struct mca_btl_ugni_send_ex_frag_hdr_t {
27 mca_btl_ugni_send_frag_hdr_t send;
28 uint8_t pml_header[128];
29 } mca_btl_ugni_send_ex_frag_hdr_t;
30
31 typedef struct mca_btl_ugni_rdma_frag_hdr_t {
32 void *ctx;
33 } mca_btl_ugni_rdma_frag_hdr_t;
34
35 typedef struct mca_btl_ugni_eager_frag_hdr_t {
36 mca_btl_ugni_send_frag_hdr_t send;
37 uint32_t size;
38 uint64_t address;
39 mca_btl_base_registration_handle_t memory_handle;
40 void *ctx;
41 } mca_btl_ugni_eager_frag_hdr_t;
42
43 typedef struct mca_btl_ugni_eager_ex_frag_hdr_t {
44 mca_btl_ugni_eager_frag_hdr_t eager;
45 uint8_t pml_header[128];
46 } mca_btl_ugni_eager_ex_frag_hdr_t;
47
48 typedef union mca_btl_ugni_frag_hdr_t {
49 mca_btl_ugni_send_frag_hdr_t send;
50 mca_btl_ugni_send_ex_frag_hdr_t send_ex;
51 mca_btl_ugni_rdma_frag_hdr_t rdma;
52 mca_btl_ugni_eager_frag_hdr_t eager;
53 mca_btl_ugni_eager_ex_frag_hdr_t eager_ex;
54 } mca_btl_ugni_frag_hdr_t;
55
56 enum {
57 MCA_BTL_UGNI_FRAG_BUFFERED = 1, /* frag data is buffered */
58 MCA_BTL_UGNI_FRAG_COMPLETE = 2, /* smsg complete for frag */
59 MCA_BTL_UGNI_FRAG_EAGER = 4, /* eager get frag */
60 MCA_BTL_UGNI_FRAG_IGNORE = 8, /* ignore local smsg completion */
61 MCA_BTL_UGNI_FRAG_SMSG_COMPLETE = 16, /* SMSG has completed for this message */
62 MCA_BTL_UGNI_FRAG_RESPONSE = 32,
63 };
64
65 struct mca_btl_ugni_base_frag_t;
66
67 typedef struct mca_btl_ugni_base_frag_t {
68 mca_btl_base_descriptor_t base;
69 volatile int32_t ref_cnt;
70 uint32_t msg_id;
71 uint16_t hdr_size;
72 uint16_t flags;
73 mca_btl_ugni_frag_hdr_t hdr;
74 mca_btl_base_segment_t segments[2];
75 gni_post_descriptor_t post_desc;
76 mca_btl_base_endpoint_t *endpoint;
77 mca_btl_ugni_reg_t *registration;
78 opal_free_list_t *my_list;
79 mca_btl_base_registration_handle_t memory_handle;
80 } mca_btl_ugni_base_frag_t;
81
82 typedef struct mca_btl_ugni_base_frag_t mca_btl_ugni_smsg_frag_t;
83 typedef struct mca_btl_ugni_base_frag_t mca_btl_ugni_rdma_frag_t;
84 typedef struct mca_btl_ugni_base_frag_t mca_btl_ugni_eager_frag_t;
85
86 #define MCA_BTL_UGNI_DESC_TO_FRAG(desc) \
87 ((mca_btl_ugni_base_frag_t *)((uintptr_t) (desc) - offsetof (mca_btl_ugni_base_frag_t, post_desc)))
88
89 typedef struct mca_btl_ugni_post_descriptor_t {
90 opal_free_list_item_t super;
91 gni_post_descriptor_t desc;
92 mca_btl_ugni_endpoint_handle_t *ep_handle;
93 mca_btl_base_endpoint_t *endpoint;
94 mca_btl_base_registration_handle_t *local_handle;
95 mca_btl_base_rdma_completion_fn_t cbfunc;
96 mca_btl_ugni_cq_t *cq;
97 void *cbdata;
98 void *ctx;
99 int tries;
100 } mca_btl_ugni_post_descriptor_t;
101
102 OBJ_CLASS_DECLARATION(mca_btl_ugni_post_descriptor_t);
103
104 #define MCA_BTL_UGNI_DESC_TO_PDESC(desc) \
105 ((mca_btl_ugni_post_descriptor_t *)((uintptr_t) (desc) - offsetof (mca_btl_ugni_post_descriptor_t, desc)))
106
107 static inline mca_btl_ugni_post_descriptor_t *
mca_btl_ugni_alloc_post_descriptor(mca_btl_base_endpoint_t * endpoint,mca_btl_base_registration_handle_t * local_handle,mca_btl_base_rdma_completion_fn_t cbfunc,void * cbcontext,void * cbdata)108 mca_btl_ugni_alloc_post_descriptor (mca_btl_base_endpoint_t *endpoint, mca_btl_base_registration_handle_t *local_handle,
109 mca_btl_base_rdma_completion_fn_t cbfunc, void *cbcontext, void *cbdata)
110 {
111 /* mca_btl_ugni_module_t *ugni_module = mca_btl_ugni_ep_btl (endpoint); */
112 mca_btl_ugni_post_descriptor_t *desc;
113
114 desc = OBJ_NEW(mca_btl_ugni_post_descriptor_t);
115 /* (mca_btl_ugni_post_descriptor_t *) opal_free_list_get (&ugni_module->post_descriptors); */
116 if (OPAL_UNLIKELY(NULL != desc)) {
117 desc->cbfunc = cbfunc;
118 desc->ctx = cbcontext;
119 desc->cbdata = cbdata;
120 desc->local_handle = local_handle;
121 desc->endpoint = endpoint;
122 }
123
124 return desc;
125 }
126
mca_btl_ugni_return_post_descriptor(mca_btl_ugni_post_descriptor_t * desc)127 static inline void mca_btl_ugni_return_post_descriptor (mca_btl_ugni_post_descriptor_t *desc)
128 {
129 /* mca_btl_ugni_module_t *ugni_module = mca_btl_ugni_ep_btl (desc->endpoint); */
130
131 if (NULL != desc->ep_handle) {
132 mca_btl_ugni_ep_return_rdma (desc->ep_handle);
133 /* desc->ep_handle = NULL; */
134 }
135
136 /* desc->cq = NULL; */
137 /* opal_free_list_return (&ugni_module->post_descriptors, &desc->super); */
138 free (desc);
139 }
140
mca_btl_ugni_post_desc_complete(mca_btl_ugni_module_t * module,mca_btl_ugni_post_descriptor_t * desc,int rc)141 static inline void mca_btl_ugni_post_desc_complete (mca_btl_ugni_module_t *module, mca_btl_ugni_post_descriptor_t *desc, int rc)
142 {
143 BTL_VERBOSE(("RDMA/FMA/ATOMIC operation complete for post descriptor %p. rc = %d", (void *) desc, rc));
144
145 if (NULL != desc->cbfunc) {
146 /* call the user's callback function */
147 desc->cbfunc (&module->super, desc->endpoint, (void *)(intptr_t) desc->desc.local_addr,
148 desc->local_handle, desc->ctx, desc->cbdata, rc);
149 }
150
151 /* the descriptor is no longer needed */
152 mca_btl_ugni_return_post_descriptor (desc);
153 }
154
155 OBJ_CLASS_DECLARATION(mca_btl_ugni_smsg_frag_t);
156 OBJ_CLASS_DECLARATION(mca_btl_ugni_rdma_frag_t);
157 OBJ_CLASS_DECLARATION(mca_btl_ugni_eager_frag_t);
158
159 int mca_btl_ugni_frag_init (mca_btl_ugni_base_frag_t *frag, void *id);
160
mca_btl_ugni_frag_alloc(mca_btl_base_endpoint_t * ep,opal_free_list_t * list)161 static inline mca_btl_ugni_base_frag_t *mca_btl_ugni_frag_alloc (mca_btl_base_endpoint_t *ep,
162 opal_free_list_t *list)
163 {
164 mca_btl_ugni_base_frag_t *frag = (mca_btl_ugni_base_frag_t *) opal_free_list_get (list);
165 if (OPAL_LIKELY(NULL != frag)) {
166 frag->endpoint = ep;
167 frag->ref_cnt = 1;
168 }
169
170 return frag;
171 }
172
mca_btl_ugni_frag_return(mca_btl_ugni_base_frag_t * frag)173 static inline int mca_btl_ugni_frag_return (mca_btl_ugni_base_frag_t *frag)
174 {
175 mca_btl_ugni_module_t *ugni_module = mca_btl_ugni_ep_btl (frag->endpoint);
176 if (frag->registration) {
177 ugni_module->rcache->rcache_deregister (ugni_module->rcache,
178 (mca_rcache_base_registration_t *) frag->registration);
179 frag->registration = NULL;
180 }
181
182 frag->flags = 0;
183
184 opal_free_list_return (frag->my_list, (opal_free_list_item_t *) frag);
185
186 return OPAL_SUCCESS;
187 }
188
mca_btl_ugni_frag_del_ref(mca_btl_ugni_base_frag_t * frag,int rc)189 static inline bool mca_btl_ugni_frag_del_ref (mca_btl_ugni_base_frag_t *frag, int rc) {
190 mca_btl_ugni_module_t *ugni_module = mca_btl_ugni_ep_btl (frag->endpoint);
191 /* save the descriptor flags since the callback is allowed to free the frag */
192 int des_flags = frag->base.des_flags;
193 int32_t ref_cnt;
194
195 opal_atomic_mb ();
196
197 ref_cnt = OPAL_THREAD_ADD32(&frag->ref_cnt, -1);
198 if (ref_cnt) {
199 assert (ref_cnt > 0);
200 return false;
201 }
202
203 /* call callback if specified */
204 if (des_flags & MCA_BTL_DES_SEND_ALWAYS_CALLBACK) {
205 frag->base.des_cbfunc(&ugni_module->super, frag->endpoint, &frag->base, rc);
206 }
207
208 if (des_flags & MCA_BTL_DES_FLAGS_BTL_OWNERSHIP) {
209 mca_btl_ugni_frag_return (frag);
210 }
211
212 return true;
213 }
214
mca_btl_ugni_frag_complete(mca_btl_ugni_base_frag_t * frag,int rc)215 static inline void mca_btl_ugni_frag_complete (mca_btl_ugni_base_frag_t *frag, int rc) {
216 BTL_VERBOSE(("frag complete. flags = %d", frag->base.des_flags));
217
218 frag->flags |= MCA_BTL_UGNI_FRAG_COMPLETE;
219
220 mca_btl_ugni_frag_del_ref (frag, rc);
221 }
222
mca_btl_ugni_frag_check_complete(mca_btl_ugni_base_frag_t * frag)223 static inline bool mca_btl_ugni_frag_check_complete (mca_btl_ugni_base_frag_t *frag) {
224 return !!(MCA_BTL_UGNI_FRAG_COMPLETE & frag->flags);
225 }
226
227
228 void mca_btl_ugni_wait_list_append (mca_btl_ugni_module_t *ugni_module, mca_btl_base_endpoint_t *endpoint,
229 mca_btl_ugni_base_frag_t *frag);
230
mca_btl_ugni_frag_alloc_smsg(mca_btl_base_endpoint_t * ep)231 static inline mca_btl_ugni_base_frag_t *mca_btl_ugni_frag_alloc_smsg (mca_btl_base_endpoint_t *ep)
232 {
233 mca_btl_ugni_module_t *ugni_module = mca_btl_ugni_ep_btl (ep);
234 return mca_btl_ugni_frag_alloc (ep, ugni_module->frags_lists + MCA_BTL_UGNI_LIST_SMSG);
235 }
236
mca_btl_ugni_frag_alloc_rdma(mca_btl_base_endpoint_t * ep)237 static inline mca_btl_ugni_base_frag_t *mca_btl_ugni_frag_alloc_rdma (mca_btl_base_endpoint_t *ep)
238 {
239 mca_btl_ugni_module_t *ugni_module = mca_btl_ugni_ep_btl (ep);
240 return mca_btl_ugni_frag_alloc (ep, ugni_module->frags_lists + MCA_BTL_UGNI_LIST_RDMA);
241 }
242
mca_btl_ugni_frag_alloc_rdma_int(mca_btl_base_endpoint_t * ep)243 static inline mca_btl_ugni_base_frag_t *mca_btl_ugni_frag_alloc_rdma_int (mca_btl_base_endpoint_t *ep)
244 {
245 mca_btl_ugni_module_t *ugni_module = mca_btl_ugni_ep_btl (ep);
246 return mca_btl_ugni_frag_alloc (ep, ugni_module->frags_lists + MCA_BTL_UGNI_LIST_RDMA_INT);
247 }
248
mca_btl_ugni_frag_alloc_eager_send(mca_btl_base_endpoint_t * ep)249 static inline mca_btl_ugni_base_frag_t *mca_btl_ugni_frag_alloc_eager_send (mca_btl_base_endpoint_t *ep)
250 {
251 mca_btl_ugni_module_t *ugni_module = mca_btl_ugni_ep_btl (ep);
252 return mca_btl_ugni_frag_alloc (ep, ugni_module->frags_lists + MCA_BTL_UGNI_LIST_EAGER_SEND);
253 }
254
mca_btl_ugni_frag_alloc_eager_recv(mca_btl_base_endpoint_t * ep)255 static inline mca_btl_ugni_base_frag_t *mca_btl_ugni_frag_alloc_eager_recv (mca_btl_base_endpoint_t *ep)
256 {
257 mca_btl_ugni_module_t *ugni_module = mca_btl_ugni_ep_btl (ep);
258 return mca_btl_ugni_frag_alloc (ep, ugni_module->frags_lists + MCA_BTL_UGNI_LIST_EAGER_RECV);
259 }
260
261 #endif /* MCA_BTL_UGNI_FRAG_H */
262