xref: /qemu/block/qed-table.c (revision 23e9a39e)
1298800caSStefan Hajnoczi /*
2298800caSStefan Hajnoczi  * QEMU Enhanced Disk Format Table I/O
3298800caSStefan Hajnoczi  *
4298800caSStefan Hajnoczi  * Copyright IBM, Corp. 2010
5298800caSStefan Hajnoczi  *
6298800caSStefan Hajnoczi  * Authors:
7298800caSStefan Hajnoczi  *  Stefan Hajnoczi   <stefanha@linux.vnet.ibm.com>
8298800caSStefan Hajnoczi  *  Anthony Liguori   <aliguori@us.ibm.com>
9298800caSStefan Hajnoczi  *
10298800caSStefan Hajnoczi  * This work is licensed under the terms of the GNU LGPL, version 2 or later.
11298800caSStefan Hajnoczi  * See the COPYING.LIB file in the top-level directory.
12298800caSStefan Hajnoczi  *
13298800caSStefan Hajnoczi  */
14298800caSStefan Hajnoczi 
15298800caSStefan Hajnoczi #include "trace.h"
16298800caSStefan Hajnoczi #include "qemu_socket.h" /* for EINPROGRESS on Windows */
17298800caSStefan Hajnoczi #include "qed.h"
18298800caSStefan Hajnoczi 
19298800caSStefan Hajnoczi typedef struct {
20298800caSStefan Hajnoczi     GenericCB gencb;
21298800caSStefan Hajnoczi     BDRVQEDState *s;
22298800caSStefan Hajnoczi     QEDTable *table;
23298800caSStefan Hajnoczi 
24298800caSStefan Hajnoczi     struct iovec iov;
25298800caSStefan Hajnoczi     QEMUIOVector qiov;
26298800caSStefan Hajnoczi } QEDReadTableCB;
27298800caSStefan Hajnoczi 
28298800caSStefan Hajnoczi static void qed_read_table_cb(void *opaque, int ret)
29298800caSStefan Hajnoczi {
30298800caSStefan Hajnoczi     QEDReadTableCB *read_table_cb = opaque;
31298800caSStefan Hajnoczi     QEDTable *table = read_table_cb->table;
32*23e9a39eSZhi Yong Wu     int noffsets = read_table_cb->qiov.size / sizeof(uint64_t);
33298800caSStefan Hajnoczi     int i;
34298800caSStefan Hajnoczi 
35298800caSStefan Hajnoczi     /* Handle I/O error */
36298800caSStefan Hajnoczi     if (ret) {
37298800caSStefan Hajnoczi         goto out;
38298800caSStefan Hajnoczi     }
39298800caSStefan Hajnoczi 
40298800caSStefan Hajnoczi     /* Byteswap offsets */
41298800caSStefan Hajnoczi     for (i = 0; i < noffsets; i++) {
42298800caSStefan Hajnoczi         table->offsets[i] = le64_to_cpu(table->offsets[i]);
43298800caSStefan Hajnoczi     }
44298800caSStefan Hajnoczi 
45298800caSStefan Hajnoczi out:
46298800caSStefan Hajnoczi     /* Completion */
47298800caSStefan Hajnoczi     trace_qed_read_table_cb(read_table_cb->s, read_table_cb->table, ret);
48298800caSStefan Hajnoczi     gencb_complete(&read_table_cb->gencb, ret);
49298800caSStefan Hajnoczi }
50298800caSStefan Hajnoczi 
51298800caSStefan Hajnoczi static void qed_read_table(BDRVQEDState *s, uint64_t offset, QEDTable *table,
52298800caSStefan Hajnoczi                            BlockDriverCompletionFunc *cb, void *opaque)
53298800caSStefan Hajnoczi {
54298800caSStefan Hajnoczi     QEDReadTableCB *read_table_cb = gencb_alloc(sizeof(*read_table_cb),
55298800caSStefan Hajnoczi                                                 cb, opaque);
56298800caSStefan Hajnoczi     QEMUIOVector *qiov = &read_table_cb->qiov;
57298800caSStefan Hajnoczi     BlockDriverAIOCB *aiocb;
58298800caSStefan Hajnoczi 
59298800caSStefan Hajnoczi     trace_qed_read_table(s, offset, table);
60298800caSStefan Hajnoczi 
61298800caSStefan Hajnoczi     read_table_cb->s = s;
62298800caSStefan Hajnoczi     read_table_cb->table = table;
63298800caSStefan Hajnoczi     read_table_cb->iov.iov_base = table->offsets,
64298800caSStefan Hajnoczi     read_table_cb->iov.iov_len = s->header.cluster_size * s->header.table_size,
65298800caSStefan Hajnoczi 
66298800caSStefan Hajnoczi     qemu_iovec_init_external(qiov, &read_table_cb->iov, 1);
67298800caSStefan Hajnoczi     aiocb = bdrv_aio_readv(s->bs->file, offset / BDRV_SECTOR_SIZE, qiov,
68*23e9a39eSZhi Yong Wu                            qiov->size / BDRV_SECTOR_SIZE,
69298800caSStefan Hajnoczi                            qed_read_table_cb, read_table_cb);
70298800caSStefan Hajnoczi     if (!aiocb) {
71298800caSStefan Hajnoczi         qed_read_table_cb(read_table_cb, -EIO);
72298800caSStefan Hajnoczi     }
73298800caSStefan Hajnoczi }
74298800caSStefan Hajnoczi 
75298800caSStefan Hajnoczi typedef struct {
76298800caSStefan Hajnoczi     GenericCB gencb;
77298800caSStefan Hajnoczi     BDRVQEDState *s;
78298800caSStefan Hajnoczi     QEDTable *orig_table;
79298800caSStefan Hajnoczi     QEDTable *table;
80298800caSStefan Hajnoczi     bool flush;             /* flush after write? */
81298800caSStefan Hajnoczi 
82298800caSStefan Hajnoczi     struct iovec iov;
83298800caSStefan Hajnoczi     QEMUIOVector qiov;
84298800caSStefan Hajnoczi } QEDWriteTableCB;
85298800caSStefan Hajnoczi 
86298800caSStefan Hajnoczi static void qed_write_table_cb(void *opaque, int ret)
87298800caSStefan Hajnoczi {
88298800caSStefan Hajnoczi     QEDWriteTableCB *write_table_cb = opaque;
89298800caSStefan Hajnoczi 
90298800caSStefan Hajnoczi     trace_qed_write_table_cb(write_table_cb->s,
91298800caSStefan Hajnoczi                              write_table_cb->orig_table,
92298800caSStefan Hajnoczi                              write_table_cb->flush,
93298800caSStefan Hajnoczi                              ret);
94298800caSStefan Hajnoczi 
95298800caSStefan Hajnoczi     if (ret) {
96298800caSStefan Hajnoczi         goto out;
97298800caSStefan Hajnoczi     }
98298800caSStefan Hajnoczi 
99298800caSStefan Hajnoczi     if (write_table_cb->flush) {
100298800caSStefan Hajnoczi         /* We still need to flush first */
101298800caSStefan Hajnoczi         write_table_cb->flush = false;
102298800caSStefan Hajnoczi         bdrv_aio_flush(write_table_cb->s->bs, qed_write_table_cb,
103298800caSStefan Hajnoczi                        write_table_cb);
104298800caSStefan Hajnoczi         return;
105298800caSStefan Hajnoczi     }
106298800caSStefan Hajnoczi 
107298800caSStefan Hajnoczi out:
108298800caSStefan Hajnoczi     qemu_vfree(write_table_cb->table);
109298800caSStefan Hajnoczi     gencb_complete(&write_table_cb->gencb, ret);
110298800caSStefan Hajnoczi     return;
111298800caSStefan Hajnoczi }
112298800caSStefan Hajnoczi 
113298800caSStefan Hajnoczi /**
114298800caSStefan Hajnoczi  * Write out an updated part or all of a table
115298800caSStefan Hajnoczi  *
116298800caSStefan Hajnoczi  * @s:          QED state
117298800caSStefan Hajnoczi  * @offset:     Offset of table in image file, in bytes
118298800caSStefan Hajnoczi  * @table:      Table
119298800caSStefan Hajnoczi  * @index:      Index of first element
120298800caSStefan Hajnoczi  * @n:          Number of elements
121298800caSStefan Hajnoczi  * @flush:      Whether or not to sync to disk
122298800caSStefan Hajnoczi  * @cb:         Completion function
123298800caSStefan Hajnoczi  * @opaque:     Argument for completion function
124298800caSStefan Hajnoczi  */
125298800caSStefan Hajnoczi static void qed_write_table(BDRVQEDState *s, uint64_t offset, QEDTable *table,
126298800caSStefan Hajnoczi                             unsigned int index, unsigned int n, bool flush,
127298800caSStefan Hajnoczi                             BlockDriverCompletionFunc *cb, void *opaque)
128298800caSStefan Hajnoczi {
129298800caSStefan Hajnoczi     QEDWriteTableCB *write_table_cb;
130298800caSStefan Hajnoczi     BlockDriverAIOCB *aiocb;
131298800caSStefan Hajnoczi     unsigned int sector_mask = BDRV_SECTOR_SIZE / sizeof(uint64_t) - 1;
132298800caSStefan Hajnoczi     unsigned int start, end, i;
133298800caSStefan Hajnoczi     size_t len_bytes;
134298800caSStefan Hajnoczi 
135298800caSStefan Hajnoczi     trace_qed_write_table(s, offset, table, index, n);
136298800caSStefan Hajnoczi 
137298800caSStefan Hajnoczi     /* Calculate indices of the first and one after last elements */
138298800caSStefan Hajnoczi     start = index & ~sector_mask;
139298800caSStefan Hajnoczi     end = (index + n + sector_mask) & ~sector_mask;
140298800caSStefan Hajnoczi 
141298800caSStefan Hajnoczi     len_bytes = (end - start) * sizeof(uint64_t);
142298800caSStefan Hajnoczi 
143298800caSStefan Hajnoczi     write_table_cb = gencb_alloc(sizeof(*write_table_cb), cb, opaque);
144298800caSStefan Hajnoczi     write_table_cb->s = s;
145298800caSStefan Hajnoczi     write_table_cb->orig_table = table;
146298800caSStefan Hajnoczi     write_table_cb->flush = flush;
147298800caSStefan Hajnoczi     write_table_cb->table = qemu_blockalign(s->bs, len_bytes);
148298800caSStefan Hajnoczi     write_table_cb->iov.iov_base = write_table_cb->table->offsets;
149298800caSStefan Hajnoczi     write_table_cb->iov.iov_len = len_bytes;
150298800caSStefan Hajnoczi     qemu_iovec_init_external(&write_table_cb->qiov, &write_table_cb->iov, 1);
151298800caSStefan Hajnoczi 
152298800caSStefan Hajnoczi     /* Byteswap table */
153298800caSStefan Hajnoczi     for (i = start; i < end; i++) {
154298800caSStefan Hajnoczi         uint64_t le_offset = cpu_to_le64(table->offsets[i]);
155298800caSStefan Hajnoczi         write_table_cb->table->offsets[i - start] = le_offset;
156298800caSStefan Hajnoczi     }
157298800caSStefan Hajnoczi 
158298800caSStefan Hajnoczi     /* Adjust for offset into table */
159298800caSStefan Hajnoczi     offset += start * sizeof(uint64_t);
160298800caSStefan Hajnoczi 
161298800caSStefan Hajnoczi     aiocb = bdrv_aio_writev(s->bs->file, offset / BDRV_SECTOR_SIZE,
162298800caSStefan Hajnoczi                             &write_table_cb->qiov,
163*23e9a39eSZhi Yong Wu                             write_table_cb->qiov.size / BDRV_SECTOR_SIZE,
164298800caSStefan Hajnoczi                             qed_write_table_cb, write_table_cb);
165298800caSStefan Hajnoczi     if (!aiocb) {
166298800caSStefan Hajnoczi         qed_write_table_cb(write_table_cb, -EIO);
167298800caSStefan Hajnoczi     }
168298800caSStefan Hajnoczi }
169298800caSStefan Hajnoczi 
170298800caSStefan Hajnoczi /**
171298800caSStefan Hajnoczi  * Propagate return value from async callback
172298800caSStefan Hajnoczi  */
173298800caSStefan Hajnoczi static void qed_sync_cb(void *opaque, int ret)
174298800caSStefan Hajnoczi {
175298800caSStefan Hajnoczi     *(int *)opaque = ret;
176298800caSStefan Hajnoczi }
177298800caSStefan Hajnoczi 
178298800caSStefan Hajnoczi int qed_read_l1_table_sync(BDRVQEDState *s)
179298800caSStefan Hajnoczi {
180298800caSStefan Hajnoczi     int ret = -EINPROGRESS;
181298800caSStefan Hajnoczi 
182298800caSStefan Hajnoczi     qed_read_table(s, s->header.l1_table_offset,
183298800caSStefan Hajnoczi                    s->l1_table, qed_sync_cb, &ret);
184298800caSStefan Hajnoczi     while (ret == -EINPROGRESS) {
185298800caSStefan Hajnoczi         qemu_aio_wait();
186298800caSStefan Hajnoczi     }
187298800caSStefan Hajnoczi 
188298800caSStefan Hajnoczi     return ret;
189298800caSStefan Hajnoczi }
190298800caSStefan Hajnoczi 
191298800caSStefan Hajnoczi void qed_write_l1_table(BDRVQEDState *s, unsigned int index, unsigned int n,
192298800caSStefan Hajnoczi                         BlockDriverCompletionFunc *cb, void *opaque)
193298800caSStefan Hajnoczi {
194298800caSStefan Hajnoczi     BLKDBG_EVENT(s->bs->file, BLKDBG_L1_UPDATE);
195298800caSStefan Hajnoczi     qed_write_table(s, s->header.l1_table_offset,
196298800caSStefan Hajnoczi                     s->l1_table, index, n, false, cb, opaque);
197298800caSStefan Hajnoczi }
198298800caSStefan Hajnoczi 
199298800caSStefan Hajnoczi int qed_write_l1_table_sync(BDRVQEDState *s, unsigned int index,
200298800caSStefan Hajnoczi                             unsigned int n)
201298800caSStefan Hajnoczi {
202298800caSStefan Hajnoczi     int ret = -EINPROGRESS;
203298800caSStefan Hajnoczi 
204298800caSStefan Hajnoczi     qed_write_l1_table(s, index, n, qed_sync_cb, &ret);
205298800caSStefan Hajnoczi     while (ret == -EINPROGRESS) {
206298800caSStefan Hajnoczi         qemu_aio_wait();
207298800caSStefan Hajnoczi     }
208298800caSStefan Hajnoczi 
209298800caSStefan Hajnoczi     return ret;
210298800caSStefan Hajnoczi }
211298800caSStefan Hajnoczi 
212298800caSStefan Hajnoczi typedef struct {
213298800caSStefan Hajnoczi     GenericCB gencb;
214298800caSStefan Hajnoczi     BDRVQEDState *s;
215298800caSStefan Hajnoczi     uint64_t l2_offset;
216298800caSStefan Hajnoczi     QEDRequest *request;
217298800caSStefan Hajnoczi } QEDReadL2TableCB;
218298800caSStefan Hajnoczi 
219298800caSStefan Hajnoczi static void qed_read_l2_table_cb(void *opaque, int ret)
220298800caSStefan Hajnoczi {
221298800caSStefan Hajnoczi     QEDReadL2TableCB *read_l2_table_cb = opaque;
222298800caSStefan Hajnoczi     QEDRequest *request = read_l2_table_cb->request;
223298800caSStefan Hajnoczi     BDRVQEDState *s = read_l2_table_cb->s;
224298800caSStefan Hajnoczi     CachedL2Table *l2_table = request->l2_table;
225e4fc8781SStefan Hajnoczi     uint64_t l2_offset = read_l2_table_cb->l2_offset;
226298800caSStefan Hajnoczi 
227298800caSStefan Hajnoczi     if (ret) {
228298800caSStefan Hajnoczi         /* can't trust loaded L2 table anymore */
229298800caSStefan Hajnoczi         qed_unref_l2_cache_entry(l2_table);
230298800caSStefan Hajnoczi         request->l2_table = NULL;
231298800caSStefan Hajnoczi     } else {
232e4fc8781SStefan Hajnoczi         l2_table->offset = l2_offset;
233298800caSStefan Hajnoczi 
234298800caSStefan Hajnoczi         qed_commit_l2_cache_entry(&s->l2_cache, l2_table);
235298800caSStefan Hajnoczi 
236298800caSStefan Hajnoczi         /* This is guaranteed to succeed because we just committed the entry
237298800caSStefan Hajnoczi          * to the cache.
238298800caSStefan Hajnoczi          */
239e4fc8781SStefan Hajnoczi         request->l2_table = qed_find_l2_cache_entry(&s->l2_cache, l2_offset);
240298800caSStefan Hajnoczi         assert(request->l2_table != NULL);
241298800caSStefan Hajnoczi     }
242298800caSStefan Hajnoczi 
243298800caSStefan Hajnoczi     gencb_complete(&read_l2_table_cb->gencb, ret);
244298800caSStefan Hajnoczi }
245298800caSStefan Hajnoczi 
246298800caSStefan Hajnoczi void qed_read_l2_table(BDRVQEDState *s, QEDRequest *request, uint64_t offset,
247298800caSStefan Hajnoczi                        BlockDriverCompletionFunc *cb, void *opaque)
248298800caSStefan Hajnoczi {
249298800caSStefan Hajnoczi     QEDReadL2TableCB *read_l2_table_cb;
250298800caSStefan Hajnoczi 
251298800caSStefan Hajnoczi     qed_unref_l2_cache_entry(request->l2_table);
252298800caSStefan Hajnoczi 
253298800caSStefan Hajnoczi     /* Check for cached L2 entry */
254298800caSStefan Hajnoczi     request->l2_table = qed_find_l2_cache_entry(&s->l2_cache, offset);
255298800caSStefan Hajnoczi     if (request->l2_table) {
256298800caSStefan Hajnoczi         cb(opaque, 0);
257298800caSStefan Hajnoczi         return;
258298800caSStefan Hajnoczi     }
259298800caSStefan Hajnoczi 
260298800caSStefan Hajnoczi     request->l2_table = qed_alloc_l2_cache_entry(&s->l2_cache);
261298800caSStefan Hajnoczi     request->l2_table->table = qed_alloc_table(s);
262298800caSStefan Hajnoczi 
263298800caSStefan Hajnoczi     read_l2_table_cb = gencb_alloc(sizeof(*read_l2_table_cb), cb, opaque);
264298800caSStefan Hajnoczi     read_l2_table_cb->s = s;
265298800caSStefan Hajnoczi     read_l2_table_cb->l2_offset = offset;
266298800caSStefan Hajnoczi     read_l2_table_cb->request = request;
267298800caSStefan Hajnoczi 
268298800caSStefan Hajnoczi     BLKDBG_EVENT(s->bs->file, BLKDBG_L2_LOAD);
269298800caSStefan Hajnoczi     qed_read_table(s, offset, request->l2_table->table,
270298800caSStefan Hajnoczi                    qed_read_l2_table_cb, read_l2_table_cb);
271298800caSStefan Hajnoczi }
272298800caSStefan Hajnoczi 
273298800caSStefan Hajnoczi int qed_read_l2_table_sync(BDRVQEDState *s, QEDRequest *request, uint64_t offset)
274298800caSStefan Hajnoczi {
275298800caSStefan Hajnoczi     int ret = -EINPROGRESS;
276298800caSStefan Hajnoczi 
277298800caSStefan Hajnoczi     qed_read_l2_table(s, request, offset, qed_sync_cb, &ret);
278298800caSStefan Hajnoczi     while (ret == -EINPROGRESS) {
279298800caSStefan Hajnoczi         qemu_aio_wait();
280298800caSStefan Hajnoczi     }
281298800caSStefan Hajnoczi 
282298800caSStefan Hajnoczi     return ret;
283298800caSStefan Hajnoczi }
284298800caSStefan Hajnoczi 
285298800caSStefan Hajnoczi void qed_write_l2_table(BDRVQEDState *s, QEDRequest *request,
286298800caSStefan Hajnoczi                         unsigned int index, unsigned int n, bool flush,
287298800caSStefan Hajnoczi                         BlockDriverCompletionFunc *cb, void *opaque)
288298800caSStefan Hajnoczi {
289298800caSStefan Hajnoczi     BLKDBG_EVENT(s->bs->file, BLKDBG_L2_UPDATE);
290298800caSStefan Hajnoczi     qed_write_table(s, request->l2_table->offset,
291298800caSStefan Hajnoczi                     request->l2_table->table, index, n, flush, cb, opaque);
292298800caSStefan Hajnoczi }
293298800caSStefan Hajnoczi 
294298800caSStefan Hajnoczi int qed_write_l2_table_sync(BDRVQEDState *s, QEDRequest *request,
295298800caSStefan Hajnoczi                             unsigned int index, unsigned int n, bool flush)
296298800caSStefan Hajnoczi {
297298800caSStefan Hajnoczi     int ret = -EINPROGRESS;
298298800caSStefan Hajnoczi 
299298800caSStefan Hajnoczi     qed_write_l2_table(s, request, index, n, flush, qed_sync_cb, &ret);
300298800caSStefan Hajnoczi     while (ret == -EINPROGRESS) {
301298800caSStefan Hajnoczi         qemu_aio_wait();
302298800caSStefan Hajnoczi     }
303298800caSStefan Hajnoczi 
304298800caSStefan Hajnoczi     return ret;
305298800caSStefan Hajnoczi }
306