1298800caSStefan Hajnoczi /* 2298800caSStefan Hajnoczi * QEMU Enhanced Disk Format Table I/O 3298800caSStefan Hajnoczi * 4298800caSStefan Hajnoczi * Copyright IBM, Corp. 2010 5298800caSStefan Hajnoczi * 6298800caSStefan Hajnoczi * Authors: 7298800caSStefan Hajnoczi * Stefan Hajnoczi <stefanha@linux.vnet.ibm.com> 8298800caSStefan Hajnoczi * Anthony Liguori <aliguori@us.ibm.com> 9298800caSStefan Hajnoczi * 10298800caSStefan Hajnoczi * This work is licensed under the terms of the GNU LGPL, version 2 or later. 11298800caSStefan Hajnoczi * See the COPYING.LIB file in the top-level directory. 12298800caSStefan Hajnoczi * 13298800caSStefan Hajnoczi */ 14298800caSStefan Hajnoczi 15298800caSStefan Hajnoczi #include "trace.h" 16298800caSStefan Hajnoczi #include "qemu_socket.h" /* for EINPROGRESS on Windows */ 17298800caSStefan Hajnoczi #include "qed.h" 18298800caSStefan Hajnoczi 19298800caSStefan Hajnoczi typedef struct { 20298800caSStefan Hajnoczi GenericCB gencb; 21298800caSStefan Hajnoczi BDRVQEDState *s; 22298800caSStefan Hajnoczi QEDTable *table; 23298800caSStefan Hajnoczi 24298800caSStefan Hajnoczi struct iovec iov; 25298800caSStefan Hajnoczi QEMUIOVector qiov; 26298800caSStefan Hajnoczi } QEDReadTableCB; 27298800caSStefan Hajnoczi 28298800caSStefan Hajnoczi static void qed_read_table_cb(void *opaque, int ret) 29298800caSStefan Hajnoczi { 30298800caSStefan Hajnoczi QEDReadTableCB *read_table_cb = opaque; 31298800caSStefan Hajnoczi QEDTable *table = read_table_cb->table; 32*23e9a39eSZhi Yong Wu int noffsets = read_table_cb->qiov.size / sizeof(uint64_t); 33298800caSStefan Hajnoczi int i; 34298800caSStefan Hajnoczi 35298800caSStefan Hajnoczi /* Handle I/O error */ 36298800caSStefan Hajnoczi if (ret) { 37298800caSStefan Hajnoczi goto out; 38298800caSStefan Hajnoczi } 39298800caSStefan Hajnoczi 40298800caSStefan Hajnoczi /* Byteswap offsets */ 41298800caSStefan Hajnoczi for (i = 0; i < noffsets; i++) { 42298800caSStefan Hajnoczi table->offsets[i] = le64_to_cpu(table->offsets[i]); 43298800caSStefan Hajnoczi } 44298800caSStefan Hajnoczi 45298800caSStefan Hajnoczi out: 46298800caSStefan Hajnoczi /* Completion */ 47298800caSStefan Hajnoczi trace_qed_read_table_cb(read_table_cb->s, read_table_cb->table, ret); 48298800caSStefan Hajnoczi gencb_complete(&read_table_cb->gencb, ret); 49298800caSStefan Hajnoczi } 50298800caSStefan Hajnoczi 51298800caSStefan Hajnoczi static void qed_read_table(BDRVQEDState *s, uint64_t offset, QEDTable *table, 52298800caSStefan Hajnoczi BlockDriverCompletionFunc *cb, void *opaque) 53298800caSStefan Hajnoczi { 54298800caSStefan Hajnoczi QEDReadTableCB *read_table_cb = gencb_alloc(sizeof(*read_table_cb), 55298800caSStefan Hajnoczi cb, opaque); 56298800caSStefan Hajnoczi QEMUIOVector *qiov = &read_table_cb->qiov; 57298800caSStefan Hajnoczi BlockDriverAIOCB *aiocb; 58298800caSStefan Hajnoczi 59298800caSStefan Hajnoczi trace_qed_read_table(s, offset, table); 60298800caSStefan Hajnoczi 61298800caSStefan Hajnoczi read_table_cb->s = s; 62298800caSStefan Hajnoczi read_table_cb->table = table; 63298800caSStefan Hajnoczi read_table_cb->iov.iov_base = table->offsets, 64298800caSStefan Hajnoczi read_table_cb->iov.iov_len = s->header.cluster_size * s->header.table_size, 65298800caSStefan Hajnoczi 66298800caSStefan Hajnoczi qemu_iovec_init_external(qiov, &read_table_cb->iov, 1); 67298800caSStefan Hajnoczi aiocb = bdrv_aio_readv(s->bs->file, offset / BDRV_SECTOR_SIZE, qiov, 68*23e9a39eSZhi Yong Wu qiov->size / BDRV_SECTOR_SIZE, 69298800caSStefan Hajnoczi qed_read_table_cb, read_table_cb); 70298800caSStefan Hajnoczi if (!aiocb) { 71298800caSStefan Hajnoczi qed_read_table_cb(read_table_cb, -EIO); 72298800caSStefan Hajnoczi } 73298800caSStefan Hajnoczi } 74298800caSStefan Hajnoczi 75298800caSStefan Hajnoczi typedef struct { 76298800caSStefan Hajnoczi GenericCB gencb; 77298800caSStefan Hajnoczi BDRVQEDState *s; 78298800caSStefan Hajnoczi QEDTable *orig_table; 79298800caSStefan Hajnoczi QEDTable *table; 80298800caSStefan Hajnoczi bool flush; /* flush after write? */ 81298800caSStefan Hajnoczi 82298800caSStefan Hajnoczi struct iovec iov; 83298800caSStefan Hajnoczi QEMUIOVector qiov; 84298800caSStefan Hajnoczi } QEDWriteTableCB; 85298800caSStefan Hajnoczi 86298800caSStefan Hajnoczi static void qed_write_table_cb(void *opaque, int ret) 87298800caSStefan Hajnoczi { 88298800caSStefan Hajnoczi QEDWriteTableCB *write_table_cb = opaque; 89298800caSStefan Hajnoczi 90298800caSStefan Hajnoczi trace_qed_write_table_cb(write_table_cb->s, 91298800caSStefan Hajnoczi write_table_cb->orig_table, 92298800caSStefan Hajnoczi write_table_cb->flush, 93298800caSStefan Hajnoczi ret); 94298800caSStefan Hajnoczi 95298800caSStefan Hajnoczi if (ret) { 96298800caSStefan Hajnoczi goto out; 97298800caSStefan Hajnoczi } 98298800caSStefan Hajnoczi 99298800caSStefan Hajnoczi if (write_table_cb->flush) { 100298800caSStefan Hajnoczi /* We still need to flush first */ 101298800caSStefan Hajnoczi write_table_cb->flush = false; 102298800caSStefan Hajnoczi bdrv_aio_flush(write_table_cb->s->bs, qed_write_table_cb, 103298800caSStefan Hajnoczi write_table_cb); 104298800caSStefan Hajnoczi return; 105298800caSStefan Hajnoczi } 106298800caSStefan Hajnoczi 107298800caSStefan Hajnoczi out: 108298800caSStefan Hajnoczi qemu_vfree(write_table_cb->table); 109298800caSStefan Hajnoczi gencb_complete(&write_table_cb->gencb, ret); 110298800caSStefan Hajnoczi return; 111298800caSStefan Hajnoczi } 112298800caSStefan Hajnoczi 113298800caSStefan Hajnoczi /** 114298800caSStefan Hajnoczi * Write out an updated part or all of a table 115298800caSStefan Hajnoczi * 116298800caSStefan Hajnoczi * @s: QED state 117298800caSStefan Hajnoczi * @offset: Offset of table in image file, in bytes 118298800caSStefan Hajnoczi * @table: Table 119298800caSStefan Hajnoczi * @index: Index of first element 120298800caSStefan Hajnoczi * @n: Number of elements 121298800caSStefan Hajnoczi * @flush: Whether or not to sync to disk 122298800caSStefan Hajnoczi * @cb: Completion function 123298800caSStefan Hajnoczi * @opaque: Argument for completion function 124298800caSStefan Hajnoczi */ 125298800caSStefan Hajnoczi static void qed_write_table(BDRVQEDState *s, uint64_t offset, QEDTable *table, 126298800caSStefan Hajnoczi unsigned int index, unsigned int n, bool flush, 127298800caSStefan Hajnoczi BlockDriverCompletionFunc *cb, void *opaque) 128298800caSStefan Hajnoczi { 129298800caSStefan Hajnoczi QEDWriteTableCB *write_table_cb; 130298800caSStefan Hajnoczi BlockDriverAIOCB *aiocb; 131298800caSStefan Hajnoczi unsigned int sector_mask = BDRV_SECTOR_SIZE / sizeof(uint64_t) - 1; 132298800caSStefan Hajnoczi unsigned int start, end, i; 133298800caSStefan Hajnoczi size_t len_bytes; 134298800caSStefan Hajnoczi 135298800caSStefan Hajnoczi trace_qed_write_table(s, offset, table, index, n); 136298800caSStefan Hajnoczi 137298800caSStefan Hajnoczi /* Calculate indices of the first and one after last elements */ 138298800caSStefan Hajnoczi start = index & ~sector_mask; 139298800caSStefan Hajnoczi end = (index + n + sector_mask) & ~sector_mask; 140298800caSStefan Hajnoczi 141298800caSStefan Hajnoczi len_bytes = (end - start) * sizeof(uint64_t); 142298800caSStefan Hajnoczi 143298800caSStefan Hajnoczi write_table_cb = gencb_alloc(sizeof(*write_table_cb), cb, opaque); 144298800caSStefan Hajnoczi write_table_cb->s = s; 145298800caSStefan Hajnoczi write_table_cb->orig_table = table; 146298800caSStefan Hajnoczi write_table_cb->flush = flush; 147298800caSStefan Hajnoczi write_table_cb->table = qemu_blockalign(s->bs, len_bytes); 148298800caSStefan Hajnoczi write_table_cb->iov.iov_base = write_table_cb->table->offsets; 149298800caSStefan Hajnoczi write_table_cb->iov.iov_len = len_bytes; 150298800caSStefan Hajnoczi qemu_iovec_init_external(&write_table_cb->qiov, &write_table_cb->iov, 1); 151298800caSStefan Hajnoczi 152298800caSStefan Hajnoczi /* Byteswap table */ 153298800caSStefan Hajnoczi for (i = start; i < end; i++) { 154298800caSStefan Hajnoczi uint64_t le_offset = cpu_to_le64(table->offsets[i]); 155298800caSStefan Hajnoczi write_table_cb->table->offsets[i - start] = le_offset; 156298800caSStefan Hajnoczi } 157298800caSStefan Hajnoczi 158298800caSStefan Hajnoczi /* Adjust for offset into table */ 159298800caSStefan Hajnoczi offset += start * sizeof(uint64_t); 160298800caSStefan Hajnoczi 161298800caSStefan Hajnoczi aiocb = bdrv_aio_writev(s->bs->file, offset / BDRV_SECTOR_SIZE, 162298800caSStefan Hajnoczi &write_table_cb->qiov, 163*23e9a39eSZhi Yong Wu write_table_cb->qiov.size / BDRV_SECTOR_SIZE, 164298800caSStefan Hajnoczi qed_write_table_cb, write_table_cb); 165298800caSStefan Hajnoczi if (!aiocb) { 166298800caSStefan Hajnoczi qed_write_table_cb(write_table_cb, -EIO); 167298800caSStefan Hajnoczi } 168298800caSStefan Hajnoczi } 169298800caSStefan Hajnoczi 170298800caSStefan Hajnoczi /** 171298800caSStefan Hajnoczi * Propagate return value from async callback 172298800caSStefan Hajnoczi */ 173298800caSStefan Hajnoczi static void qed_sync_cb(void *opaque, int ret) 174298800caSStefan Hajnoczi { 175298800caSStefan Hajnoczi *(int *)opaque = ret; 176298800caSStefan Hajnoczi } 177298800caSStefan Hajnoczi 178298800caSStefan Hajnoczi int qed_read_l1_table_sync(BDRVQEDState *s) 179298800caSStefan Hajnoczi { 180298800caSStefan Hajnoczi int ret = -EINPROGRESS; 181298800caSStefan Hajnoczi 182298800caSStefan Hajnoczi qed_read_table(s, s->header.l1_table_offset, 183298800caSStefan Hajnoczi s->l1_table, qed_sync_cb, &ret); 184298800caSStefan Hajnoczi while (ret == -EINPROGRESS) { 185298800caSStefan Hajnoczi qemu_aio_wait(); 186298800caSStefan Hajnoczi } 187298800caSStefan Hajnoczi 188298800caSStefan Hajnoczi return ret; 189298800caSStefan Hajnoczi } 190298800caSStefan Hajnoczi 191298800caSStefan Hajnoczi void qed_write_l1_table(BDRVQEDState *s, unsigned int index, unsigned int n, 192298800caSStefan Hajnoczi BlockDriverCompletionFunc *cb, void *opaque) 193298800caSStefan Hajnoczi { 194298800caSStefan Hajnoczi BLKDBG_EVENT(s->bs->file, BLKDBG_L1_UPDATE); 195298800caSStefan Hajnoczi qed_write_table(s, s->header.l1_table_offset, 196298800caSStefan Hajnoczi s->l1_table, index, n, false, cb, opaque); 197298800caSStefan Hajnoczi } 198298800caSStefan Hajnoczi 199298800caSStefan Hajnoczi int qed_write_l1_table_sync(BDRVQEDState *s, unsigned int index, 200298800caSStefan Hajnoczi unsigned int n) 201298800caSStefan Hajnoczi { 202298800caSStefan Hajnoczi int ret = -EINPROGRESS; 203298800caSStefan Hajnoczi 204298800caSStefan Hajnoczi qed_write_l1_table(s, index, n, qed_sync_cb, &ret); 205298800caSStefan Hajnoczi while (ret == -EINPROGRESS) { 206298800caSStefan Hajnoczi qemu_aio_wait(); 207298800caSStefan Hajnoczi } 208298800caSStefan Hajnoczi 209298800caSStefan Hajnoczi return ret; 210298800caSStefan Hajnoczi } 211298800caSStefan Hajnoczi 212298800caSStefan Hajnoczi typedef struct { 213298800caSStefan Hajnoczi GenericCB gencb; 214298800caSStefan Hajnoczi BDRVQEDState *s; 215298800caSStefan Hajnoczi uint64_t l2_offset; 216298800caSStefan Hajnoczi QEDRequest *request; 217298800caSStefan Hajnoczi } QEDReadL2TableCB; 218298800caSStefan Hajnoczi 219298800caSStefan Hajnoczi static void qed_read_l2_table_cb(void *opaque, int ret) 220298800caSStefan Hajnoczi { 221298800caSStefan Hajnoczi QEDReadL2TableCB *read_l2_table_cb = opaque; 222298800caSStefan Hajnoczi QEDRequest *request = read_l2_table_cb->request; 223298800caSStefan Hajnoczi BDRVQEDState *s = read_l2_table_cb->s; 224298800caSStefan Hajnoczi CachedL2Table *l2_table = request->l2_table; 225e4fc8781SStefan Hajnoczi uint64_t l2_offset = read_l2_table_cb->l2_offset; 226298800caSStefan Hajnoczi 227298800caSStefan Hajnoczi if (ret) { 228298800caSStefan Hajnoczi /* can't trust loaded L2 table anymore */ 229298800caSStefan Hajnoczi qed_unref_l2_cache_entry(l2_table); 230298800caSStefan Hajnoczi request->l2_table = NULL; 231298800caSStefan Hajnoczi } else { 232e4fc8781SStefan Hajnoczi l2_table->offset = l2_offset; 233298800caSStefan Hajnoczi 234298800caSStefan Hajnoczi qed_commit_l2_cache_entry(&s->l2_cache, l2_table); 235298800caSStefan Hajnoczi 236298800caSStefan Hajnoczi /* This is guaranteed to succeed because we just committed the entry 237298800caSStefan Hajnoczi * to the cache. 238298800caSStefan Hajnoczi */ 239e4fc8781SStefan Hajnoczi request->l2_table = qed_find_l2_cache_entry(&s->l2_cache, l2_offset); 240298800caSStefan Hajnoczi assert(request->l2_table != NULL); 241298800caSStefan Hajnoczi } 242298800caSStefan Hajnoczi 243298800caSStefan Hajnoczi gencb_complete(&read_l2_table_cb->gencb, ret); 244298800caSStefan Hajnoczi } 245298800caSStefan Hajnoczi 246298800caSStefan Hajnoczi void qed_read_l2_table(BDRVQEDState *s, QEDRequest *request, uint64_t offset, 247298800caSStefan Hajnoczi BlockDriverCompletionFunc *cb, void *opaque) 248298800caSStefan Hajnoczi { 249298800caSStefan Hajnoczi QEDReadL2TableCB *read_l2_table_cb; 250298800caSStefan Hajnoczi 251298800caSStefan Hajnoczi qed_unref_l2_cache_entry(request->l2_table); 252298800caSStefan Hajnoczi 253298800caSStefan Hajnoczi /* Check for cached L2 entry */ 254298800caSStefan Hajnoczi request->l2_table = qed_find_l2_cache_entry(&s->l2_cache, offset); 255298800caSStefan Hajnoczi if (request->l2_table) { 256298800caSStefan Hajnoczi cb(opaque, 0); 257298800caSStefan Hajnoczi return; 258298800caSStefan Hajnoczi } 259298800caSStefan Hajnoczi 260298800caSStefan Hajnoczi request->l2_table = qed_alloc_l2_cache_entry(&s->l2_cache); 261298800caSStefan Hajnoczi request->l2_table->table = qed_alloc_table(s); 262298800caSStefan Hajnoczi 263298800caSStefan Hajnoczi read_l2_table_cb = gencb_alloc(sizeof(*read_l2_table_cb), cb, opaque); 264298800caSStefan Hajnoczi read_l2_table_cb->s = s; 265298800caSStefan Hajnoczi read_l2_table_cb->l2_offset = offset; 266298800caSStefan Hajnoczi read_l2_table_cb->request = request; 267298800caSStefan Hajnoczi 268298800caSStefan Hajnoczi BLKDBG_EVENT(s->bs->file, BLKDBG_L2_LOAD); 269298800caSStefan Hajnoczi qed_read_table(s, offset, request->l2_table->table, 270298800caSStefan Hajnoczi qed_read_l2_table_cb, read_l2_table_cb); 271298800caSStefan Hajnoczi } 272298800caSStefan Hajnoczi 273298800caSStefan Hajnoczi int qed_read_l2_table_sync(BDRVQEDState *s, QEDRequest *request, uint64_t offset) 274298800caSStefan Hajnoczi { 275298800caSStefan Hajnoczi int ret = -EINPROGRESS; 276298800caSStefan Hajnoczi 277298800caSStefan Hajnoczi qed_read_l2_table(s, request, offset, qed_sync_cb, &ret); 278298800caSStefan Hajnoczi while (ret == -EINPROGRESS) { 279298800caSStefan Hajnoczi qemu_aio_wait(); 280298800caSStefan Hajnoczi } 281298800caSStefan Hajnoczi 282298800caSStefan Hajnoczi return ret; 283298800caSStefan Hajnoczi } 284298800caSStefan Hajnoczi 285298800caSStefan Hajnoczi void qed_write_l2_table(BDRVQEDState *s, QEDRequest *request, 286298800caSStefan Hajnoczi unsigned int index, unsigned int n, bool flush, 287298800caSStefan Hajnoczi BlockDriverCompletionFunc *cb, void *opaque) 288298800caSStefan Hajnoczi { 289298800caSStefan Hajnoczi BLKDBG_EVENT(s->bs->file, BLKDBG_L2_UPDATE); 290298800caSStefan Hajnoczi qed_write_table(s, request->l2_table->offset, 291298800caSStefan Hajnoczi request->l2_table->table, index, n, flush, cb, opaque); 292298800caSStefan Hajnoczi } 293298800caSStefan Hajnoczi 294298800caSStefan Hajnoczi int qed_write_l2_table_sync(BDRVQEDState *s, QEDRequest *request, 295298800caSStefan Hajnoczi unsigned int index, unsigned int n, bool flush) 296298800caSStefan Hajnoczi { 297298800caSStefan Hajnoczi int ret = -EINPROGRESS; 298298800caSStefan Hajnoczi 299298800caSStefan Hajnoczi qed_write_l2_table(s, request, index, n, flush, qed_sync_cb, &ret); 300298800caSStefan Hajnoczi while (ret == -EINPROGRESS) { 301298800caSStefan Hajnoczi qemu_aio_wait(); 302298800caSStefan Hajnoczi } 303298800caSStefan Hajnoczi 304298800caSStefan Hajnoczi return ret; 305298800caSStefan Hajnoczi } 306