我们上一篇主要分析了boltdb初始化,也就是创建一个新的数据库的过程。

读取

数据库如果直接从文件读取,会效率低下,因此bolt做了一个mmap,也就是将数据使用内存映射的方法读取对应的数据。
我们接着第一篇的脚步,往后面执行。

// Initialize page pool.
db.pagePool = sync.Pool{
    New: func() interface{} {
        return make([]byte, db.pageSize)
    },
}

// Memory map the data file.
if err := db.mmap(options.InitialMmapSize); err != nil {
    _ = db.close()
    return nil, err
}

// Read in the freelist.
db.freelist = newFreelist()
db.freelist.read(db.page(db.meta().freelist))

创建pagePool就忽略吧,页面池创建一个新的页面。
接下来是mmap了,我们看下是如何工作的。

mmap

首先我们看下mmap是如何工作的

func (db *DB) mmap(minsz int) error {
    db.mmaplock.Lock()
    defer db.mmaplock.Unlock()

    info, err := db.file.Stat()
    if err != nil {
        return fmt.Errorf("mmap stat error: %s", err)
    } else if int(info.Size()) < db.pageSize*2 {
        return fmt.Errorf("file size too small")
    }

    // Ensure the size is at least the minimum size.
    var size = int(info.Size())
    if size < minsz {
        size = minsz
    }
    size, err = db.mmapSize(size)
    if err != nil {
        return err
    }

    // Dereference all mmap references before unmapping.
    if db.rwtx != nil {
        db.rwtx.root.dereference()
    }

    // Unmap existing data before continuing.
    if err := db.munmap(); err != nil {
        return err
    }

    // Memory-map the data file as a byte slice.
    if err := mmap(db, size); err != nil {
        return err
    }

    // Save references to the meta pages.
    db.meta0 = db.page(0).meta()
    db.meta1 = db.page(1).meta()

    // Validate the meta pages. We only return an error if both meta pages fail
    // validation, since meta0 failing validation means that it wasn't saved
    // properly -- but we can recover using meta1. And vice-versa.
    err0 := db.meta0.validate()
    err1 := db.meta1.validate()
    if err0 != nil && err1 != nil {
        return err0
    }

    return nil
}

程序首先加了一个锁,也就是说,从文件往内存映射的时候,一次只允许映射一次。
我们从前文知道,创建文件的时候至少创建了4个pageSize,而且options的默认InitialMmapSize没有指定,因此判断一次映射多大的时候就是用文件大小进行判断。
文件映射的大小从32K逐次翻倍直到1G,然后如果文件大小大于1G,就直接每次增加1G。
再对文件进行映射前,先解除引用,然后再进行映射。
我们之前知道,文件的前两页是metaPage,因此读取出来即可。

freelist

程序接下来创建freelist页面,我们看下freelist的结构

type freelist struct {
    ids     []pgid          
    pending map[txid][]pgid 
    cache   map[pgid]bool   
}

结构比较简单。
ids是指可用的页面的Id
pending指将要空闲的页面,由于数据库中的各种事务,一些操作后部分页面就可以被释放了。
cache就是做了一个缓存,看一个页面是否可用。
我们在配置metaPage的时候强行指定了freelist的page位置是2,

db.freelist.read(db.page(db.meta().freelist))

由于我们在创建的时候没有对freelist进行配置,因此freelist读取之后也没有什么变化

结构

通过我们之前的阅读,我们知道目前的数据库结构如下

+----------+------------+-----------+-----------+
|          |            |           |           |
|          |            |           |           |
|          |            |           |           |
|          |            |           |           |
|   meta   |  meta      | freelist  |  leafpage |
|          |            |           |           |
|          |            |           |           |
|          |            |           |           |
|          |            |           |           |
|          |            |           |           |
|          |            |           |           |
+----------+------------+-----------+-----------+

到此为止,一个数据库的初始工作结束了。

golang boltdb 源码

发表新评论