我们首先不先讲什么理论知识，这些东西对于一点都没有概念的人来说会感觉很抽象。现在的开源社区这么多的项目，这些项目就是很好的学习资源。这里先由我通过分析开源项目的源码，来一步一步剖析原理，编写一个简单的数据库需要什么准备。
277 |https://github.com/xujiajun/nutsdb
280 | 这个一个用golang编写的k/v数据库，该仓库的的社区还持续更新着。
281 | 我们先把这个repo克隆下来，跟着开源作者的思路来一步一步构建数据库的概念。chekout第一次提交。
git clone https://github.com/xujiajun/nutsdb.git 283 | git checkout 7c0a5b6 284 |
那我们就可以看到以下目录结构（将无关的文件忽略掉了），先大概讲下这里的文件的作用
285 |├── bptree.go # 写了一些B+树的操作 286 | ├── datafile.go # 写了存放数据文件抽象 287 | ├── db.go # 数据库的抽象 288 | ├── entry.go # 数据包装 289 | ├── options.go # 数据库的配置选项 290 | ├── tx.go # 事务的包装 291 | └── utils.go 292 |
那么我们知道的了它们的调用关系
293 |options -> db -> tx -> entry -> datafile 294 | -> bptree 295 |
在这个commit的文件中，我们可以看到example文件夹，我们选择 example/basic/main.go作为分析的大门。
296 | 函数 ：db.update()
func put() { 298 | if err := db.Update( 299 | func(tx *nutsdb.Tx) error { 300 | key := []byte("name1") 301 | val := []byte("val1") 302 | if err := tx.Put(bucket, key, val, 0); err != nil { 303 | return err 304 | } 305 | return nil 306 | }); err != nil { 307 | log.Fatal(err) 308 | } 309 | } 310 |
函数 ：db.Update -> db.managed() ；看到这段代码我 们就大概知道nutsdb数据库写操作时的思路了。看下面的代码注释，主要分为了3步：
311 |// managed calls a block of code that is fully contained in a transactio 317 | func (db *DB) managed(writable bool, fn func(tx *Tx) error) (err error) { 318 | # writeable 是否可写 ，需要对数据库进行修改时 传参为true 319 | var tx *Tx 320 | tx, err = db.Begin(writable) 321 | # 1->创建事务，并且加锁，保证当前事务独占 322 | if err != nil { 323 | return 324 | } 325 | 326 | if err = fn(tx); err != nil { 327 | # 2->执行数据库的操作，还没写入文件，这时执行put操作，用一个切片进行保存 328 | err = tx.Rollback() 329 | # 操作失败，进行回滚 330 | return 331 | } 332 | 333 | if err = tx.Commit(); err != nil { 334 | # 3->提交修改，将切片的数据写入文件，并创建索引 335 | err = tx.Rollback() 336 | return 337 | } 338 | 339 | return 340 | } 341 |
下面们分析下这3个步里具体做了什么？
342 |1--> db.Begin()
343 |# tx的结构题 ->代表事务 344 | type Tx struct { 345 | id uint64 # 事务id 346 | db *DB # 事务所执行的db 347 | writable bool # 是否有写操作 348 | pendingWrites []*Entry # 等待写入的数据 349 | } 350 | 351 | func (db *DB) Begin(writable bool) (tx *Tx, err error) { 352 | tx, err = newTx(db, writable) 353 | # 创建事务实例 354 | if err != nil { 355 | return nil, err 356 | } 357 | 358 | tx.lock() 359 | # 加上事务锁 360 | if db.closed { 361 | tx.unlock() 362 | return nil, ErrDBClosed 363 | } 364 | 365 | return 366 | } 367 |
2--> db.Put()
368 | 第二步是参数传入的函数，即db.update() 里的函数。主要就是创建一对键值数据，然后调用db.Put()函数。
func (tx *Tx) put(bucket string, key, value []byte, ttl uint32, flag uint16, timestamp uint64) error { 370 | # bucket 相当于mongodb 的collection ，可称表名 371 | # key,value 即将存入的数据 372 | # ttl 过期时间 373 | # timestamp 时间戳 374 | if err := tx.checkTxIsClosed(); err != nil { 375 | return err 376 | } 377 | 378 | if !tx.writable { 379 | return ErrTxNotWritable 380 | } 381 | 382 | if len(key) == 0 { 383 | return ErrKeyEmpty 384 | } 385 | # entry 是每一条数据的包装，将准备要写的数据其append到tx.pendingWrites 待写 386 | tx.pendingWrites = append(tx.pendingWrites, &Entry{ 387 | Key: key, 388 | Value: value, 389 | Meta: &MetaData{ 390 | keySize: uint32(len(key)), 391 | valueSize: uint32(len(value)), 392 | timestamp: timestamp, 393 | Flag: flag, 394 | TTL: ttl, 395 | bucket: []byte(bucket), 396 | bucketSize: uint32(len(bucket)), 397 | status: UnCommitted, 398 | txId: tx.id, 399 | }, 400 | }) 401 | 402 | return nil 403 | } 404 |
// 5. Unlock the database and clear the db field. 405 | func (tx *Tx) Commit() error { 406 | # 在函数进行写入操作 407 | var e *Entry 408 | 409 | if tx.db == nil { 410 | return ErrDBClosed 411 | } 412 | 413 | writesLen := len(tx.pendingWrites) 414 | 415 | if writesLen == 0 { 416 | tx.unlock() 417 | tx.db = nil 418 | return nil 419 | } 420 | 421 | for i := 0; i < writesLen; i++ { 422 | entry := tx.pendingWrites[i] 423 | entrySize := entry.Size() 424 | if entrySize > tx.db.opt.SegmentSize { 425 | # 判断每条数据的大小是否超过设定的段大小 426 | return ErrKeyAndValSize 427 | } 428 | 429 | if tx.db.ActiveFile.ActualSize+entrySize > tx.db.opt.SegmentSize { 430 | # 如果当前存储的.dat文件超过大小，则需要进行rotate操作，换一个文件写入 431 | if err := tx.rotateActiveFile(); err != nil { 432 | return err 433 | } 434 | } 435 | 436 | if i == writesLen-1 { 437 | # 更改数据的状态 438 | entry.Meta.status = Committed 439 | } 440 | 441 | off := tx.db.ActiveFile.writeOff 442 | # 当前写入文件的末尾byte数 443 | if _, err := tx.db.ActiveFile.WriteAt(entry.Encode(), off); err != nil { 444 | # 写入当前数据库文件的末尾 445 | return err 446 | } 447 | 448 | tx.db.ActiveFile.ActualSize += entrySize 449 | tx.db.ActiveFile.writeOff += entrySize 450 | # 更新数据库文件的大小信息 ， 末尾位置 451 | 452 | if tx.db.opt.EntryIdxMode == HintAndRAMIdxMode { 453 | entry.Meta.status = Committed 454 | e = entry 455 | } else { 456 | e = nil 457 | } 458 | 459 | countFlag := CountFlagEnabled 460 | if tx.db.opt.IsMerging { 461 | countFlag = CountFlagDisabled 462 | } 463 | bucket := string(entry.Meta.bucket) 464 | if _, ok := tx.db.HintIdx[bucket]; !ok { 465 | # 若当前表么有建立索引，则建立一个 466 | tx.db.HintIdx[bucket] = NewTree() 467 | } 468 | _ = tx.db.HintIdx[bucket].Insert(entry.Key, e, &Hint{ 469 | # 插入索引，将数据的位置记录到b+树的数据结构。中 470 | fileId: tx.db.ActiveFile.fileId, 471 | # 数据库源文件的id，对应哪个文件 472 | key: entry.Key, 473 | meta: entry.Meta, 474 | dataPos: uint64(off), 475 | # 直接指向记录在数据库文件的位置，加快了检索速度 476 | }, countFlag) 477 | tx.db.KeyCount++ 478 | } 479 | 480 | tx.unlock() 481 | 482 | tx.db = nil 483 | 484 | return nil 485 | } 486 |
通过上面的分析，我们可以得出，编写一个最简单数据库需要一些最基本的知识
489 |