1.FREE SOLO - 自己动手实现Raft - 16 - leveldb源码分析与调试-2
2.LevelDB 源码剖析1 -- 原理
3.UE4 LevelSequence源码剖析（一）
4.同花顺LEVEL-2 BBD是什么意思
5.UE4 LevelSequence源码解析
6.FREE SOLO - 自己动手实现Raft - 17 - leveldb源码分析与调试-3

FREE SOLO - 自己动手实现Raft - 16 - leveldb源码分析与调试-2

       继续探讨leveldb的内部操作，首先解析写入过程。write-batch和leveldb key是核心数据结构，它们在数据写入中的角色至关重要。

       1. 数据写入流程：当通过DBImpl::Put或DB::Put添加键值对时，数据会被封装成write-batch。定点源码位乘法这个batch随后交给DBImpl::Write，最终由log::Writer::AddRecord负责将数据写入log。这样，数据便有了持久化的记录。

       2. 写入memtable：写入log后，数据还会被添加到memtable，便于快速查询。同样，DBImpl::Write通过MemTableInserter::Put调用MemTable::Add，将数据写入memtable，形成内存中的临时存储。

       3. 数据读取：对于查询，DBImpl::Get是起点，通过MemTable::Get调用SkipList::FindGreaterOrEqual在SortedTable的SkipList中搜索，提供即时的数据访问。

       总结：通过上述调用栈，我们可以对leveldb的写入和读取有更深入的理解。在后续的内容中，我们将关注大量数据写入对内存和磁盘影响的详细分析。

       期待在下次与您分享更多内容，再见！

       联系信息：email: castermode@gmail.com | 网站：vectordb.io | 项目未指定

LevelDB 源码剖析1 -- 原理

       LSM-Tree，全称Log-Structured Merge Tree，被广泛应用于数据库系统中，快手红包互换源码如HBase、Cassandra、LevelDB和SQLite，甚至MongoDB 3.0也引入了可选的LSM-Tree引擎。这种数据结构旨在提供优于传统B+树或ISAM（Indexed Sequential Access Method）方法的写入吞吐量，通过避免随机的本地更新操作实现。

       LSM-Tree的核心思想基于磁盘性能的特性：随机访问速度远低于顺序访问，三个数量级的差距。因此，简单地将数据附加至文件尾部（日志或堆文件策略）可以提供接近理论极限的写入吞吐量。尽管这种方法足够简单且性能良好，但它有一个明显的缺点：从日志中随机读取数据需要花费更多时间，因为需要按时间顺序从近及远扫描日志直至找到所需键。因此，日志策略仅适用于简单的数据访问场景。

       为了应对更复杂的读取需求，如基于键的搜索、范围搜索等，LSM-Tree引入了一种改进策略，通过创建一系列排序文件来存储数据，每次写入都会生成一个新的文件，同时保留了日志系统优秀的写性能。在读取数据时，系统会检查所有文件，并定期合并文件以减少文件数量，从而提高读取性能。

       在LSM-Tree的基本算法中，写入数据按照顺序保存到一组较小的排序文件中。每个文件代表了一段时间内的改图宝网站源码数据变更，且在写入前进行排序。内存表作为写入数据的缓冲区，用于保持键值的顺序。当内存表填满后，已排序的数据刷新到磁盘上的新文件。系统会周期性地执行合并操作，选择一些文件进行合并，以减少文件数量和删除冗余数据，同时维持读取性能。

       读取数据时，系统首先检查内存缓冲区，若未找到目标键，则以反向时间顺序检查各个文件，直到找到目标键。合并操作通过定期将文件合并在一起，控制文件数量和读取性能，即使文件数量增加，读取性能仍可保持在可接受范围内。通过使用内存中保存的页索引，可以优化读取操作，尤其是在文件末尾保留索引块，这通常比直接二进制搜索更高效。

       为了减少读取操作时访问的文件数量，新实现采用了分级合并（Leveled Compaction），即基于级别的文件合并策略。这不仅减少了最坏情况下需要访问的文件数量，还减少了单次压缩的副作用，同时提供更好的读取性能。分级合并与基本合并的预设开奖网源码主要区别在于文件合并的策略，这使得工作负载扩展合并的影响更高效，同时减少总空间需求。

UE4 LevelSequence源码剖析（一）

       UE4的LevelSequence源码解析系列将分四部分探讨，本篇聚焦Runtime部分。Runtime代码主要位于UnrealEngine\Engine\Source\Runtime\MovieScene目录，结构上主要包括Channels、Evaluation、Sections和Tracks等核心模块。

       ALevelSequenceActor是Runtime的核心，负责逐帧更新，它包含UMovieSceneSequence和ULevelSequencePlayer。ALevelSequenceActor独立于GameThread更新，并且在Actor和ActorComponent更新之前，确保其在RuntTickGroup之前执行。

       IMovieScenePlaybackClient的关键接口用于绑定，编辑器通过IMovieSceneBindingOwnerInterface提供直观的蓝图绑定机制。UMovieSceneSequence是LevelSequence资源实例，它支持SpawnableObject和PossessableObject，便于控制对象的拥有和分离。

       ULevelSequencePlayer作为播放控制器，由ALevelSequenceActor的Tick更新，具有指定对象在World和Sublevel中的功能，还包含用于时间控制的FMovieSceneTimeController。UMovieSceneTrack作为底层架构，由UMovieSceneSections组成，每个Section封装了Section的帧范围和对应Channel的数据。

       序列的Eval过程涉及EvalTemplate和ExecutionTokens，它们协同工作模拟Track。FMovieSceneEvaluationTemplate定义了Track的扫描点单源码模拟行为，而ExecutionTokens则是模拟过程中的最小单元。真正的模拟操作在FMovieSceneExecutionTokens的Apply函数中执行，通过BlendingAccumulator进行结果融合。

       自定义UMovieSceneTrack需要定义自己的EvaluationTemplate，这部分将在编辑器拓展部分详细讲解。序列的Runtime部分展示了如何在GameThread中高效管理和模拟场景变化，为后续的解析奠定了基础。

同花顺LEVEL-2 BBD是什么意思

       是个公式,BBD源码如下,演示下面网址里有

       p2:=SUBSAMEDAY(&BIGBUYCOUNT2);

       b2:=SUBSAMEDAY(&WAITBUYCOUNT2);

       p3:=SUBSAMEDAY(&BIGBUYCOUNT1);

       b3:=SUBSAMEDAY(&WAITBUYCOUNT1);

       n2:=SUBSAMEDAY(&BIGSELLCOUNT2);

       m2:=SUBSAMEDAY(&WAITSELLCOUNT2);

       n3:=SUBSAMEDAY(&BIGSELLCOUNT1);

       m3:=SUBSAMEDAY(&WAITSELLCOUNT1);

       主力量比:SUM(p2+b2+p3+b3-n2-m2-n3-m3,0)/V*;

       特单量比:SUM(p3+b3-n3-m3,0)/V*;

       大单量比:SUM(p2+b2-n2-m2,0)/V*;

       主被量比:(SUM(p2+p3-n2-n3,0)-SUM(b2+b3-m2-m3,0))/V*;

       /zhibiaogongshi/.html

UE4 LevelSequence源码解析

       本文旨在总结UE4中LevelSequence工具的学习理解，内容涉及LevelSequence结构、插值数据提取及数据导出实例，同时也提供了一些实用技巧。

       LevelSequence在UE4中分为运行时Runtime和编辑器Editor两部分。Runtime中，主要文件位于/Runtime/MovieScene和/Runtime/MovieSceneTracks文件夹下，包括了LevelSequence资产在关卡中的组成形式和播放设置。在Editor中，文件位于/Editor/Sequencer文件夹下，包含了Sequence的组成部分和通用方法。每个ALevelSequenceActor包含UMovieSceneSequence和ULevelSequencePlayer，前者存储数据，后者负责播放。

       UMovieSceneSequence和ULevelSequencePlayer的结构，展示了Sequence资产与当前场景之间的关系。Sequence数据按Actor组织，每个Actor可以持有多种UMovieSceneTrack，用于记录不同属性，所有Track均继承自UMovieScenePropertyTrack。Track由多个Section组成，Section由UMovieSceneChannel存储关键帧数据。

       LevelSequence的模拟过程由Evaluation实现，现在主要由EntitySystem负责，以支持多线程提高效率，具体解释见文章：Performance at scale: Sequencer in Unreal Engine 4. - Unreal Engine。

       在实际模拟中，关键数据的提取是重点。对于Transform等float类型数据，Sequence编辑器支持以曲线方式灵活调整关键值之间的变化过程。MovieSceneFloatValue结构体用于存储关键帧数据，通过访问该值即可获得对应数据。

       导出数据的实例是将Sequence内属性（如Transform）导出为曲线。首先获取LevelSequence资产，然后获取绑定的Actor。利用获取的Actor，可以进一步获得轨道，并将对应数据存储到曲线中。

       一些技巧包括：某些特殊Component在Sequence中作为同等层级存在，可通过此方式获取Component的Track；相对位置配置在Instance Data中，可通过变量获取对应数据；实践体验Sequence生成过程，建议通过/Editor/SequencerRecord入手，直观看到生成流程。

       参考文章包括：UE4 LevelSequence源码剖析（一）- 知乎、UE4 LevelSequence源码剖析（二）- 知乎、UE4 LevelSequence源码剖析（三）- 知乎、Performance at scale: Sequencer in Unreal Engine 4. - Unreal Engine。

FREE SOLO - 自己动手实现Raft - - leveldb源码分析与调试-3

       leveldb的数据流动路径是单向的，从内存中的memtable流向不可变的memtable，最终写入到磁盘上的sorted table文件中。以下是几个关键状态的分析，来了解内存和磁盘上数据的分布。

       以下是分析所涉及的状态：

       1. 数据全在内存中

       随机写入条数据，观察到数据全部存储在memtable中，此时还没有进行compaction操作。

       2. 数据全在磁盘中

       写入大量数据，并等待数据完全落盘后重启leveldb。此时，数据全部存储在磁盘中，分布在不同的level中。在每个level的sstable文件中，可以看到key的最大值与最小值。

       3. 数据部分在内存中，部分在磁盘中

       随机写入条数据，发现内存中的memtable已满，触发compaction操作，数据开始写入到sstable文件。同时，继续写入的数据由于还未达到memtable上限，仍然保存在内存中。

       4. 总结

       通过观察不同数据写入量导致的数据在内存与磁盘间的流动，我们可以看到leveldb内部状态的转换。

       下篇文章将分析LRUCache数据状态的变化。敬请期待！

深入源码解析LevelDB

       深入源码解析LevelDB

       LevelDB总体架构中，sstable文件的生成过程遵循一系列精心设计的步骤。首先，遍历immutable memtable中的key-value对，这些对被写入data_block，每当data_block达到特定大小，构造一个额外的key-value对并写入index_block。在这里，key为data_block的最大key，value为该data_block在sstable中的偏移量和大小。同时，构造filter_block，默认使用bloom filter，用于判断查找的key是否存在于data_block中，显著提升读取性能。meta_index_block随后生成，存储所有filter_block在sstable中的偏移和大小，此策略允许在将来支持生成多个filter_block，进一步提升读取性能。meta_index_block和index_block的偏移和大小保存在sstable的脚注footer中。

       sstable中的block结构遵循一致的模式，包括data_block、index_block和meta_index_block。为提高空间效率，数据按照key的字典顺序存储，采用前缀压缩方法处理。查找某一key时，必须从第一个key开始遍历才能恢复，因此每间隔一定数量（block_restart_interval）的key-value，全量存储一个key，并设置一个restart point。每个block被划分为多个相邻的key-value组成的集合，进行前缀压缩，并在数据区后存储起始位置的偏移。每一个restart都指向一个前缀压缩集合的起始点的偏移位置。最后一个位存储restart数组的大小，表示该block中包含多少个前缀压缩集合。

       filter_block在写入data_block时同步存储，当一个new data_block完成，根据data_block偏移生成一份bit位图存入filter_block，并清空key集合，重新开始存储下一份key集合。

       写入流程涉及日志记录，包括db的sequence number、本次记录中的操作个数及操作的key-value键值对。WriteBatch的batch_data包含多个键值对，leveldb支持延迟写和停止写策略，导致写队列可能堆积多个WriteBatch。为了优化性能，写入时会合并多个WriteBatch的batch_data。日志文件只记录写入memtable中的key-value，每次申请新memtable时也生成新日志文件。

       在写入日志时，对日志文件进行划分为多个K的文件块，每次读写以这样的每K为单位。每次写入的日志记录可能占用1个或多个文件块，因此日志记录块分为Full、First、Middle、Last四种类型，读取时需要拼接。

       读取流程从sstable的层级结构开始，0层文件特别，可能存在key重合，因此需要遍历与查找key有重叠的所有文件，文件编号大的优先查找，因为存储最新数据。非0层文件，一层中的文件之间key不重合，利用版本信息中的元数据进行二分搜索快速定位，仅需查找一个sstable文件。

       LevelDB的sstable文件生成与合并管理版本，通过读取log文件恢复memtable，仅读取文件编号大于等于min_log的日志文件，然后从日志文件中读取key-value键值对。

       LevelDB的LruCache机制分为table cache和block cache，底层实现为个shard的LruCache。table cache缓存sstable的索引数据，类似于文件系统对inode的缓存；block cache缓存block数据，类似于Linux中的page cache。table cache默认大小为，实际缓存的是个sstable文件的索引信息。block cache默认缓存8M字节的block数据。LruCache底层实现包含两个双向链表和一个哈希表，用于管理缓存数据。

       深入了解LevelDB的源码解析，有助于优化数据库性能和理解其高效数据存储机制。