轉(zhuǎn)載自:http://www.cnblogs.com/lizhenghn/p/3854244.html
前段時(shí)間剛試用了一個(gè)序列化工具cereal，請(qǐng)看cereal:C++實(shí)現(xiàn)的開(kāi)源序列化庫(kù)，打算再總結(jié)下我對(duì)google proto buf序列化庫(kù)的使用呢，
結(jié)果還沒(méi)動(dòng)手，大Google又出了一個(gè)新的、開(kāi)源、跨平臺(tái)的序列化工具：FlatBuffers。那就索性先了解了解這個(gè)工具把。
一. 什么是Google FlatBuffers
FlatBuffers是一個(gè)開(kāi)源的、跨平臺(tái)的、高效的、提供了C++/Java接口的序列化工具庫(kù)。它是Google專(zhuān)門(mén)為游戲開(kāi)發(fā)或其他性能敏感的應(yīng)用程序需求而創(chuàng)建。尤其更適用于移動(dòng)平臺(tái)，這些平臺(tái)上內(nèi)存大小及帶寬相比桌面系統(tǒng)都是受限的，而應(yīng)用程序比如游戲又有更高的性能要求。它將序列化數(shù)據(jù)存儲(chǔ)在緩存中，這些數(shù)據(jù)既可以存儲(chǔ)在文件中，又可以通過(guò)網(wǎng)絡(luò)原樣傳輸，而不需要任何解析開(kāi)銷(xiāo)。
代碼托管主頁(yè)：https://github.com/google/flatbuffers；
項(xiàng)目介紹主頁(yè)：http://google.github.io/flatbuffers/index.html；
二. 為什么要使用Google FlatBuffers
- 對(duì)序列化數(shù)據(jù)的訪問(wèn)不需要打包和拆包——它將序列化數(shù)據(jù)存儲(chǔ)在緩存中，這些數(shù)據(jù)既可以存儲(chǔ)在文件中，又可以通過(guò)網(wǎng)絡(luò)原樣傳輸，而沒(méi)有任何解析開(kāi)銷(xiāo)；
- 內(nèi)存效率和速度——訪問(wèn)數(shù)據(jù)時(shí)的唯一內(nèi)存需求就是緩沖區(qū)，不需要額外的內(nèi)存分配。 這里可查看詳細(xì)的基準(zhǔn)測(cè)試；
- 擴(kuò)展性、靈活性——它支持的可選字段意味著不僅能獲得很好的前向/后向兼容性（對(duì)于長(zhǎng)生命周期的游戲來(lái)說(shuō)尤其重要，因?yàn)椴恍枰總€(gè)新版本都更新所有數(shù)據(jù)）；
- 最小代碼依賴(lài)——僅僅需要自動(dòng)生成的少量代碼和一個(gè)單一的頭文件依賴(lài)，很容易集成到現(xiàn)有系統(tǒng)中。再次，看基準(zhǔn)部分細(xì)節(jié)；
- 強(qiáng)類(lèi)型設(shè)計(jì)——盡可能使錯(cuò)誤出現(xiàn)在編譯期，而不是等到運(yùn)行期才手動(dòng)檢查和修正；
- 使用簡(jiǎn)單——生成的C++代碼提供了簡(jiǎn)單的訪問(wèn)和構(gòu)造接口；而且如果需要，通過(guò)一個(gè)可選功能可以用來(lái)在運(yùn)行時(shí)高效解析Schema和類(lèi)JSON格式的文本；
- 跨平臺(tái)——支持C++11、Java，而不需要任何依賴(lài)庫(kù)；在最新的gcc、clang、vs2010等編譯器上工作良好；
三. 為什么不使用Protocol Buffers的，或者JSON
Protocol Buffers的確和FlatBuffers比較類(lèi)似，但其主要區(qū)別在于FlatBuffers在訪問(wèn)數(shù)據(jù)前不需要解析/拆包這一步。 而且Protocol Buffers既沒(méi)有可選的文本導(dǎo)入/導(dǎo)出功能，也沒(méi)有Schemas語(yǔ)法特性（比如union）。
JSON是非常可讀的，而且當(dāng)和動(dòng)態(tài)類(lèi)型語(yǔ)言（如JavaScript）一起使用時(shí)非常方便。然而在靜態(tài)類(lèi)型語(yǔ)言中序列化數(shù)據(jù)時(shí)，JSON不但具有運(yùn)行效率低的明顯缺點(diǎn)，而且會(huì)讓你寫(xiě)更多的代碼來(lái)訪問(wèn)數(shù)據(jù)（這個(gè)與直覺(jué)相反）。
想了解更多關(guān)于FlatBuffers的“為什么”請(qǐng)?jiān)L問(wèn)flatbuffers白皮書(shū)。
四. 內(nèi)建的數(shù)據(jù)類(lèi)型
- 8 bit:
byte ubyte bool - 16 bit:
short ushort - 32 bit:
int uint float - 64 bit:
long ulong double - Vector of any other type (denoted with
[type]). Nesting vectors is not supported, instead you can wrap the inner vector in a table. - string, which may only hold UTF-8 or 7-bit ASCII. For other text encodings or general binary data use vectors (
[byte] or [ubyte]) instead. - References to other tables or structs, enums or unions.
詳細(xì)介紹請(qǐng)參考：schema語(yǔ)法格式。
五. 如何使用
- 編寫(xiě)一個(gè)用來(lái)定義你想序列化的數(shù)據(jù)的schema文件（又稱(chēng)IDL），數(shù)據(jù)類(lèi)型可以是各種大小的int、float，或者是string、array，或者另一對(duì)象的引用，甚至是對(duì)象集合；
- 各個(gè)數(shù)據(jù)屬性都是可選的，且可以設(shè)置默認(rèn)值。
- 使用FlatBuffer編譯器flatc生成C++頭文件或者Java類(lèi)，生成的代碼里額外提供了訪問(wèn)、構(gòu)造序列化數(shù)據(jù)的輔助類(lèi)。生成的代碼僅僅依賴(lài)flatbuffers.h；請(qǐng)看如何生成；
- 使用FlatBufferBuilder類(lèi)構(gòu)造一個(gè)二進(jìn)制buffer。你可以向這個(gè)buffer里循環(huán)添加各種對(duì)象，而且很簡(jiǎn)單，就是一個(gè)單一函數(shù)調(diào)用；
- 保存或者發(fā)送該buffer
- 當(dāng)再次讀取該buffer時(shí)，你可以得到這個(gè)buffer根對(duì)象的指針，然后就可以簡(jiǎn)單的就地讀取數(shù)據(jù)內(nèi)容；
六. 一個(gè)簡(jiǎn)單的Schemas（IDL）文件
namespace zl.persons;
enum GENDER_TYPE : byte
{
MALE = 0,
FEMALE = 1,
OTHER = 2
}
table personal_info
{
id : uint;
name : string;
age : byte;
gender : GENDER_TYPE;
phone_num : ulong;
}
table personal_info_list
{
info : [personal_info];
}
root_type personal_info_list;
注意：這里有table、struct的區(qū)別：
table是Flatbuffers中用來(lái)定義對(duì)象的主要方式，和struct最大的區(qū)別在于：它的每個(gè)字段都是可選的（類(lèi)似protobuf中的optional字段），而struct的所有成員都是required。
table除了成員名稱(chēng)和類(lèi)型之外，還可以給成員一個(gè)默認(rèn)值，如果不顯式指定，則默認(rèn)為0（或空）。struct不能定義scalar成員，比如說(shuō)string類(lèi)型的成員。在生成C++代碼時(shí)，struct的成員順序會(huì)保持和IDL的定義順序一致，如果有必要對(duì)齊，生成器會(huì)自動(dòng)生成用于對(duì)齊的額外成員。如以下Schemas代碼：
struct STest
{
a : int;
b : int;
c : byte;
}
在生成為C++代碼之后，會(huì)補(bǔ)充兩個(gè)用于padding的成員__padding0與__padding1：
MANUALLY_ALIGNED_STRUCT(4) STest {
private:
int32_t a_;
int32_t b_;
int8_t c_;
int8_t __padding0;
int16_t __padding1;
public:
STest(int32_t a, int32_t b, int8_t c)
: a_(flatbuffers::EndianScalar(a)), b_(flatbuffers::EndianScalar(b)), c_(flatbuffers::EndianScalar(c)), __padding0(0) {}
int32_t a() const { return flatbuffers::EndianScalar(a_); }
int32_t b() const { return flatbuffers::EndianScalar(b_); }
int8_t c() const { return flatbuffers::EndianScalar(c_); }
};
STRUCT_END(STest, 12);
table的成員順序是動(dòng)態(tài)調(diào)整的，這和struct有區(qū)別。在生成C++代碼時(shí)，生成器會(huì)自動(dòng)調(diào)整為最佳順序以保證它占用最小的內(nèi)存空間。
七. 一個(gè)完整Demo
這里只給一個(gè)函數(shù)演示如何對(duì)對(duì)象進(jìn)行序列化，完整工程請(qǐng)直接點(diǎn)擊下載，或者前往github查看google_flatbuffers_test。
std::string CreateOnePerson()
{
flatbuffers::FlatBufferBuilder builder;
fb_offset<fb_string> name = builder.CreateString("hello word");
zl::persons::personal_infoBuilder pib(builder);
pib.add_id(1);
pib.add_age(25);
pib.add_gender(zl::persons::GENDER_TYPE_MALE);
pib.add_name(name);
pib.add_phone_num(1234567890);
flatbuffers::Offset<zl::persons::personal_info> personinfo = pib.Finish();
fb_offset<zl::persons::personal_info> info[1];
info[0] = personinfo;
fb_offset<fb_vector<fb_offset<zl::persons::personal_info>>> info_array = fb_create_vector(builder, info, sizeof(info) / sizeof(info[0]));
fb_offset<zl::persons::personal_info_list> info_list = create_personal_info_list(builder, info_array);
fb_finish(builder, info_list);
// return the buffer for the caller to use.
return std::string(reinterpret_cast<const char *>(builder.GetBufferPointer()), builder.GetSize());
}
八. 其他
關(guān)于性能，除了Google公布的基準(zhǔn)測(cè)試外，有人自己測(cè)試驗(yàn)證過(guò)，上面的IDL文件即來(lái)源于該作者的這篇文章。
九. 參考
http://google.github.io/flatbuffers/index.html
http://powman.org/archives/md__schemas.html
http://blog.csdn.net/menggucaoyuan/article/details/34409433
http://liubin.org/2014/06/19/google-flatbuffers-cross-platform-serialization-library/
posted on 2016-11-30 08:55
思月行云 閱讀(658)
評(píng)論(0) 編輯 收藏 引用 所屬分類(lèi):
C\C++ 、
Golang