轉載自:http://www.cnblogs.com/lizhenghn/p/3854244.html
前段時間剛試用了一個序列化工具cereal，請看cereal:C++實現的開源序列化庫，打算再總結下我對google proto buf序列化庫的使用呢，
結果還沒動手，大Google又出了一個新的、開源、跨平臺的序列化工具：FlatBuffers。那就索性先了解了解這個工具把。
一. 什么是Google FlatBuffers
FlatBuffers是一個開源的、跨平臺的、高效的、提供了C++/Java接口的序列化工具庫。它是Google專門為游戲開發或其他性能敏感的應用程序需求而創建。尤其更適用于移動平臺，這些平臺上內存大小及帶寬相比桌面系統都是受限的，而應用程序比如游戲又有更高的性能要求。它將序列化數據存儲在緩存中，這些數據既可以存儲在文件中，又可以通過網絡原樣傳輸，而不需要任何解析開銷。
代碼托管主頁：https://github.com/google/flatbuffers；
項目介紹主頁：http://google.github.io/flatbuffers/index.html；
二. 為什么要使用Google FlatBuffers
- 對序列化數據的訪問不需要打包和拆包——它將序列化數據存儲在緩存中，這些數據既可以存儲在文件中，又可以通過網絡原樣傳輸，而沒有任何解析開銷；
- 內存效率和速度——訪問數據時的唯一內存需求就是緩沖區，不需要額外的內存分配。 這里可查看詳細的基準測試；
- 擴展性、靈活性——它支持的可選字段意味著不僅能獲得很好的前向/后向兼容性（對于長生命周期的游戲來說尤其重要，因為不需要每個新版本都更新所有數據）；
- 最小代碼依賴——僅僅需要自動生成的少量代碼和一個單一的頭文件依賴，很容易集成到現有系統中。再次，看基準部分細節；
- 強類型設計——盡可能使錯誤出現在編譯期，而不是等到運行期才手動檢查和修正；
- 使用簡單——生成的C++代碼提供了簡單的訪問和構造接口；而且如果需要，通過一個可選功能可以用來在運行時高效解析Schema和類JSON格式的文本；
- 跨平臺——支持C++11、Java，而不需要任何依賴庫；在最新的gcc、clang、vs2010等編譯器上工作良好；
三. 為什么不使用Protocol Buffers的，或者JSON
Protocol Buffers的確和FlatBuffers比較類似，但其主要區別在于FlatBuffers在訪問數據前不需要解析/拆包這一步。 而且Protocol Buffers既沒有可選的文本導入/導出功能，也沒有Schemas語法特性（比如union）。
JSON是非常可讀的，而且當和動態類型語言（如JavaScript）一起使用時非常方便。然而在靜態類型語言中序列化數據時，JSON不但具有運行效率低的明顯缺點，而且會讓你寫更多的代碼來訪問數據（這個與直覺相反）。
想了解更多關于FlatBuffers的“為什么”請訪問flatbuffers白皮書。
四. 內建的數據類型
- 8 bit:
byte ubyte bool - 16 bit:
short ushort - 32 bit:
int uint float - 64 bit:
long ulong double - Vector of any other type (denoted with
[type]). Nesting vectors is not supported, instead you can wrap the inner vector in a table. - string, which may only hold UTF-8 or 7-bit ASCII. For other text encodings or general binary data use vectors (
[byte] or [ubyte]) instead. - References to other tables or structs, enums or unions.
詳細介紹請參考：schema語法格式。
五. 如何使用
- 編寫一個用來定義你想序列化的數據的schema文件（又稱IDL），數據類型可以是各種大小的int、float，或者是string、array，或者另一對象的引用，甚至是對象集合；
- 各個數據屬性都是可選的，且可以設置默認值。
- 使用FlatBuffer編譯器flatc生成C++頭文件或者Java類，生成的代碼里額外提供了訪問、構造序列化數據的輔助類。生成的代碼僅僅依賴flatbuffers.h；請看如何生成；
- 使用FlatBufferBuilder類構造一個二進制buffer。你可以向這個buffer里循環添加各種對象，而且很簡單，就是一個單一函數調用；
- 保存或者發送該buffer
- 當再次讀取該buffer時，你可以得到這個buffer根對象的指針，然后就可以簡單的就地讀取數據內容；
六. 一個簡單的Schemas（IDL）文件
namespace zl.persons;
enum GENDER_TYPE : byte
{
MALE = 0,
FEMALE = 1,
OTHER = 2
}
table personal_info
{
id : uint;
name : string;
age : byte;
gender : GENDER_TYPE;
phone_num : ulong;
}
table personal_info_list
{
info : [personal_info];
}
root_type personal_info_list;
注意：這里有table、struct的區別：
table是Flatbuffers中用來定義對象的主要方式，和struct最大的區別在于：它的每個字段都是可選的（類似protobuf中的optional字段），而struct的所有成員都是required。
table除了成員名稱和類型之外，還可以給成員一個默認值，如果不顯式指定，則默認為0（或空）。struct不能定義scalar成員，比如說string類型的成員。在生成C++代碼時，struct的成員順序會保持和IDL的定義順序一致，如果有必要對齊，生成器會自動生成用于對齊的額外成員。如以下Schemas代碼：
struct STest
{
a : int;
b : int;
c : byte;
}
在生成為C++代碼之后，會補充兩個用于padding的成員__padding0與__padding1：
MANUALLY_ALIGNED_STRUCT(4) STest {
private:
int32_t a_;
int32_t b_;
int8_t c_;
int8_t __padding0;
int16_t __padding1;
public:
STest(int32_t a, int32_t b, int8_t c)
: a_(flatbuffers::EndianScalar(a)), b_(flatbuffers::EndianScalar(b)), c_(flatbuffers::EndianScalar(c)), __padding0(0) {}
int32_t a() const { return flatbuffers::EndianScalar(a_); }
int32_t b() const { return flatbuffers::EndianScalar(b_); }
int8_t c() const { return flatbuffers::EndianScalar(c_); }
};
STRUCT_END(STest, 12);
table的成員順序是動態調整的，這和struct有區別。在生成C++代碼時，生成器會自動調整為最佳順序以保證它占用最小的內存空間。
七. 一個完整Demo
這里只給一個函數演示如何對對象進行序列化，完整工程請直接點擊下載，或者前往github查看google_flatbuffers_test。
std::string CreateOnePerson()
{
flatbuffers::FlatBufferBuilder builder;
fb_offset<fb_string> name = builder.CreateString("hello word");
zl::persons::personal_infoBuilder pib(builder);
pib.add_id(1);
pib.add_age(25);
pib.add_gender(zl::persons::GENDER_TYPE_MALE);
pib.add_name(name);
pib.add_phone_num(1234567890);
flatbuffers::Offset<zl::persons::personal_info> personinfo = pib.Finish();
fb_offset<zl::persons::personal_info> info[1];
info[0] = personinfo;
fb_offset<fb_vector<fb_offset<zl::persons::personal_info>>> info_array = fb_create_vector(builder, info, sizeof(info) / sizeof(info[0]));
fb_offset<zl::persons::personal_info_list> info_list = create_personal_info_list(builder, info_array);
fb_finish(builder, info_list);
// return the buffer for the caller to use.
return std::string(reinterpret_cast<const char *>(builder.GetBufferPointer()), builder.GetSize());
}
八. 其他
關于性能，除了Google公布的基準測試外，有人自己測試驗證過，上面的IDL文件即來源于該作者的這篇文章。
九. 參考
http://google.github.io/flatbuffers/index.html
http://powman.org/archives/md__schemas.html
http://blog.csdn.net/menggucaoyuan/article/details/34409433
http://liubin.org/2014/06/19/google-flatbuffers-cross-platform-serialization-library/
posted on 2016-11-30 08:55
思月行云 閱讀(678)
評論(0) 編輯 收藏 引用 所屬分類:
C\C++ 、
Golang