皮皮网

1.protobuf基本使用
2.Protocol Buffer详解（一）
3.protobuf 详解
4.Qt6.3 for Android - Protobuf交叉编译
5.当creator遇上protobufjs|相遇
6.1.1.1模型描述与序列化方法之Protobuf（一）：初步使用

protobuf基本使用

       Protocol Buffers，源码简称为 Protobuf，源码是源码一种由 Google 提出的高效、灵活的源码数据序列化方法。它旨在提供数据存储和通信协议的源码解决方案，比 XML 更小巧、源码源码 winform 转uwp更快速，源码同时拥有更简单的源码使用方式。Protocol Buffers 的源码核心优势在于不需要手动解析结构，提供了一种定义数据结构并自动生成代码进行数据读写的源码能力。

       Protocol Buffers 的源码使用流程主要包括以下几个步骤：

       1. **定义数据结构**：首先，需要创建一个.proto 文件，源码定义需要序列化的源码数据结构。这包括字段类型、源码命名和约束条件。源码

       2. **编译生成代码**：使用 protoc 编译器将 .proto 文件编译为各编程语言对应的源代码文件。编译结果通常包含用于序列化和反序列化数据的函数。

       3. **写文件**：使用生成的代码将数据序列化到文件中，通常会提供一个简单的脚本或命令行工具来执行序列化操作。

       4. **读文件**：通过反序列化函数将数据从文件中读取到程序中，这一步可以通过另一段生成的代码来完成。

       Protocol Buffers 的一个显著优势是，它允许你轻松地更新数据结构而不会破坏已部署的程序。这意味着，即使在数据结构发生变化时，已存在的客户端和服务端代码依然可以继续运行，只需重新编译受影响的代码部分即可。

       在实际使用中，Protocol Buffers通常与各种编程语言的第三方库集成，例如 Python、Java、C++ 等，以简化数据交换和存储的实现。它在服务端和客户端通信、数据持久化和配置文件存储等领域有着广泛的应用。

       总之，Protocol Buffers 通过提供自动化且高效的数据序列化能力，简化了数据在不同系统和语言之间的交换，使得开发者能够更专注于应用逻辑的实现而非低效的数据处理过程。

Protocol Buffer详解（一）

       Protocol Buffer是一种支持多平台、多语言、可扩展的数据序列化机制，与XML相比，protobuf体积更小、zab源码速度更快、使用更简单，支持自定义数据结构。通过protobu编译器，可以生成特定语言的源代码，如C++、Java、Python，protoBuf对主流编程语言都提供了支持，使得序列化和反序列化变得非常方便。

       一、Message定义

       这里给出一个简单的例子，是一个搜索请求的message格式。

       上述例子中fields的种类都是数值型的（string和int），当然也可以指定更加复杂的fields，比如枚举类型enum，或者是嵌套的message类型。

       1、分配field编号

       上述例子中每个field都被分配了一个编号，这个编号是该field的唯一标识。需要注意的是，标识1-在编码时只占用一个字节，-占用两个字节，因此为了进一步优化程序，对于经常出现的element，建议使用1-作为其唯一标识；对于不经常使用的element，建议使用-。编号的范围是1-2^（-是系统预留的，不要使用）。

       2、field类型

       message中的field类型包含以下两种（proto3）：

       （1）singular

       （2）repeated：该类型的field可以在message中重复使用（类似于数组），它们的顺序会被保存，通过索引进行检索，数值类型的repeated默认使用packed编码方式。

       3、多message结构

       在一个proto文件中可以定义多个protobuf。

       4、reserved field类型

       在开发过程中可能会涉及到对proto文件中message各个fields的修改，可能是更新、删除某个field及其表示，这样可能会导致调用的服务失败。其中一个防止这种问题的方式是，确保你要删除的typereference源码field的标识（或是名字）是reserved，具体protobuf的编译器会决定未来这个field表示能否被使用。

       5、编译结果

       对于C++开发者来说，使用protoc编译一个proto文件之后，会生成pb.h和pb.cc两个文件。

       二、数值类型

       具体proto类型对应生成类中的类型可以参考官方文档。

       三、默认值

       对于string和byte类型，默认值为空；对于bool类型，默认值是false；对于数值类型，默认值是0；对于枚举类型，默认值是第一个枚举值，默认为0；对于message类型，默认值由编程语言决定；对于repeated field，默认值为空。

       四、枚举类型

       当采用枚举类型的之后，枚举中的值都是预先定义好的，对于上述例子，我们可以再额外增加一个枚举类型corpus，具体如下。

       通常枚举类型的第一个值初始化为0，而且在message中使用枚举类型，必须要给定一个为0的值，而且这个为0的值应该为第一个元素。

       也可以给不同的元素以相同的alias，但是需要指定option allow_alias = true;具体如下。

       除此之外枚举类型不仅可以定义在message内部，也可以定义在message外部，而且在不同message中可以重用enum。

       在更改枚举类型field时，为保证系统运行正常，同样可以指定reserved数字标识和命名。

       五、使用其他message类型

       1、同文件引用

       具体如下：

       2、不同文件引用

       引用其他proto文件中定义好的message类型，具体如下。

       有时我们会对引用的proto文件进行更改，比如将其内容移动到另外一个地方，这样我们就需要对调用方import路径进行更改，当调用方非常多的loophero源码时候，这种方法是非常低效的，protobuf提供一种机制，我们可以在原有位置提供一个新位置proto文件的“副本”，通过使用import public表示来实现，具体可以参考如下例子。

       这时编译器就会在某些固定目录下查询import的proto文件（具体在命令行编译的时候，由-I/—proto_path指定），如果上述路径找不到，编译器会在调用路径进行查找。通常将—proto_path设置为项目的根目录，然后import的时候使用完整的路径名。

       3、使用proto2中的message类型

       proto2中的枚举类型无法直接使用。

       六、嵌套类型

       具体如下。

       在parent message之外调用嵌套的message可以用如下方式：SearchResponse.Result，嵌套结构可以更加复杂，具体如下：

       七、更新message类型

       当现有的message已经无法满足现有业务需要，你需要更新你的message类型以支持更复杂的业务，这就涉及到向后兼容的问题了，为保证已有服务不受影响，需要遵守以下的一些规定：

       1、不要更改已经存在的fields的数字标识

       2、如果添加新的field，利用旧代码序列化得到的message可以使用新的代码进行解析，你需要记住各个元素的默认值。新代码创建的field同样可以由旧代码进行加解析

       3、field可以被删除，但是需要保证其对应的数字标识不再被使用，你可以通过加前缀的方式来重新使用这个field name，或者指定数字标识为reserved来避免这种情况

       4、int、int、uint、uint、bool这些类型都是互相兼容的，并不会影响前向、后向兼容性

       5、sint和sint之间是互相兼容的，但是和其他数字类型是不兼容的

       6、string和bytes是互相兼容的，只要使用的面板源码是UTF-8编码

       7、如果byte包含message的编码版本，则嵌套的message和bytes兼容

       8、flexed兼容sfixed,fixed,sfixed

       9、enum兼容 int, uint, int, and uint。对于这个值在转化时，不同语言的客户端处理方式会有所不同

       感兴趣的小伙伴可以关注公众号：独立团丶

protobuf 详解

       Protobuf，即Protocol Buffers，是Google公司设计的一种轻量级、高效的结构化数据存储格式，用于结构化数据的序列化。它被广泛应用于数据存储和远程过程调用（RPC）的数据交换，支持语言无关、平台无关、可扩展的序列化结构数据格式。目前主要提供了C++、Java和Python三种语言的API。

       Protobuf的优势在于其简洁性和高效性，允许开发者定义数据结构，并以二进制格式进行序列化和反序列化，从而节省了数据传输和存储的空间，同时也加快了数据处理的速度。然而，它也有一些劣势，比如学习曲线陡峭，对于初学者来说可能需要一定时间来熟悉其语法和使用方法。

       在安装Protobuf时，protoc（Protocol Compiler）是核心组件，它能将.proto文件编译成不同语言的源代码。为了在Windows环境下安装protoc，首先需从GitHub下载protobuf源码，解压后添加bin目录路径到系统环境变量，然后通过命令行运行protoc查看是否成功安装。

       对于Go语言的支持，由于protobuf本身并未直接提供Go语言的API，需要额外安装protoc-gen-go插件来生成Go语言的序列化和反序列化代码。在安装完protobuf后，使用Go1.+版本的命令行安装protoc-gen-go插件。如果需要生成gRPC相关的Go代码，则需要安装protoc-gen-go-grpc插件。

       Protobuf的语法涵盖了多种数据类型，包括标量类型、可选类型、重复类型、映射类型以及嵌套的message类型。message成员可以被指定为标量类型，如字符串、整数等，也可以嵌套其他message类型。消息字段可以被标记为可选或重复类型，以适应不同的数据需求。

       在.proto文件中定义消息类型时，可以使用默认值来简化序列化过程。默认值在解析数据时如果消息中未包含特定的字段，则将该字段设置为默认值。此外，Protobuf还支持enum（枚举类型）和oneof（互斥字段组）特性，用于定义具有预定义值列表的字段和最多只能设置其中一个字段的字段组。

       为了将message与RPC（远程过程调用）结合使用，可以在.proto文件中定义RPC服务接口。通过protobuf编译器protoc，可以生成特定语言的RPC服务代码，包括生成序列化和反序列化的代码以及RPC服务的客户端和服务器代码。

       使用protoc编译器将.proto文件编译成目标语言的源代码。编译命令通常会指定输出目录和目标语言，如Go语言。通过设置--go_out参数，可以指定生成的Go代码的基本路径。同时，--go_opt参数可以用来为生成的Go代码指定额外的优化选项。--proto_path参数用于设置Protobuf查找.proto文件的路径。

       生成gRPC相关的Go代码需要使用protoc-gen-go-grpc插件，并通过--go-grpc_out参数指定输出目录。这将产生用于gRPC服务的客户端和服务器代码。

       要使用protobuf，通常会从源代码下载protobuf，然后通过命令行工具protoc进行编译，从而生成特定语言的序列化和反序列化代码，以及RPC服务代码。对于Go语言，除了需要安装protobuf和protoc-gen-go插件外，还需根据需求安装protoc-gen-go-grpc插件来生成gRPC相关的代码。

Qt6.3 for Android - Protobuf交叉编译

       前言

       在开发跨平台应用时，利用Protobuf作为数据传输载体是常见的做法。当项目迁移到Android平台，希望复用C++代码，这时需借助Android NDK的交叉编译工具链进行编译。

       交叉编译工具链

       为了进行Android平台的交叉编译，首先确保安装了Android SDK、NDK及JDK工具包，这部分内容在前文已有详述，本文不再赘述。

       关键点：

       1. 选择Clang编译器，确保与Qt for Android程序的编译器相匹配，避免运行时出现问题。

       2. 注意Android NDK的不同版本，其交叉编译工具链使用方式有所差异，本文以使用Android NDK 版本为例。

       下载Protobuf源码

       使用Protobuf 3.0.0版本，通过GitHub链接下载源码。

       编写交叉编译脚本

       以下示例基于Android NDK 版本，脚本关键部分已注释。更多详细信息可查阅相关文档。

       运行脚本后，在指定目录生成适用于不同平台的.so文件、include文件以及protoc工具。

       注意事项：

       1. 检查编译过程中的日志输出，确保使用了配置的工具链。

       2. 执行生成的protoc工具，验证其正确性。注意，生成的protoc为aarch版本，在x Linux环境上无法直接执行。

       3. 清理缓存，避免因缓存问题导致配置交叉工具链失败时，切换至本地gcc编译。

       对于使用Android NDK r及更早版本的用户，需先生成独立的交叉编译工具链包，再进行配置。使用命令make-standalone-toolchain.sh完成此步骤。

       最后，参考相关文档进行详细设置与调试。

当creator遇上protobufjs|相遇

       在探索cocos H5开发的最佳实践时，我已离不开nodejs、npm和各种脚手架工具。首先，从初始化package.json文件开始，通过npm init命令创建一个文件，用于管理项目中的nodejs第三方模块。

       在cocos creator项目中，protobufjs的使用至关重要。安装步骤如下：通过npm install protobufjs@5 --save命令引入protobufjs 5.x版本，若需要全局使用，可以使用npm install -g protobufjs@5。这个版本虽然不支持最新的6.x，但其动态编译功能在cocos creator中更为便利。

       在creator项目中，我们以Player.proto文件为例，展示了如何动态编译文件，生成js对象。在静态语言中，我们会使用protoc命令将proto文件编译为c++/java代码，但在javascript中，protobufjs直接提供了动态编译的功能。

       然而，当尝试在cocos-jsb环境中运行protobufjs时，可能会遇到问题。这涉及到javascript在浏览器、nodejs和cocos-jsb上的不同文件接口。在cocos-jsb，我们需要处理的是jsb.fileUtils.getStringFromFile接口，这与浏览器和nodejs的文件操作有所不同。

       为了解决这个问题，可能需要修改protobufjs源码以适应cocos-jsb。此外，还需注意creator项目中资源路径的管理，通常需要将proto文件放在assets/resources/pb/目录下，并使用cc.url.raw获取正确的资源路径。

       尽管通过修改源码可以解决问题，但并不是长久之计。为寻求更稳定的方法，我已创建了一个creator和protobufjs的示例项目，未做任何源码改动，链接如下：[github.com/ShawnZhang...](github.com/ShawnZhang...)。继续关注我的系列文章《探索cocosH5正确的开发姿势》，以了解更多无需修改源码的解决方案和proto文件预编译的用法。

1.1.1模型描述与序列化方法之Protobuf（一）：初步使用

       protobuf的使用流程相对直接，主要包括安装、编译.proto文件和生成可执行文件。本文将主要关注.proto文件的语法规则。

       1. 安装与配置

       尽管具体版本需要在实际操作中指定，但安装过程通常是下载并执行相应的protobuf可执行文件protoc。

       2. 编译.proto文件

       将编写好的.proto文件通过protoc工具编译，生成工程所需的pb.h和pb.cpp源文件。命令行操作简单，只需指定输入目录、输出目录和要编译的.proto文件名。

       3. 生成可执行文件

       将编译得到的.pb.h和.pb.cpp文件与你的cpp源码一起编译，使用pkg-config提供的protobuf编译参数。

       4. Proto文件语法详解

       Proto文件的基本结构为"字段规则 数据类型 名称 = 域值 [选项 = 选项值];"。字段规则有repeated、optional、required和reserved。例如：

       repeated string name = 1; 表示可多次出现，包括0次。

       optional string name = 1 [default ""]; 表示0次或1次出现，可指定默认值。

       required string name = 1; 必须出现1次。

       reserved name; 表示废弃，用于迭代更新。

       数据类型分为基本类型（如float、uint、string、bool）和复合类型（如message、enum、oneof和map）。message类似C++中的类，而enum则对应枚举。

       5. 选项与优化

       选项如default和packed用于设置默认值和优化编码效率，而deprecated用于标记过时属性。

       6. 其他

       高级功能如extensions、service和options通常不常用，相关内容请参考官方文档。

       7. 代码接口

       编译后的接口结构在官方文档中详细说明，此处不再赘述。

Protobuf入门：在linux下编译使用protobuf

       Google Protocol Buffer（简称Protobuf）是一种由Google公司内部开发的数据标准，用于数据序列化。广泛应用于数据存储和远程过程调用（RPC）系统。它具备语言无关性、平台无关性和可扩展性，支持C++、Java和Python等语言。

       编译源码包：从GitHub下载Protobuf的源代码，以2.5.0版本为例。解压后，执行配置编译命令，创建文件。编译后，文件夹中将包含bin、include和lib目录。

       测试工程：将include目录下的文件按目录结构和lib/libprotobuf.a复制到测试目录。定义结构化数据Content，包含id（int）、str（string）和opt（可选成员）。使用protoc程序将Mymessage.proto文件编译成目标语言，生成Mymessage.pb.h和Mymessage.pb.cc文件。

       将编译后的Mymessage.pb.o文件与Writer.cpp文件一起编译，生成log文件。Reader从log文件读取，反序列化后获得结构化数据。

       Protobuf的优点在于高效、紧凑的二进制数据序列化方式，使其适合数据存储和RPC通信。然而，它缺乏复杂概念表示的能力，与XML相比在通用性上仍有不足。XML自解释性使其在文本描述方面优于Protobuf。

       高级应用包括嵌套消息、Import Message和动态编译。嵌套消息如Person包含PhoneNumber，用于Person中的phone域。Import Message允许在包中定义公用消息，通过包引入使用。动态编译允许在运行时处理未知的.proto文件。

       编写新编译器：利用Google Protocol Buffer源代码中的protoc编译器，可以开发支持其他语言的编译器。通过实现CodeGenerator派生类，实现代码生成功能。

       Protobuf的编码方式使用Varint表示数字，节省空间。Varint用一个或多个字节表示数字，值越小字节越少。消息序列化为紧凑的二进制数据流，无需分隔符，可优化大小。