1.七爪源码:学习用于序列化结构化数据的源码移植协议缓冲区 (Protobuf) — 第 1 部分
2.Protobuf入门:在linux下编译使用protobuf
3.在C++中使用Protobuf
4.Qt6.3 for Android - Protobuf交叉编译
5.什么是protobuf序列化协议
6.protobuf 详解
七爪源码:学习用于序列化结构化数据的协议缓冲区 (Protobuf) — 第 1 部分
在深入探讨 Protocol Buffers 之前,让我们先了解序列化和反序列化的源码移植基本概念。序列化是源码移植指将对象转换为线性字节序列以便存储或传输到另一位置的过程。反序列化则是源码移植获取存储信息并从中重新创建对象的过程。随着数据的源码移植不断增长,序列化和反序列化的源码移植济源源码开发数据方法也在不断发展。
CSV(逗号分隔值)是源码移植一种易于解析和读取的方法,但存在一些缺点,源码移植如必须推断数据类型且不保证。源码移植当数据包含逗号且列名存在或不存在时,源码移植解析变得困难。源码移植关系表定义添加了类型信息,源码移植数据是源码移植完全类型化的,且可以放入表格中。源码移植然而,源码移植数据必须是平面的,并且不同数据库的数据定义各不相同。JSON(JavaScript 对象表示法)是一种广泛接受的网络格式,数据可以采用任意形式,易于被多数编程语言读取,并且可通过网络轻松共享。然而,JSON 数据没有模式强制,且 JSON 对象大小较大,因为重复的键。
XML(可扩展标记语言)使用类似于 JSON 的元标记,但带有结束标记。由于它们具有结束标记,因此与 JSON 相比,它们的大小要大得多。
Protocol Buffers(或 Protobuf)是一种语言中立、平台中立的可扩展数据序列化协议,不同于 JSON 或 XML。Protobuf 不适合人类使用,因为序列化数据是编译后的字节,难以供人类阅读。它是 Google 用于序列化结构化数据的机制。
Protocol Buffers 的优点包括易于跨编程语言共享数据。在 .proto 文件上运行 Protocol Buffers 编译器时,编译器会以所选语言生成代码。青岛溯源码燕窝加盟我们只需使用在 .proto 文件中描述的消息类型,包括获取、设置字段值、将消息序列化到输出流以及从输入流解析消息。
为了更高效地设计 .proto 文件,Google 提供了样式指南,应尽量遵守。标准文件格式包括许可证标题(如有适用)、文件概述、语法、包装、导入(排序)、文件选项和其他内容。在 Protocol Buffers 中,字段标签非常重要。最小标签值可以是 1,最大标签值可以是 2²⁹–1 或 ,,。编号从 1 到 的标签使用 1 个字节,而编号从 到 的标签使用 2 个字节。对经常填充的字段使用 1 到 个标签号。
Protocol Buffers 支持多种字段类型,如布尔型、字符串、字节、重复字段、枚举等。在 Protocol Buffers 中,字段名称不重要,它们仅在编程中引用字段时重要。字段标签很重要,最小标签值可以是 1,最大标签值可以是 ,,。编号从 1 到 的标签使用 1 个字节,而编号从 到 的标签使用 2 个字节。对经常填充的字段使用 1 到 个标签号。
枚举允许我们定义事先知道的一个字段可以取的所有值。默认字段值为布尔型的假、数字的 0、字符串的易语言 足球 筛选 源码空字符串、字节的空字节、重复的空列表和枚举的第一个值。我们还可以使用其他消息类型作为字段类型。嵌套类型有助于避免命名冲突并加强局部性。在下一篇文章中,我们将探讨 Protocol Buffers 的高级概念。
Protobuf入门:在linux下编译使用protobuf
Google Protocol Buffer(简称Protobuf)是一种由Google公司内部开发的数据标准,用于数据序列化。广泛应用于数据存储和远程过程调用(RPC)系统。它具备语言无关性、平台无关性和可扩展性,支持C++、Java和Python等语言。
编译源码包:从GitHub下载Protobuf的源代码,以2.5.0版本为例。解压后,执行配置编译命令,创建文件。编译后,文件夹中将包含bin、include和lib目录。
测试工程:将include目录下的文件按目录结构和lib/libprotobuf.a复制到测试目录。定义结构化数据Content,包含id(int)、str(string)和opt(可选成员)。使用protoc程序将Mymessage.proto文件编译成目标语言,生成Mymessage.pb.h和Mymessage.pb.cc文件。
将编译后的Mymessage.pb.o文件与Writer.cpp文件一起编译,生成log文件。Reader从log文件读取,反序列化后获得结构化数据。
Protobuf的优点在于高效、紧凑的二进制数据序列化方式,使其适合数据存储和RPC通信。然而,它缺乏复杂概念表示的能力,与XML相比在通用性上仍有不足。XML自解释性使其在文本描述方面优于Protobuf。
高级应用包括嵌套消息、淘宝最初的网站源码Import Message和动态编译。嵌套消息如Person包含PhoneNumber,用于Person中的phone域。Import Message允许在包中定义公用消息,通过包引入使用。动态编译允许在运行时处理未知的.proto文件。
编写新编译器:利用Google Protocol Buffer源代码中的protoc编译器,可以开发支持其他语言的编译器。通过实现CodeGenerator派生类,实现代码生成功能。
Protobuf的编码方式使用Varint表示数字,节省空间。Varint用一个或多个字节表示数字,值越小字节越少。消息序列化为紧凑的二进制数据流,无需分隔符,可优化大小。
在C++中使用Protobuf
ProtoBuf的定义和描述:
Protocol Buffers是一种语言无关、平台无关、可扩展的序列化结构数据的方法,它适用于(数据)通信协议、数据存储等。
Protocol Buffers是一种灵活、高效、自动化的结构数据序列化方法,类似于XML,但比XML更小(3 ~ 倍)、更快( ~ 倍)、更简单。
你可以定义数据的结构,然后使用特殊生成的源代码轻松地在各种数据流中使用各种语言进行编写和读取结构数据。你甚至可以更新数据结构,而不会破坏由旧数据结构编译的已部署程序。
使用 ProtoBuf教程:
在了解了ProtoBuf的基本概念之后,我们将具体了解如何使用ProtoBuf。
第一步,创建.proto文件,定义数据结构,如下所示:
我们在上例中定义了一个名为Person的spring事务传播的源码消息,语法很简单,message关键字后跟消息名称。之后我们在其中定义了message具有的字段,形式为:
第二步,protoc编译.proto文件生成读写接口:
在.proto文件中定义了数据结构,这些数据结构是面向开发者和业务程序的,并不面向存储和传输。当需要把这些数据进行存储或传输时,就需要将这些结构数据进行序列化、反序列化以及读写。ProtoBuf提供相应的接口代码,可以通过protoc这个编译器来生成相应的接口代码,命令如下:
生成的.h,.cpp文件为person.pb.h,person.pb.cpp,且.h的定义与proto文件的内容相关联:
第三步,编写C++业务代码:
c++业务代码对应的CMakeLists.txt为:
参考链接:
Qt6.3 for Android - Protobuf交叉编译
前言
在开发跨平台应用时,利用Protobuf作为数据传输载体是常见的做法。当项目迁移到Android平台,希望复用C++代码,这时需借助Android NDK的交叉编译工具链进行编译。
交叉编译工具链
为了进行Android平台的交叉编译,首先确保安装了Android SDK、NDK及JDK工具包,这部分内容在前文已有详述,本文不再赘述。
关键点:
1. 选择Clang编译器,确保与Qt for Android程序的编译器相匹配,避免运行时出现问题。
2. 注意Android NDK的不同版本,其交叉编译工具链使用方式有所差异,本文以使用Android NDK 版本为例。
下载Protobuf源码
使用Protobuf 3.0.0版本,通过GitHub链接下载源码。
编写交叉编译脚本
以下示例基于Android NDK 版本,脚本关键部分已注释。更多详细信息可查阅相关文档。
运行脚本后,在指定目录生成适用于不同平台的.so文件、include文件以及protoc工具。
注意事项:
1. 检查编译过程中的日志输出,确保使用了配置的工具链。
2. 执行生成的protoc工具,验证其正确性。注意,生成的protoc为aarch版本,在x Linux环境上无法直接执行。
3. 清理缓存,避免因缓存问题导致配置交叉工具链失败时,切换至本地gcc编译。
对于使用Android NDK r及更早版本的用户,需先生成独立的交叉编译工具链包,再进行配置。使用命令make-standalone-toolchain.sh完成此步骤。
最后,参考相关文档进行详细设置与调试。
什么是protobuf序列化协议
Protobuf,即Protocol Buffers,是谷歌推出的一种轻量级、高效的结构化数据序列化框架。其核心目的是将复杂的数据结构序列化为字节流,便于在不同语言和平台间传输和存储。Protobuf支持多种编程语言,包括C++、Java、Python、PHP、Go等,通过编译proto文件生成对应的语言版本,实现跨语言数据互解。
在设计使用场景时,Protobuf尤其适用于对消息大小敏感或数据量不大的场景,如APP登录过程中的数据交互。与XML相比,Protobuf在性能和空间效率上具有显著优势,其二进制格式使得文件体积更小,传输速度更快。
在选择序列化协议时,主要考虑的因素包括性能、数据大小、维护复杂度等。Protobuf在性能和空间效率上的表现优异,同时支持动态类型和嵌套类型,使得其在处理复杂数据结构时更加灵活。此外,Protobuf还支持注释、服务定义等特性,进一步增强了其应用的多样性和便利性。
要开始使用Protobuf,首先需要定义.proto文件,该文件描述了数据结构的定义,如消息类型、字段规则等。在.proto文件中,可以定义消息类型、字段规则、嵌套类型、服务接口等。通过编译器将.proto文件转换为目标语言的源代码,即可使用生成的类进行序列化和反序列化操作。
使用Protobuf的流程包括定义消息类型、编译生成代码、编写应用逻辑。消息类型定义了结构化数据的规范,生成的代码提供了序列化和反序列化的接口,最终在应用中调用这些接口进行数据的传输和存储。
为了更深入地理解Protobuf的使用方法和最佳实践,推荐观看视频教程和加入相关的学习群组,获取更多实战经验和资源。
如果你想了解更多关于C/C++Linux服务器开发、高级架构师相关的学习资源和社区动态,可以加入以下群组:
即时通讯项目protobuf 通信协议和序列化协议
C/C++Linux服务器开发/高级架构师群:
系统学习公开课地址:[提供链接]
protobuf 详解
Protobuf,即Protocol Buffers,是Google公司设计的一种轻量级、高效的结构化数据存储格式,用于结构化数据的序列化。它被广泛应用于数据存储和远程过程调用(RPC)的数据交换,支持语言无关、平台无关、可扩展的序列化结构数据格式。目前主要提供了C++、Java和Python三种语言的API。
Protobuf的优势在于其简洁性和高效性,允许开发者定义数据结构,并以二进制格式进行序列化和反序列化,从而节省了数据传输和存储的空间,同时也加快了数据处理的速度。然而,它也有一些劣势,比如学习曲线陡峭,对于初学者来说可能需要一定时间来熟悉其语法和使用方法。
在安装Protobuf时,protoc(Protocol Compiler)是核心组件,它能将.proto文件编译成不同语言的源代码。为了在Windows环境下安装protoc,首先需从GitHub下载protobuf源码,解压后添加bin目录路径到系统环境变量,然后通过命令行运行protoc查看是否成功安装。
对于Go语言的支持,由于protobuf本身并未直接提供Go语言的API,需要额外安装protoc-gen-go插件来生成Go语言的序列化和反序列化代码。在安装完protobuf后,使用Go1.+版本的命令行安装protoc-gen-go插件。如果需要生成gRPC相关的Go代码,则需要安装protoc-gen-go-grpc插件。
Protobuf的语法涵盖了多种数据类型,包括标量类型、可选类型、重复类型、映射类型以及嵌套的message类型。message成员可以被指定为标量类型,如字符串、整数等,也可以嵌套其他message类型。消息字段可以被标记为可选或重复类型,以适应不同的数据需求。
在.proto文件中定义消息类型时,可以使用默认值来简化序列化过程。默认值在解析数据时如果消息中未包含特定的字段,则将该字段设置为默认值。此外,Protobuf还支持enum(枚举类型)和oneof(互斥字段组)特性,用于定义具有预定义值列表的字段和最多只能设置其中一个字段的字段组。
为了将message与RPC(远程过程调用)结合使用,可以在.proto文件中定义RPC服务接口。通过protobuf编译器protoc,可以生成特定语言的RPC服务代码,包括生成序列化和反序列化的代码以及RPC服务的客户端和服务器代码。
使用protoc编译器将.proto文件编译成目标语言的源代码。编译命令通常会指定输出目录和目标语言,如Go语言。通过设置--go_out参数,可以指定生成的Go代码的基本路径。同时,--go_opt参数可以用来为生成的Go代码指定额外的优化选项。--proto_path参数用于设置Protobuf查找.proto文件的路径。
生成gRPC相关的Go代码需要使用protoc-gen-go-grpc插件,并通过--go-grpc_out参数指定输出目录。这将产生用于gRPC服务的客户端和服务器代码。
要使用protobuf,通常会从源代码下载protobuf,然后通过命令行工具protoc进行编译,从而生成特定语言的序列化和反序列化代码,以及RPC服务代码。对于Go语言,除了需要安装protobuf和protoc-gen-go插件外,还需根据需求安装protoc-gen-go-grpc插件来生成gRPC相关的代码。
ProtoBuf安装及避坑指南
在安装ProtoBuf前,确保g++为较新版本,若安装过程中遇到问题,尝试安装其他版本,使用`make uninstall`卸载源码安装的版本。在使用VSCode开发时,可能出现头文件检测不到的问题,这时需要查看编译器是否报错,而非仅依赖插件提示。以下为Linux环境下ProtoBuf的安装步骤。
安装依赖库:`autoconf`、`automake`、`libtool`、`curl`、`make`和`g++`,对于Ubuntu用户,使用`sudo apt-get install`命令安装,对于CentOS用户,使用`sudo yum install`命令安装。访问GitHub下载ProtoBuf的指定版本,如v.,选择`protobuf-all-..zip`进行下载。在Windows环境下下载后,通过xshell的`rz`指令将文件传输至Linux系统。解压zip包后,进入目录。
执行以下命令进行安装:`./configure`,根据需要选择安装方式。若在`configure`中选择第一种方式,直接执行`make`和`make install`即可完成安装。若选择第二种方式,修改了安装目录,还需在`/etc/profile`中添加相关配置信息,最后执行`source /etc/profile`使配置生效。安装完成后,通过`protoc --version`检查版本信息,显示版本号表示安装成功。
进行ProtoBuf测试示例:创建两个文件`test.cc`和`contacts.proto`。`test.cc`文件包含使用ProtoBuf的示例代码,而`contacts.proto`文件定义了相应的数据结构和字段。执行相关语句进行测试,验证ProtoBuf的安装和使用是否正常。