1.LIBSVM使用手册
2.从零开始构建向量数据库：Milvus 的向量向量源码编译安装（一）
3.VGGish源码学习
4.Bert是如何得到句向量和词向量的
5.实战 向量数据库选型参考
6.音频向量：VGGish（Pytorch）
LIBSVM使用手册
LibSVM是一种开源的支持向量机（SVM）软件包，提供源代码和可执行文件两种形式。源码针对不同操作系统，代码用户需按照以下步骤操作： 1）准备数据集，向量向量按照LibSVM要求的源码格式。 2）对数据进行简单缩放，代码网页聊天室 源码以便在训练过程中更有效地处理。向量向量 3）考虑选用RBF核函数，源码它在处理非线性问题时表现优异。代码 4）通过交叉验证选择最佳参数C和g，向量向量以优化模型性能。源码 5）使用最佳参数C和g对整个训练集进行支持向量机模型训练。代码 6）利用训练好的向量向量模型进行测试和预测。 LibSVM使用的源码数据格式包括目标值和特征值，格式简洁且易于理解和操作。代码训练数据文件包含目标值和特征值，检验数据文件仅用于计算准确度或误差。 Svmtrain命令用于训练模型，支持多种参数设置，包括SVM类型、核函数类型、参数值等。例如，训练一个C-SVC分类器时，可使用参数设置：svmtrain [options] training_set_file [model_file]。 Svmpredict命令用于使用已有模型进行预测，其用法为：svmpredict test_file model_file output_file。 SVMSCALE工具用于对数据集进行缩放，目的是避免特征值范围过大或过小，防止在训练过程中出现数值计算困难。缩放规则可以保存为文件，ode视频源码便于后续使用。 LibSVM提供了一个实用的训练数据实例：heart_scale，用于参考数据文件格式和练习软件操作。用户还可以编写小程序将常用数据格式转换为LibSVM要求的格式。 总之，LibSVM提供了全面的支持向量机模型训练与预测工具，用户需按照文档指导准备数据、设置参数、训练模型和进行预测。LibSVM的灵活性和高效性使其在数据挖掘、机器学习等领域得到广泛应用。扩展资料
LIBSVM是台湾大学林智仁(Lin Chih-Jen)副教授等开发设计的一个简单、易于使用和快速有效的SVM模式识别与回归的软件包，他不但提供了编译好的可在Windows系列系统的执行文件，还提供了源代码，方便改进、修改以及在其它操作系统上应用；该软件对SVM所涉及的参数调节相对比较少，提供了很多的默认参数，利用这些默认参数可以解决很多问题；并提供了交互检验(Cross Validation)的功能。该软件包可在http://www.csie.ntu.edu.tw/~cjlin/免费获得。该软件可以解决C-SVM、ν-SVM、ε-SVR和ν-SVR等问题，包括基于一对一算法的多类模式识别问题。从零开始构建向量数据库：Milvus 的源码编译安装（一）
在知乎上新开了关于“向量数据库”内容的专栏[1]，本文将详细介绍如何在x和ARM架构的Linux系统上编译安装开源项目Milvus，这个项目由Linux Foundation AI & Data基金会支持，常与Weaviate和Elasticsearch相提并论[2][3]。 由于Milvus主要在GitHub进行开发，中文网络中关于编译安装的flybird源码原版教程很少，且大多是过时的1.x版本资料，而Milvus的版本迭代迅速，目前主要提供Docker容器安装，本地开发者或追求透明度的开发者可能会觉得不够友好。本文将从头开始，逐步引导你进行编译安装。前置准备
在开始前，需要确保操作系统、开发环境和必要的依赖已经准备妥当。Linux作为主力生产环境，本文将重点介绍在Ubuntu上编译。macOS和Windows上的步骤类似，但这里主要针对Linux。操作系统
推荐使用Ubuntu，无论是服务器、容器基础镜像，还是个人笔记本。具体配置和安装细节可以参考我在其他文章中介绍的《笔记本上搭建Linux学习环境》[6]。开发环境
Milvus主要使用Golang编写，同时包含C++代码。确保Golang和C++环境可用，参考《搭建Golang开发环境》[8]，并注意Milvus官方推荐的版本。源码获取
获取Milvus源码有两种方式：Git Clone或下载压缩包，其中Git Clone可能需要借助国内镜像加速。具体步骤包括设置代码仓库的上游，确保代码同步。编译基础依赖
项目依赖OpenBLAS加速向量计算，详细安装步骤在《走进向量计算：OpenBLAS编译》[]中有详述。准备构建依赖：cmake
确保cmake版本至少为3.，内置flash源码Ubuntu .需手动安装，而Ubuntu .可直接使用apt。不同版本可能有差异，注意官方文档推荐的版本。额外依赖：clang-format和clang-tidy
项目代码中需要clang-format和clang-tidy，Ubuntu .和.的安装方式各有不同，务必安装正确版本以保持和官方构建一致。编译 Milvus
切换到 Milvus 代码目录，执行make命令编译。整个过程可能耗时，但完成后将在./bin/目录下找到可执行文件。总结
本文详细介绍了在Ubuntu .和.环境中编译安装Milvus的步骤，包括操作系统、开发环境和依赖的安装。后续文章将深入探讨容器镜像构建优化以及在MacOS上的安装指南。 期待你的反馈，如果觉得有用，请点赞和分享。如有任何问题或需要更新，请关注后续内容更新，感谢支持！VGGish源码学习
深入研究VGGish源码，该模型在模态视频分析领域颇为流行，尤其在生成语音部分的embedding特征向量方面。本文旨在基于官方源码进行学习。
VGGish的代码库结构简洁，仅包含几个.py文件。文件大体功能明确，下文将结合具体代码进行详述。在开始之前，amd图像源码需要预先下载两个预训练文件，与.py文件放在同一目录。
VGGish的环境安装过程简便，对依赖包的版本要求宽松。只需依次执行安装命令，确保环境配置无误。运行vggish_smoke_test.py脚本，如显示"Looks Good To Me"则表明环境已搭建完成。
着手VGGish模型的拆解，以vggish_inference_demo.py中的main函数为起点，分为两大部分：数据准备与前向推理获得Embedding特征及特征后处理。
在数据准备阶段，首先确认输入是否为.wav文件，若非则自行生成。接着，使用vggish_input.py模块将输入数据调整为适用于模型的batch格式。假设输入音频长1分秒，采样频率为.1kHz，读取的wav_data为（，）的一维数组（若为双声道，则调整为单声道）。
进入前向推理阶段，初始化特征处理对象pproc及记录器对象writer。通过vggish_slim.py模块构建VGG模型，并加载预训练权重。前向推理生成维的embedding特征向量。值得注意的是，输入数据为[num_samples, , ]的三维数据，在推理过程中会增加一维[num_samples，num_frames，num_bins，1]，最终经过卷积层提取特征，FC层压缩，得到的embedding_batch为[num_samples，]。
后处理环节中，应用PCA（主成分分析）对embedding特征进行调整。这一步骤旨在与YouTube-8M项目兼容，后者已发布用于数百万YouTube视频的PCA/whitened/quantized格式的音频和视觉嵌入。不过，若无需使用官方发布的AudioSet嵌入，则可直接使用网络输出的原始嵌入，无需进行PCA操作。
本文旨在为读者提供深入理解VGGish源码的路径，通过详述模型的构建、安装与应用过程，旨在促进对模态视频分析技术的深入学习与应用。
Bert是如何得到句向量和词向量的
本文深入探讨了Bert预训练模型如何生成输入句子的句向量和词向量。在HuggingFace的BERT源码中，BertModel类承担着这一关键角色。其作用在于接收经过padding对齐后的token_id（bert_inputs/input_ids）和表示哪些token_id需要被mask的attention_mask，进而生成句子的句向量和词向量。
在BertModel类的架构中，通过一系列组件如get_extended_attention_mask()、BertEmbedding、BertEncoder和BertPooler进行紧密串联，最终为每个输入句子生成了包含丰富信息的向量表示。具体而言，BertModel的内部结构由这些核心组件共同协作，确保了模型能够准确捕捉文本的语义特征。
其中，get_extended_attention_mask()函数对输入的attention_mask进行特殊转换，将1和0分别映射为0和-，以增强模型对未被mask的token的注意力，同时削弱被mask token的影响。这一操作对于确保模型准确理解和处理输入文本至关重要。
BertEmbeddings类负责将输入的token_id与预定义的embedding（包括token embedding、token type embedding和position embedding）进行融合，形成多维度的embedding_output。这一过程通过层规范化和Dropout操作进一步增强向量的表示能力，确保了输入数据在通过后续层处理时的稳定性和泛化能力。
BertEncoder类则通过串联多个BertLayer，实现了对文本序列的多层编码。每个BertLayer通过自注意力机制（Self-Attention）对输入序列进行特征提取，构建出多层次的语义表示。在BertEncoder中，每个BertLayer的输出与下一个BertLayer的输入结合，最终生成包含多个层次信息的hidden_states，为文本理解提供丰富的上下文依赖。
最后，BertPooler组件从sequence_output中提取出表示整个句子的向量，即通过取出第0个token（CLS）的向量表示，经过线性变换和激活函数后输出，得到pooled_output。这一输出不仅包含了句子的全局特征，还承载了对句子整体语义的概括，为后续任务如文本分类、命名实体识别等提供了强有力的输入基础。
综上所述，BertModel类通过精心设计的组件协作，有效地将输入文本转换为句向量和词向量，为自然语言处理任务提供了高效、强大的表示能力。
实战 向量数据库选型参考
在实施大型模型的过程中，特别是在应用RAG增强检索生成时，向量数据库的选择至关重要。本文通过实验对比了四个常见的向量数据库：Chroma、Faiss、Weaviate和Pinecore。未来计划在时间和精力允许的情况下，追加Milvus和Qdrant的实验。
实验中选用的模型要求较小，以减少空间占用，便于本地调试。从Huggingface上选择了名为all-MiniLM-L6-v2的模型，其维度为。
HuggingFace上的模型all-MiniLM-L6-v2无法直接下载。可以通过以下两种方式之一下载模型：从摩搭(ModelScope)平台下载，或从HF-Mirror下载。
Chroma向量数据库采用SQLite作为基础，通过乘积量化技术和k-means聚类优化查询和压缩数据，以节约空间和提高查询效率。实验中，使用Python语言将文本块以Embedding向量的形式存入Chroma数据库，并基于查询文本进行相似度搜索，找到top K个相似结果。
通过实验发现，SentenceTransformer的Model基于BertModel，分词器使用BertTokenizer。检索器(Retriever)通过invoke()方法进行相关性搜索，默认使用欧拉距离计算相似度。
FAISS是Facebook AI Research的开源数据库。实验场景与Chroma相同，源码也类似。结果显示符合预期，Langchain框架的检索器Retriever对向量数据库的相似度检索默认使用欧拉距离。
Pinecone是云向量数据库，通过apiKey接入。实验中，通过两种方式使用Pinecone向量库：通过Database->Indexes提前创建向量库，或直接在源代码中创建向量库。
Weaviate的文档相对完善，主要用于AI应用开发平台Dify。实验中，注意Weaviate版本需高于v1.，否则无法使用grpc服务。实验场景与之前类似，通过Weaviate的GraphQL实现相关度查询。
调研并深度使用了四种常见的向量数据库：Chroma、Faiss、Pinecone、Weaviate，并对它们进行了多维度对比。
音频向量：VGGish（Pytorch）
音频向量技术中，谷歌的VGGish模型凭借AudioSet大型数据集而声名鹊起。然而，将VGGish移植到Pytorch框架并非易事，尽管Tensorflow官方提供了相关的源代码和模型接口，但实际操作中往往遇到不便且结果与预期有差异。Towhee为解决这一问题提供了更为便捷的音频向量接口，其audio-embedding-vggish pipeline内置了torch-vggish，使得Pytorch用户能够轻松获取音频特征向量，且搜索性能得到保障。
Towhee的音频向量实现基于Tensorflow VGGish的原理，通过torch-vggish算子，它重新构建并加载了VGGish的预处理代码，包括mel特征提取和模型输入处理。构建模型时，可以参考vggish_slim.py中的分层结构，使用torch.nn模块进行搭建。对于音频相似搜索，推荐去掉模型的ReLU层，而如果用于分类任务，则推荐使用原始模型结构。
加载权重的过程是关键步骤，首先从原始模型文件获取VGGish变量数据，然后需要将weights和biases转换为Pytorch的Tensor。torch-vggish提供了预处理好的vggish.pth模型参数文件，通过加载这些权重，即可在Pytorch框架中无缝使用VGGish模型进行音频向量计算。
