1.一文解读Twitter开源推荐系统
2.bootstrap有什么用？
3.雪花算法源码
4.Python爬虫 | JSON字段的码下高效自动化提取

一文解读Twitter开源推荐系统

       Twitter近期开源了其推荐系统源码，这一举措引起行业广泛关注，码下目前已有近个用户给予支持。码下然而，码下目前网络上关于这一开源系统的码下解读多为博客翻译，显得生硬晦涩，码下vlc的源码包本文旨在系统性分享Twitter推荐系统的码下核心架构与技术细节。以下内容将从整体架构、码下数据、码下特征工程、码下召回、码下粗排、码下精排、码下混排等模块进行详细解析。码下

       Twitter推荐系统的码下核心架构涵盖了数据、特征工程和推荐系统服务Home Mixer。数据层面，涵盖了社交图、用户交互行为和用户画像数据，构成了一个庞大的异构社交网络。特征工程则重点关注社交图的预训练、聚类、社区发现等，为算法提供深度学习的输入。推荐系统服务Home Mixer，是Twitter定制的Scala框架，集成了算法工程的核心逻辑。

       召回模块是推荐系统的重要组成部分，Twitter设计了多种召回策略，包括In-Network召回和Out-of-Network召回。In-Network召回主要从关注者中检索最新、最感兴趣的推文，占比约%，使用自研搜索引擎Earlybird执行。Out-of-Network召回则通过协同过滤、表征学习等技术，从非关注者中推荐相关推文，占比约%。

       粗排阶段，Twitter采用了一个老式的逻辑回归模型，用于筛选召回结果。模型基于用户侧特征、推文特征和上下文特征进行训练，预测用户与推文交互的概率。精排则采用了一个名为Parallel MaskNet的商人游戏源码模型，该模型通过神经网络实现，考虑了数千个特征，输出推文交互概率，实现融合排序。

       重排与混排模块则负责过滤和主页混排，提供个性化的内容组合，如推文、广告、关注作者、Onboarding提示等。整个推荐系统每天执行约亿次，平均完成时间不到1.5秒。

       Twitter推荐系统的背后，是其核心基建，包括用于实时内容推荐的GraphJet图引擎、用于预测用户交互概率的RealGraph模型等。

       最后，值得强调的是，Twitter的开源行动体现了其对透明度的承诺，鼓励社区提交反馈和建议，共同提升推荐算法的性能，同时也保护了用户安全和隐私。这一举措不仅为社区提供了宝贵的资源，也展现了Twitter对技术开放与合作的愿景。

bootstrap有什么用？

       使用bootstrap的原因是什么

       栅格系统可以根据用户屏幕尺寸调整页面，使其在各个尺寸上都表现良好。实现这个功能依赖两个东西，一个是view，另一个是max-width，min-width。

       第一：预处理脚本：Bootstrap的源码是基于最流行的CSS预处理脚本-Less和Sass开发的。你可以采用预编译的CSS文件快速开发，也可以从源码定制自己需要的样式。例如。如果你页面上有很多同样的效果。只需要写一个效果类。

       为什么使用Bootstrap？移动设备优先：自Bootstrap3起，框架包含了贯穿于整个库的移动设备优先的样式。浏览器支持：所有的主流浏览器都支持Bootstrap。

       Bootstrap，来自Twitter，是目前很受欢迎的前端框架。Bootstrap是基于HTML、CSS、用户中心 源码JAVASCRIPT的，它简洁灵活，使得Web开发更加快捷。[1]它由Twitter的设计师MarkOtto和JacobThornton合作开发，是一个CSS/HTML框架。

       css，js，以及fonts三个文件。这个框架主要是为了响应式，移动设备优先，集成了很多标签和类，建议看下runoob，有详细的语法和使用案例，如果需要深入理解，比如微调bootstrap的效果就需要看下less和sass。

       没有规定必须用bootstrap来设计网页只不过，有部分公司用，为了整合样式，易于维护所以要求员工使用。当然，移动端的兼容性也是一部分原因。

为什么使用bootstrap?

       1、最有代表性的就是btn类，Bootstrap定义了一个.bt的基础类，如果还想要其他样式可以在这个基础类上进行扩展，实现不同的视觉效果。

       2、第三：特效齐全Bootstrap提供了全面、美观的文档、可以找到关于HTML元素，HTML和CSS组件、jQuery插件方面的所有详细文档。

       3、为什么使用Bootstrap？移动设备优先：自Bootstrap3起，框架包含了贯穿于整个库的移动设备优先的样式。浏览器支持：所有的主流浏览器都支持Bootstrap。

       4、Bootstrap，来自Twitter，是目前很受欢迎的前端框架。Bootstrap是基于HTML、CSS、JAVASCRIPT的，它简洁灵活，广告源码搭建使得Web开发更加快捷。

       5、bootstrap是一个开源的web前段框架，官网上下载下来的文件包：css，js，以及fonts三个文件。

       bootstrap到底用做什么

       1、Bootstrap是基于HTML、CSS、JAVASCRIPT的，它简洁灵活，使得Web开发更加快捷。通过使用它，我们将可以轻松地创建Web项目。分为Bootstrap基本结构、BootstrapCSS、Bootstrap布局组件和Bootstrap插件几个部分。

       2、Bootstrap在以下方面优势比较显著栅格系统可以根据用户屏幕尺寸调整页面，使其在各个尺寸上都表现良好。实现这个功能依赖两个东西，一个是view，另一个是max-width，min-width。

       3、Bootstrap很重要的一方面就是你可以将它据为己有。你可以留取框架中需要的部分，抛弃不需要的。Bootstrap整体允许你根据自己的需要，裁剪自己开发的项目。

       4、bootstrap是一个开源的前端框架，主要应用于页面的布局。官网介绍：同时，它也是移动优先的布局框架。移动优先，指使用bootstrap开发的页面，不仅能用于web显示，还能用于移动端显示。

       5、Bootstrap的源码是基于最流行的CSS预处理脚本-Less和Sass开发的。你可以采用预编译的CSS文件快速开发，也可以从源码定制自己需要的样式。例如。https源码解析如果你页面上有很多同样的效果。只需要写一个效果类。然后让用到的地方去继承他。

       6、bootstrap.js：是bootstrap的所有js指令的总和。bootstrap里面所有的js效果，都是由bootstrap.js控制的。bootstrap.js供开发的时候进行调试用。bootstrap.css：是未压缩的，完整的bootstrap样式表，供开发的时候进行调试使用。

Bootstrap里的文件分别表示什么?都有什么用处?

       1、它们分别的作用为：bootstrap.js：是bootstrap的所有js指令的总和。bootstrap里面所有的js效果，都是由bootstrap.js控制的。bootstrap.js供开发的时候进行调试用。

       2、bootstrap也给出了一个简单的例子.全部放在上面，然后把js.都放在页面的最下面，这样能够更好的加载页面渲染.建议你使用最基本的页面去修改你需要的页面，而且要做到按照自己的需求来写代码.不要复制，粘贴。

       3、map文件。因为bootstrap是用less写的，less会编译成css显示在页面上。但有个麻烦，浏览器里看的都是css第几排，而你编辑的又是less文件，很难对上。这个时候有了sourcemap，浏览器里直接显示less，非常方便。

       4、UbuntuDesktopEdition是Ubuntu的桌面版本，和Ubuntu服务器版本相对应。两者核心是没有区别的，界面差别也不大。

       5、看源码，里面是对于按钮等组建的颜色样式的自定义。

bootstrap用来干什么

       Bootstrap是基于HTML、CSS、JAVASCRIPT的，它简洁灵活，使得Web开发更加快捷。通过使用它，我们将可以轻松地创建Web项目。分为Bootstrap基本结构、BootstrapCSS、Bootstrap布局组件和Bootstrap插件几个部分。

       Bootstrap提供JavaScript库，该库超越了基本的架构与样式。通过Bootstrap，开发者可轻易地操作窗口警告框、工具提示框、滚动条、按钮等。Bootstrap最突出之处是，它可以让你不必再费神费力地写脚本。

       Bootstrap是一个前端框架、是目前最受欢迎、最流行的web前端框架、是Twitter公司的MarkOtto和JacobThornton一起开发的，Bootstra框架是基于HTML、CSS、JavaScript开发的，它因简洁、直观、功能强大被开发者广发使用。

       Bootstrap是Twitter推出的一个开源的用于前端开发的工具包。它由Twitter的设计师MarkOtto和JacobThornton合作开发，是一个CSS/HTML框架。Bootstrap提供了优雅的HTML和CSS规范，它即是由动态CSS语言Less写成。

       bootstrap.js：是bootstrap的所有js指令的总和。bootstrap里面所有的js效果，都是由bootstrap.js控制的。bootstrap.js供开发的时候进行调试用。bootstrap.css：是未压缩的，完整的bootstrap样式表，供开发的时候进行调试使用。

Bootstrap在前端里面作用是什么?

       跟jquerymobile框架类似。是目前最受欢迎的前端框架。Bootstrap是基于HTML、CSS、JAVASCRIPT的，它简洁灵活，使得Web开发更加快捷。通过使用它，我们将可以轻松地创建Web项目。

       Bootstrap是一个用于快速开发Web应用程序和网站的前端框架。Bootstrap是基于HTML、CSS、JAVASCRIPT的。Bootstrap是由Twitter的MarkOtto和JacobThornton开发的。

       Bootstr是一个用于快速开发web应用程序和网站的前端框架，Bootstrap是基于HTML，Css，JavaScript的。Bootstrap历史：Bootstrap是由Twitt的MarkOtto和JecobThomton开发的。

       Bootstrap，来自Twitter，是目前很受欢迎的前端框架。Bootstrap是基于HTML、CSS、JAVASCRIPT的，它简洁灵活，使得Web开发更加快捷。[1]它由Twitter的设计师MarkOtto和JacobThornton合作开发，是一个CSS/HTML框架。

       节省时间利用Bootstrap，你将有更多的时间用来挣钱。Bootstrap库中包含很多现成的代码片段，这些代码可为你的网站增加更多活力。Web开发者不必再花费时间、费力地编码，只需找到合适的代码，插入到合适位置即可。

       Bootstrap是当前流行的前端框架。下面，我们来看看Bootstrap的基本使用吧。

雪花算法源码

       Twitter开源的分布式ID生成算法，雪花算法凭借其独特的位结构实现了全局唯一ID的生成。这个算法利用一个位long型数字，其中位代表毫秒数（覆盖年的时间范围），5位用于机房标识（台机器），5位表示机器ID，而剩下的位则是序列号，用于在同一毫秒内区分不同请求。

       当需要生成全局唯一ID时，微服务通过向部署了雪花算法的系统发送请求。系统利用当前时间戳、机房和机器信息，通过二进制位运算生成位ID。首先，算法确保第一个位始终为0，因为生成的ID必须是正数。接下来，根据时间戳累加序列号，确保在给定毫秒内生成的ID是唯一的，最多可达个。如果在一毫秒内请求过多，算法会自动等待到下一毫秒再生成新的ID，这种情况在实际应用中非常罕见。

Python爬虫 | JSON字段的高效自动化提取

       关键词：爬虫、JSON格式、深度优先搜索、Python变量id、注入攻击、毕导

       写在前面

       这个寒假一直在做Twitter平台的爬虫，为女朋友的硕士毕业论文准备数据集。尽管Twitter对我国开发者极其不友好，经过了十多天的艰苦奋战，我不仅达成了除夕夜敲代码守岁的成就，也对Twitter平台了如指掌：编译了多篇核心文档，实现了爬虫、防御、数据库备份与更新、统计分析、文档更新全流程的自动化，保持三种爬虫路线并行推进。考虑到对论文知识产权的保护，这些内容暂时不会开源，但我会挑其中一些有趣的技术分享给大家。

       问题背景

       今天，给大家分享一下JSON字段的自动提取技术。在引入这个问题定义之前，先带大家熟悉一下问题背景，即一个「爬虫工程师」分析和解决问题的流程。面对一个给定的网页，和给定的目标字段，我们一般会先检查该页面是否为静态页面，以确定技术路线：

       网络流量，即网页在加载过程中浏览器和网站服务器之间通信的数据，包括了浏览器的请求和服务器的响应。响应数据可能有多种类型，其中JSON是一种极为常见的格式，用来表示结构化的信息。举个例子，下面这个接口会返回「毕导」知乎主页上的前几条动态： zhihu.com/api/v3/moment...，我们可以使用开发者工具中自带的格式化功能，也可以使用 在线JSON校验格式化工具（Be JSON）对结果进行格式化，总之数据看起来是这样的：

       如图所示，JSON往往采用字典或数组的多层嵌套，在实际分析中可能不太直观，甚至很啰嗦。比如我们想获取毕导第一条动态里点赞的文章的作者的用户名这个信息，则需要像这样：

       假如知乎的不同接口之间格式定义不统一，或者版本升级导致接口格式变动，那么上面的流程就需要重新走一遍：先肉眼找到想要的信息，再一层一层的反向解析出这个路径，这往往很费时费力。如果毕导这个例子还觉得不是很麻烦，给大家感受一下Twitter爬虫中真实的路径：

       以上路径用来获取推文作者的用户名！

       问题定义

       这里给出明确的问题定义：由于接口数据结构的多样性，需要一种相对自动化的方式，解析网络响应返回的JSON对象中的指定字段。

       解决方案

       我们可以在肉眼观察到的字段处设置一个标记，然后剩下的路径解析工作交给程序自动进行。那么如何设置这个标记呢？如果只是敲个包含特殊字符的字符串在这里，怎么保证JSON的原文中就不包含这个特殊字符？我们无法保证这个标记不被当做原文处理。于是我想到，Python中什么是唯一的？是id！

       为了便于理解，我把上面毕导的例子简化了一下，假设我们手里的JSON对象有如下格式：

       考虑以下程序，我们把作者的用户名位置用一个变量替代：

       那么我们会发现obj中的author_name处的id会和上面定义的author_name一致，这是必然的，因为下面是对上面的空列表对象的引用。其实我们不使用列表，使用任何数据格式都可，比如让author_name=1，我们会发现它们的id仍然保持一致。

       如果把id理解为指针，则他们都指向了1所在的数据单元的地址，由于这个1是在栈空间中分配的常量，所以所有变量在赋值为1的时候都会去查常量表，并复用这个地址。这样的话，如果我们想同时标记多个字段的位置，就无法区分它们了，所以这里我们使用空列表，它在堆上构造时总会开辟新的空间，拥有新的唯一的id。

       那么接下来，我们只需要使用深度优先搜索（DFS）去查找id匹配的对象即可，在查找的过程中将路径记录下来：

       到这里已经实现了功能的核心，但是不够优雅，毕竟我们还得在函数外面手动定义标记变量。但不定义变量，在模板中直接引用就会出现变量未定义的报错。一个较为优雅的思路就是将模板写成匿名函数（为了说明多个标记的工作原理，我这里又加了一个字段badge_desc，用来标记知乎认证用户的认证描述）

       我们把这个函数作为参数传进去，在内部为它自动生成标记变量：

       注意我们使用了Python的eval函数，一定要重视它带来的注入攻击风险，比如你的好朋友得知你看了清川的文章、自己实现了JSON自动解析器，就拿了一段恶意的obj模板让你解析：

       但一般的网站不会想这么远，去专门攻击一个使用了解析器的开发者，所以这里只是提个醒。接下来我们增加一些细节，让解析器支持传入JSON对象、原文字符串和文件名：

       另外由于JSON和Python中的语法关键字稍有区别，我们需要定义一些常量：

       效果演示

       最后我们看一下使用时的效果：

       源码链接

       完整的代码已经放在这里了： github.com/ThomasAtlant...

       另外解析JSON的库，还推荐使用JSONPath，虽然不能实现本文的功能，但也会提升效率： blue-avatar：IDEA .1 JSONPath, JSON Lines 功能初体验。此外也可以关注JSON的扁平化，以及尝试开发GUI选择字段的功能，我貌似在网上见到过类似的在线网站，但那个网站只支持一层展开，不能解决复杂的嵌套结构。