1.正则表达式进阶——扒一扒scihub-cn源码
2.11《Python 原生爬虫教程》使用正则表达式进行页面提取
3.在UltraEdit中使用正则表达式
正则表达式进阶——扒一扒scihub-cn源码
本文深入解析scihub-cn源码，源码用正展示如何运用正则表达式解析文献信息。则匹正则以一篇样例文献信息为例，配源匹配分析scihub-cn源码正则表达式的码用解析过程，包括作者、什意思标题、源码用正远控源码博客出版社（期刊名）和DOI的则匹正则匹配。
样例文献信息为：“Mañas,配源匹配 P., & Pagán, R. (). Microbial inactivation by new technologies of food preservation. Journal of Applied Microbiology, (6), –. doi:./j.-...x”。
源码中的码用正则表达式拆分为四个组，分别匹配作者、什意思标题、源码用正出版社（期刊名）和DOI。则匹正则
匹配作者时，配源匹配使用非贪婪模式，码用仅匹配到“Mañas,什意思 P., & Pagán, R.”，忽略后续信息。
为准确匹配，正则表达式中包含“(?:.*?, )+”确保至少匹配到一个作者组，以及“'(?:.*?,s)+\w+'”确保至少匹配到一个数字/字母/下划线。
进一步匹配页码、标题、年份等信息，aqs源码解析最终完整匹配所有作者信息。模式未结束，匹配到括号内的数字为年份。
完整解析过程分为四步：作者、标题、出版社（期刊名）、DOI。
匹配标题时，仅保留大写字母和非贪婪模式匹配任意字符至句点加空格，确保标题完整性。
出版社（期刊名）组匹配模式与标题组类似，确保期刊名首字母大写，匹配中间无句点，结尾句点加空格。
最后匹配DOI号时，排除期刊名、期号、页码等信息，仅匹配doi:或源码中正则表达式的应用，掌握其解析文献信息的核心逻辑和技巧，为后续类似项目提供参考和借鉴。matlab awgn源码
《Python 原生爬虫教程》使用正则表达式进行页面提取
上节课我们学习了如何使用 BeautifulSoup 来解析页面，这节课我们来学习下如何使用正则来解析页面。
通过学习正则表达式几个常用函数，可以根据需要对数据进行匹配筛选。
1. 正则表达式简介
在编写爬虫的过程中，我们需要解析网页的内容。作为文本解析利器的正则表达式当然可以运用到我们的爬虫开发中。页面解析过程是从海量的字符串中将所需数据匹配并提取出来，所以在正式的爬虫开发中正则会经常被用到。
正则表达式是对字符串操作的逻辑公式。提取网页数据时，需将源代码转换成字符串，然后通过正则表达式匹配想要的数据。
在我们开始使用正则表达式进行模式查找之前，需要熟悉正则表达式里面的字符的基本含义，这样就能方便地书写正则表达式进行模式匹配。
2. 正则表达式基本语法正则表达式的字符和含义
3. 正则表达式的常用方法
我们开发爬虫使用的是 Python 语言，Python 中如何使用正则表达式呢？Python 内置了正则表达式模块re，不需要安装，直接导入使用即可。
这里主要讲解 re 库中的web爬虫源码几种常用方法。这些方法在爬虫开发中经常使用，掌握这些方法后，基本可以解决爬虫开发中需要使用正则表达式的问题。
3.1 re.findall
findall 方法是找到所有符合规则的匹配内容，具体语法如下：
来看个例子，找出所有的字符串中的数字：
效果如下图所示：
3.2 re.search
re.search 扫描整个字符串，并返回第一个成功的匹配。具体语法如下：
来看个例子：
效果如下图所示：
3.3 re.match
如果 string 开始的 0 或者多个字符匹配到了正则表达式样式，就返回一个相应的匹配对象。如果没有匹配，就返回 None；注意它跟零长度匹配是不同的。
实例：
效果如下：
3.4 re.split
用 pattern 分开 string。如果在 pattern 中捕获到括号，那么所有的组里的文字也会包含在列表里。如果 maxsplit 非零，最多进行 maxsplit 次分隔，剩下的字符全部返回到列表的最后一个元素。
实例：
效果如下：
3.5 re.sub
返回通过使用 repl 替换在 string 最左边非重叠出现的 pattern 而获得的字符串。如果样式没有找到，则不加改变地返回 string。repl 可以是微软OCR 源码字符串或函数；如为字符串，则其中任何反斜杠转义序列都会被处理。
实例：
例子如下：
3.6 re.subn
行为与 sub() 相同，但是返回一个元组 (字符串, 替换次数)。
实例：
例子如下：
4. 小结
这一小节，我们学习了正则表达式的基本语法，以及通过多个例子展示了正则表达式的使用方法，正则表达式难度较高，同学们需要多加练习，才能牢固地掌握。
在UltraEdit中使用正则表达式
正则表达式 (UltraEdit Syntax):% 匹配行首 - 表明要搜索的字符串一定在行首.
$ 匹配行尾 - 表明要搜索的字符串一定在行尾
匹配除换行符外的任一单个字符.* 匹配任意个数的字符出现任意次数（不包括换行符）
+ 匹配前导字符或者表达式出现一次或者更多次（不包括换行符）
++ 匹配前导字符或者表达式不出现或者出现一次以上（不包括换行符）
^b 匹配页中断符
^p 匹配DOS文件的换行符
^r 匹配MAC文件的换行符(CR Only)
^n 匹配UNIX文件的换行符 (LF Only)
^t 匹配一个制表符
[ ] 匹配方括号中的单个的字符
删除空行: 替换 %[ ^t]++^p 为 空串
删除行尾空格: 替换 [ ^t]+$ 为 空串
删除行首空格: 替换 %[ ^t]+ 为 空串
每行设置为固定的4个空格开头: 替换 %[ ^t]++^([~ ^t^p]^) 为 " ^1"
每段设置为固定的4个空格开头: 替换 %[ ^t]+ 为 " "
(如果一行是以空格开始的,则视之为一段的开始行)
将一段合并为一行: 替换 [ ^t]++^p^([~ ^t^p]^) 为 ^1
(注意: 此处假定文本是以DOS方式回车换行 - CR/LF)
去掉HTML TAG: 替换 ^{ *^}^{ *^p*^} 为 空串
删除HTML中的所有A: 替换 [ ]++a *[ ]++href[ ]++=* 为 空串
删除文本中指定的前2列字符: 替换 %? 为 空串
在第4列后插入2列空白字符: 替换 %^(^)^(?^) 为 "^1 ^2"
查找所有的数字: [0-9]+[.]++[0-9]+
查找所有的单词: [a-z]+
查找所有的网址: mand line里输入：c:jdk1.3binjavac %f
注意：这里的javac路径你要按你自己的来指定;%f是指当前活动文档的全文件名，即“文件名.扩展名",
因为java程序在编译时必须带上扩展名。如果你用了%F（大写）是不对的，它只表示文件名而不带扩展名
（对于java运行命令是这样的）。在Menu Item Name 里输入javac ，它出现在菜单里，这样你就知道它是
用来编译的。然后选择output to list box 和 capture output,这样当编译错误的时候你就可以在源代码
的下面的output窗口里看到错误信息了。
2，配置不带参数的java运行命令
在command line里输入：java %n, 或者java %F，这两个有时候不一样，看你的环境怎么配置了，我是使用的前一个。
在Menu Item Name 里输入: java -no parameter
并且选择output to list box 和 capture output ,这样当运行的时候，运行结果显示在output窗口里。
3，配置带参数的java运行命令
在command line里输入：java %n%modify%
在Menu Item Name 里输入： java -parameter，这样当你运行的时候，它会有一个对话框要求你输入参数
很多朋友都用过或者正在用UltraEdit，这个编辑器陪伴我也好几年了，从很多地方影响着我写代码的快捷键习惯，Ultraedit提供了非常丰富的编辑功能，其中非常重要的查找和替换功能一定大家都用过，Ultraedit提供的查找替换功能非常方便和强大，可以在单独文件里面查找替换，也可以在多个文件、多个目录里面进行查找替换。而我们在使用这些查找替换功能的时候，一般都是针对某个字符串进行，前两天我要对一个目录下（包含子目录）所有的html文件中某一段代码进行查找替换，一下子不知道怎么操作了，由于长期写程序用到正则表达式，于是猜想具备如此强大功能的Ultraedit一定也有这样类似的匹配功能，于是点击Help一看，果然不出所料，Ultraedit支持基本的正则表达式匹配查找和替换功能，这能满足我们几乎全部的需要了。
下面是对UltraEdit的Help中针对查找替换使用正则表达式部分的整理，最后还有我前两天用到的一个多行代码查找替换的例子。
Ultraedit在使用正则表达式进行查找替换时有两个可使用的语法集合。一个是 UltraEdit 的更早的版本被使用的原来的 UltraEdit 句法。另一个是”Unix”类型的正则表达式，这个集合在ultraedit的默认配置中是没有启用的，需要在配置中找到search项，启用Unix类型的正则表达式。
语法集合一：
符号 功能
% 匹配行的开始 - 显示搜索字符串必须在行的开始，但是在所选择的结果字符串中不包括任何行终止字符。
$ 匹配行尾 - 显示搜索字符串必须在行尾，但是在所选择的结果字符串中不包括任何行终止字符。
除了换行符以外匹配任何单个的字符* 除了换行符匹配任何数量的字符和数字
+ 前一字符匹配一个或多个，但至少要出现一个
++ 前一字符匹配零个或多个，但至少要出现一个
^b 匹配一个分页
^p 匹配一个换行符(CR/LF)(段)(DOS文件)
^r 匹配一个换行符(CR 仅仅)(段)(MAC 文件)
^n 匹配一个换行符 ( LF 仅仅 )( 段 )( UNIX 文件 )
^t 匹配一个标签字符TAB
[] 匹配任何单个的字符，或在方括号中的范围
^{ A^}^{ B^} 匹配表达式A或 B
^ 重载其后的正规表达式字符
^(^) 括或标注为用于替换命令的表达式。
一个正则表达式最多可以有9个标注表达式, 按正规表达式的需要而定。
相应的替换表达式是 ^x , 替换范围x是1-9。例如：
If ^(h*o^) ^(f*s^) matches “hello folks”,
^2 ^1 would replace it with “folks hello”.
（hello folks 将被替换成 folks hello。）
注： ^ 是实际字符 ^不是Ctl + 键值。
例如：
m?n 匹配 “man”,”men”,”min” 但不匹配 “moon”.
t*t 匹配 “test”,”tonight” 和 “tea time” (the “tea t” portion) 但不匹配 “tea
time” (newline between “tea ” and “time”).
Te+st 匹配 “test”,”teest”,” teeeest “等等。但是不匹配 “tst”。
[aeiou] 匹配每个小写元音。
[,.?] 匹配一文字的 “,”，”.”或 “?”。
[0-9, a-z] 匹配任何数位，或小写字母。
[~0-9] 除了数字以外匹配任何字符 (~ 意味着”不”)
你按如下方式可以查找一个表达式A或 B ：
“^{ John^}^{ Tom^}”
这将在找John或Tom的出现。应该在 2 个表达式之间没有任何东西。
你可以在同一搜索中按如下方式组合A or B and C or D：
“^{ John^}^{ Tom^}^{ Smith^}^{ Jones^}”
这将在John or Tom 后面找 Smith or Jones。
语法二：”Unix”句法类型的正则表达式
符号 功能
/ 标记下一个字符作为一个特殊的字符。
"n" 匹配字符"n"。"n" 一个换行符或换行符字符。
^ 匹配/定位行的开始。
$ 匹配/定位行的尾。
* 匹配前面的字符零次或多次。例
+ 匹配前面的字符一次或多次。例
. 匹配除了一个换行符字符匹配任何单个的字符。
(expression)标注用于替换命令的表达式。一个正则表达式根据需要，最多可以有9个标注表达式。相应的代替表达式是 x , x的范围是 1-9 。
例如：
If (h.*o) (f.*s) matches “hello folks”,
2 1 would replace it with “folks hello”.
（hello folks 将被替换成 folks hello。）
[xyz] 一个字符集。匹配在方括号之间的任何字符。
[^xyz] 一个否定的字符集。不匹配在方括号之间的任何字符。
/d 匹配一个数字字符。等价于[0-9]。
/D 匹配一个非数字字符。等价于[^0-9]。
/f 匹配一个换页字符。
/n 匹配一个换行字符。
/r 匹配一个回车符字符。
/s 匹配任何空白的空格, 标签, 换页, 包括空格等等，但不匹配换行符。
/S 匹配任何非空白的字符，但不匹配换行符。
/t 匹配一个标签TAB字符。
/v 匹配一个垂直的标签字符。
/w 匹配任何词语字符包括下划线。
/W 匹配任何非词语字符字符。
注： ^ 是实际字符 ^不是Ctl + 键值。
例如：
m.n 匹配 “man”,”men”,”min” 但不匹配 “moon”.
t+t 匹配 “test”,”tonight” 和 “tea time” (the “tea t” portion) 但不匹配 “tea
time” (newline between “tea ” and “time”).
Te*st 匹配 “test”,”teest”,” teeeest “等等。但是不匹配 “tst”。
[aeiou] 匹配每个小写元音。
[,.?] 匹配一文字的 “,”，”.”或 “?”。
[0-9,a-z] 匹配任何数位，或小写字母。
[^0-9] 除了数字以外匹配任何字符 (~ 意味着”不”)
你按如下方式可以查找一个表达式A或 B ：
“(John)|(Tom)”
这将在找John或Tom的出现。应该在 2 个表达式之间没有任何东西。
你可以在同一搜索中按如下方式组合A or B and C or D：
“(John|Tom) (Smith|Jones)”
这将在John or Tom 后面找 Smith or Jones。
另外：
p 匹配 CR/LF ( 作为 rn 的一样 ) 作为DOS行结束符匹配
如果查找/替换功能中正则表达式没有选用，则替换字段中下列字符也是有效的：
符号 功能
^^ 匹配一个 “^” 字符
^s 替换为被选择 ( 加亮 ) 活跃的文件窗口的文章。
^c 替换为剪贴板的内容
^b 匹配一个页裂缝
^p 匹配一个换行符 ( CR/LF )( 段 )( DOS 文件)
^r 匹配一个换行符 ( CR 仅仅 )( 段 )( MAC 文件)
^n 匹配一个换行符 ( LF 仅仅 )( 段 )( UNIX 文件)
^t 匹配一个标签TAB字符
下面是我要实现的一段代码查询替换的举例
有这样一段代码分布在各个html文件中
复制代码
代码如下:
!-- Copyright ?. toplee Ltd --
style
A.applink:hover { border: 2px dotted #DCE6F4;padding:2px;background-color:#ffff;color:green;text-decoration:none}
A.applink { border: 2px dotted #DCE6F4;padding:2px;color:#2F5BFF;background:transparent;text-decoration:none}
A.info { color:#2F5BFF;background:transparent;text-decoration:none}
A.info:hover { color:green;background:transparent;text-decoration:underline}
/style
div style='BORDER: 1px solid #DCE6F4; MARGIN-TOP: px; MARGIN-BOTTOM: px; MARGIN-LEFT: 5px;
.... 省略若干行....
!-- /Copyright ?. toplee Ltd --
我要把上面一段代码替换为空，于是编写下面的匹配规则
!– Copyright[^!]*[^]
*即完成了全部替换。
常用的正则表达式
删除空行:替换%[^t]++^p为空串
删除行尾空格:替换[^t]+$为空串
删除行首空格:替换%[^t]+为空串
每行设置为固定的4个空格开头:替换%[^t]++^([~^t^p]^)为”^1″
每段设置为固定的4个空格开头:替换%[^t]+为”"
(如果一行是以空格开始的,则视之为一段的开始行)
将一段合并为一行:替换[^t]++^p^([~^t^p]^)为^1
(注意:此处假定文本是以DOS方式回车换行-CR/LF)
去掉HTMLTAG:替换^{ *^}^{ *^p*^}为空串
删除HTML中的所有:替换[]++a*[]++href[]++=*为空串
删除文本中指定的前2列字符:替换%?为空串
在第4列后插入2列空白字符:替换%^(^)^(?^)为”^1^2″
查找所有的数字:[0-9]+[.]++[0-9]+
查找所有的单词:[a-z]+
查找所有的网址:http://[a-z0-9^~`_./^-^?=]+
注意:替换的时候需要勾选使用正则表达式选项
