liunx如何批量查找一个文本搜索中的多个关键字，并提取关键字所在的行的内容？

来源：蜘蛛抓取(WebSpider) 时间：2022-12-02 04:02 标签： 文本搜索

1. sed替换的基本语法为:

单引号里面,s表示替换,三根斜线中间是替换的样式,特殊字符需要使用反斜线”\”进行转义。

2. 单引号” ‘ ’”是没有办法用反斜线”\”转义的,这时候只要把命令中的单引号改为双引号就行了,格式如下： 

# 要处理的字符包含单引号
sed "s/原字符串包含'/替换字符串包含'/"

3. 命令中的三根斜线分隔符可以换成别的符号,有时候替换目录字符串的时候有较多斜线，这个时候换成其它的分割符是较为方便,只需要紧跟s定义即可。 

# 将分隔符换成问号”?”:
sed 's?原字符串?替换字符串?'

4. 可以在末尾加g替换每一个匹配的关键字,否则只替换每行的第一个,例如: 

# 替换所有匹配关键字
sed 's/原字符串/替换字符串/g'

5. 一些特殊字符的使用

　　”$”符号如果在引号中表示行尾，但是在引号外却表示末行(最后一行)

# 注意这里的 " & " 符号，如果没有 “&”，就会直接将匹配到的字符串替换掉
sed 's/^/添加的头部&/g' 　　　　 #在所有行首添加
sed '$s/原字符串/替换字符串/g' #替换最后一行

7. sed处理过的输出是直接输出到屏幕上的,使用参数”i”直接在文件中替换。

8. 多个替换可以在同一条命令中执行,用分号”;”分隔，其格式为:

最近在学习使用python编写爬虫爬取自己学校网站的信息并存入mysql中，在爬取过程中异常顺利，但是在存入Mysql的过程中却踩了好几个坑，分享一下在用pymysql存数据时踩过的几个坑。
Pymysql向mysql存入数据，我写的是先链接数据库，然后用字符串的形式编写好mysql的指令块，再通过pymysql的execute和commit上交执行，所以其实在这个过程中容易发生错误的就是这些mysql指令的编写。
遇到的其中一个坑就是：
这个坑上网搜了一下网上都是这样的：
这说是在存入mysql时要将nan替换成none，然后我就根据这个去检查我的代码，然后还是没发现错误在哪，最后又上网查，终于查到了我那个报错，才知道这是由于引号引起的，
最初写的插入Mysql的指令是：

还有一个坑，让我搞了好久才搞定，就是：

对于这个报错，上网一搜，就有很多，说是在将数据插入到mysql过程中，这些python的字符串需要转义，要用：

来处理，然后我就试了一下，一开始我直接把execute语句中的元组args加上这一句，然后报错：

然后我又把这个元组建立时每个变量都加上这个函数，还是没用，还是显示

可是还是上网搜，都是说需要转义，又试了改成execute(sql%args)，和改成format但是就还是不行，然后我就试了一下新建一个python文件重新写，直接把要存进去的内容写进字符串，没用爬虫，然后他居然没报错！！
最后回到爬虫的那一个文件看了一下发现创建table的语句我写的是:

把创建的passage写成了pasage，将插入的pasage改为passage，再运行，它就过了。。。。

这个语句中"%s"漏了一个加上就好了。
总的就是，写mysql的指令时要仔细一些。

我要回帖

更多关于 文本搜索 的文章

 

随机推荐