再爬俱乐部网站，推文目录大放送！

至此，我们得到了一页所需要的信息，要获取所有页面的信息将源代码处理的过程嵌入循序即可。最后，再将处理好的源代码信息合并，程序如下：

clear

fs *.dta

foreach c in `r(files)' {

append using `c'

}

图五：采用subinfile爬取推文列表的完整程序

上面介绍了使用常规的字符串函数的方法这里祭出神器，采用subinfile命令一步到位！subinfile之前有几篇推文已经详细介绍过了，可以参见 《subinfile再创新高》 《删繁就简三秋叶，subinfile似剪刀》 《用subinfile修改文件，滚蛋吧，繁琐的命令君！》 。

获取源代码的程序和第二部分一样，差异主要在对源代码的处理上，采用subinfile首先利用index选项定位到标题和链接所在的class下（见图六），采用index选项后，处理后的源代码如图七：

图六：源码中包含链接和标题的行

图七：加入index选项处理后的源代码

以 20180203/">组内交叉合并—joinby 为 例，可以看出需要经过的处理有：

1.使用正则表达式 "(.+?推文/)|()" 将上边红色部分的字符串删除掉；

2.导入stata，并以“ /"> ”分割变量；

3.将date前添加 https://stata-club.github.io/推文/ ，date后添加“ / ” 得到推文的url；

整个处理过程写成代码如下：

subinfile `i'.txt,index (`" from("(.+?推文/)|( )") fromregex replace

infix strL v 1-20000 using `i'.txt,clear

split v,p (`"/">"' )

drop v

rename (v1 v2) (date title)

tostring date ,replace

gen url = "https://stata-club.github.io/推文/" + date + "/"

gen date1 = date(date, "YMD")

format date1 %tdCY-N-D

drop date

rename date1 date

save 1,replace

将处理字符串的命令加入循环中，即可得到爬虫俱乐部网站推文列表的程序，完整程序见第四部分。

将上文中提及的部分代码整理之后就可以爬取推文的日期、标题和链接，完成之后export到excel通过超链接点击url即可访问对应的文章，而且生成目录方便根据关键词查找对应的文章，便于温习回顾，大大提高工作效率。

subinfile 处理完整程序：

clear

cap mkdir e:/推文合集

cd e:/推文合集

forvalue i = 1(1)35 {

if `i' == 1 {

dis "第`i'页"

cap copy "https://stata-club.github.io/categories/%E6%8E%A8%E6%96%87/" `i'.txt,replace

}

else {

dis "第`i'页"

cap copy "https://stata-club.github.io/categories/%E6%8E%A8%E6%96%87/page/`i'/" `i'.txt,replace

if _rc != 0 {

dis "一共`=`i'-1'页，抓取完毕"

continue ,break

}

}

subinfile `i'.txt,inde x(`" from("(.+?推文/)|( )") fromregex replace

infix strL v 1-20000 using `i'.txt,clear

split v, p(`"/">"')

drop v

rename (v1 v2) (date title)

tostring date ,replace

gen url = "https://stata-club.github.io/推文/" + date + "/"

gen date1 = date(date, "YMD")

format date1 %tdCY-N-D

drop date

rename date1 date

save `i',replace

}

clear

fs *.dta

foreach c in `r(files)' {

append using `c'

}