本文共 2271 字，大约阅读时间需要 7 分钟。

数据分析任务3：论文代码统计

• 正则表达式
• 数据框中各列处理apply函数和lambda的联合使用data[‘categories’] = data[‘categories’].apply(lambda x: x.split(’ ')[0])

1.数据处理步骤

在原始arxiv数据集中作者经常会在论文的comments或abstract字段中给出具体的代码链接，所以我们需要从这些字段里面找出代码的链接。

1. 确定数据出现的位置；
2. 使用正则表达式完成匹配；
3. 完成相关的统计；

2.正则表达式

普通字符：大写和小写字母、所有数字、所有标点符号和一些其他符号

3.代码实现

import json #读取数据import re #正则表达式import pandas as pd

读取数据

data = []with open("E:/datawhale数据分析/arxiv-metadata-oai-2019.json",'r') as f:    for idx,line in enumerate(f):        d = json.loads(line)        d = {
   'abstract':d['abstract'],'categories':d['categories'],'comments':d['comments']}        data.append(d)data = pd.DataFrame(data)

抽取页数pages

data['pages'] = data['comments'].apply(lambda x:re.findall('[1-9][0-9]* pages',str(x)))data = data[data['pages'].apply(len) > 0]#抽取出页码存在的论文data['pages'][1][0]#27 pages#去除pages  留下数字作为pages项data['pages'] = data['pages'].apply(lambda x: float(x[0].replace('pages','')))

对pages进行统计

data['pages'].describe().astype(int)

按照分类统计论文页数，选取了论文的第一个类别的主要类别

import matplotlib.pyplot as plt#选择主要类别data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])#每类论文的平均页数plt.figure(figsize=(12,6))data.groupby(['categories'])['pages'].mean().plot(kind = 'bar')

对论文图表个数进行抽取并设为data[“figures”]：

data = data.copy()#删掉copy会报错？？data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures',str(x)))data = data[data['figures'].apply(len) >0]data['figures'] = data['figures'].apply(lambda x: float(x[0].replace('figures','')))

对论文的代码链接进行提取，为了简化任务只抽取github链接

data = data.copy()# 筛选包含github的论文data_with_code = data[    (data.comments.str.contains('github')==True)|                      (data.abstract.str.contains('github')==True)]data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')# 使用正则表达式匹配论文pattern = '[a-zA-z]+://github[^\s]*'#所有大小写字母出现一次或多次：//github任意非空字符出现0次或多次data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(len)#finall函数的返回类型依其正则表达式中（）的个数不同而不同#https://www.cnblogs.com/springionic/p/11327187.htmldata_with_code['code_flag']

按照类别对引用github链接的论文数量进行绘图

data_with_code = data_with_code[data_with_code['code_flag'] == 1]plt.figure(figsize=(12, 6))data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')