Select Pandas 行与正则表达式匹配

Question

我有以下数据框。

我有一个输入值列表

我想将输入列表中的每个项目与数据框中的 Symbol 和 Synonym 列进行匹配，并仅提取输入值出现在 Symbol 列或 Synonym 列中的那些行（请注意此处这些值由“|”符号分隔）。

在输出数据框中，我需要一个额外的列 Input_symbol 来表示匹配值。所以在这种情况下，所需的输出应该如下图所示。

我怎样才能做同样的事情？

Answer 1

IIUIC，使用

In [346]: df[df.Synonyms.str.contains('|'.join(mylist))]
Out[346]:
     Symbol                   Synonyms
0      A1BG       A1B|ABG|GAB|HYST2477
1       A2M  A2MD|CPAMD5|FWP007|S863-7
2     A2MP1                       A2MP
6  SERPINA3       AACT|ACT|GIG24|GIG25

Answer 2

通过 str.contains and chain conditions by | (or), last filter by boolean indexing:

检查两列

mylist = ['GAB', 'A2M', 'GIG24']
m1 = df.Synonyms.str.contains('|'.join(mylist))
m2 = df.Symbol.str.contains('|'.join(mylist))

df = df[m1 | m2]

另一种解决方案是 logical_or.reduce list comprehension 创建的所有掩码：

masks = [df[x].str.contains('|'.join(mylist)) for x in ['Symbol','Synonyms']]
m = np.logical_or.reduce(masks)

或通过 apply, then use DataFrame.any 检查每行至少一个 True：

m = df[['Symbol','Synonyms']].apply(lambda x: x.str.contains('|'.join(mylist))).any(1)

df = df[m]

print (df)
     Symbol                   Synonyms
0      A1BG       A1B|ABG|GAB|HYST2477
1       A2M  A2MD|CPAMD5|FWP007|S863-7
2     A2MP1                       A2MP
6  SERPINA3       AACT|ACT|GIG24|GIG25

Answer 3

问题变了。您现在要做的是查看两列（符号和同义词），如果您找到 mylist return 内的值。如果没有匹配，你可以 return 'No match!' （例如）。

import pandas as pd
import io

s = '''\
Symbol,Synonyms
A1BG,A1B|ABG|GAB|HYST2477
A2M,A2MD|CPAMD5|FWP007|S863-7
A2MP1,A2MP
NAT1,AAC1|MNAT|NAT-1|NATI
NAT2,AAC2|NAT-2|PNAT
NATP,AACP|NATP1
SERPINA3,AACT|ACT|GIG24|GIG25'''

mylist = ['GAB', 'A2M', 'GIG24']
df = pd.read_csv(io.StringIO(s))

# Store the lookup serie
lookup_serie = df['Symbol'].str.cat(df['Synonyms'],'|').str.split('|')

# Create lambda function to return first value from mylist, No match! if stop-iteration
f = lambda x: next((i for i in x if i in mylist), 'No match!')

df.insert(0,'Input_Symbol',lookup_serie.apply(f))
print(df)

Returns

  Input_Symbol    Symbol                   Synonyms
0          GAB      A1BG       A1B|ABG|GAB|HYST2477
1          A2M       A2M  A2MD|CPAMD5|FWP007|S863-7
2    No match!     A2MP1                       A2MP
3    No match!      NAT1       AAC1|MNAT|NAT-1|NATI
4    No match!      NAT2            AAC2|NAT-2|PNAT
5    No match!      NATP                 AACP|NATP1
6        GIG24  SERPINA3       AACT|ACT|GIG24|GIG25

旧解：

f = lambda x: [i for i in x.split('|') if i in mylist] != []

m1 = df['Symbol'].apply(f)
m2 = df['Synonyms'].apply(f)

df[m1 | m2]

Select Pandas 行与正则表达式匹配

Select Pandas rows with regex match

python

regex

dataframe

pandas

data-cleaning