PHP

Question

所以我写了一个脚本来从原始基因组文件中提取数据，这是原始基因组文件的样子：

# rsid  chromosome  position    genotype
rs4477212   1   82154   AA
rs3094315   1   752566  AG
rs3131972   1   752721  AG
rs12124819  1   776546  AA
rs11240777  1   798959  AG
rs6681049   1   800007  CC
rs4970383   1   838555  AC
rs4475691   1   846808  CT
rs7537756   1   854250  AG
rs13302982  1   861808  GG
rs1110052   1   873558  TT
rs2272756   1   882033  GG
rs3748597   1   888659  CT
rs13303106  1   891945  AA
rs28415373  1   893981  CC
rs13303010  1   894573  GG
rs6696281   1   903104  CT
rs28391282  1   904165  GG
rs2340592   1   910935  GG

原始文本文件有数十万行，但我只需要特定的行，我需要大约 10,000 行。我有一个 rsid 列表。我只需要每一行的基因型。所以我遍历 rsid 列表并使用 preg_match 找到我需要的行：

    $rawData = file_get_contents('genome_file.txt');
    $rsids = $this->get_snps();

    while ($row = $rsids->fetch_assoc()) {

        $searchPattern = "~rs{$row['rsid']}\t(.*?)\t(.*?)\t(.*?)\n~i";

        if (preg_match($searchPattern,$rawData,$matchedGene)) {

            $genotype = $matchedGene[3]);

            // Do something with genotype

        }   

    }

注意：我删除了很多代码以仅显示我正在执行的正则表达式提取。随着我的进行，我还将每一行插入到数据库中。这是包含数据库工作的代码：

    $rawData = file_get_contents('genome_file.txt');
    $rsids = $this->get_snps();

    $query = "INSERT INTO wp_genomics_results (file_id,snp_id,genotype,reputation,zygosity) VALUES (?,?,?,?,?)";
    $stmt = $ngdb->prepare($query);

    $stmt->bind_param("iissi", $file_id,$snp_id,$genotype,$reputation,$zygosity);

    $ngdb->query("START TRANSACTION");

    while ($row = $rsids->fetch_assoc()) {

        $searchPattern = "~rs{$row['rsid']}\t(.*?)\t(.*?)\t(.*?)\n~i";

        if (preg_match($searchPattern,$rawData,$matchedGene)) {

            $genotype = $matchedGene[3]);

            $stmt->execute();
            $insert++;

        }   


    }   

    $stmt->close();
    $ngdb->query("COMMIT");

    $snps->free();
    $ngdb->close();

}

很遗憾，我的脚本运行速度很慢。运行 50 次迭代需要 17 秒。所以你可以想象运行 18,000 次迭代需要多长时间。我正在研究优化它的方法。

有没有更快的方法从这个巨大的文本文件中提取我需要的数据？如果我将它分解成一个行数组，并使用 preg_grep()，会更快吗？

我尝试将所有 18,000 个 rsid 组合成一个表达式（即 (rs123|rs124|rs125)，如下所示：

    $rsids = get_rsids(); 

    $rsid_group = implode('|',$rsids);
    $pattern =  "~({$rsid_group })\t(.*?)\t(.*?)\t(.*?)\n~i";
    preg_match($pattern,$rawData,$matches);

但不幸的是，它给了我一些关于超过 PCRE 表达式限制的错误信息。针太大了。我尝试的另一件事是将 S 修饰符添加到表达式中。我读到这会分析模式以提高性能。它根本没有加快速度。也许模式与它不兼容？

那么我需要尝试优化的第二件事是数据库插入。我添加了一个交易，希望能加快速度，但它根本没有加快速度。所以我在想也许我应该将插入的内容组合在一起，这样我就可以一次插入多行，而不是单独插入它们。

然后另一个想法是我读到的，使用 LOAD DATA INFILE 从文本文件加载行。在那种情况下，我只需要先生成一个文本文件。我想知道在这种情况下生成文本文件会不会更快。

编辑：似乎占用最多时间的是正则表达式。运行程序本身的那部分，它需要很长时间。 10 行需要 4 秒。

Answer 1

这很慢，因为您要一遍又一遍地搜索大量数据。

看起来您有一个文本文件，而不是 dbms table，包含如下行：

rs4477212   1   82154   AA
rs3094315   1   752566  AG
rs3131972   1   752721  AG
rs12124819  1   776546  AA

您似乎有一些其他数据结构，其中包含像 rs4477212 这样的值列表。我认为已经在 dbms 的 table 中了。

我认为您想要 rsxxxx 值的完全匹配，而不是前缀或部分匹配。

我认为您想处理许多不同的原始数据文件，并从每个文件中提取同一批rsxxxx值。

所以，这就是你用伪代码所做的。不要将整个原始数据文件加载到内存中，而是逐行处理它。

从 dbms 中读取你的 rsid 值行，一次，并将它们存储在关联数组中。
对于每个原始数据文件....
1. 对于文件中的每一行数据...
  1. 拆分数据行以获得rsid。在 php 中，$array = explode(" ", $line, 2); 将在 $array[0] 中生成您的 rsid，并且速度很快。
  2. 在您的 rsid 值数组中查找此值。在php中，if ( array_key_exists( $array[0], $rsid_array )) { ...会这样做。
  3. 如果密钥确实存在，则您有一个匹配项。
  4. 从原始文本行中提取最后一列（'GC 或其他）
  5. 将其写入您的 dbms。

注意这如何避免正则表达式，以及它如何逐行处理原始数据。您只需触摸每行原始数据一次。这很好，因为您的原始数据也是您最大的数据量。它利用 php 的关联数组功能来进行匹配。所有这些都会比你的方法快得多。

要加快将数万行插入 table 的过程，请阅读此内容。 Optimizing InnoDB Insert Queries

Answer 2

+1 @Ollie Jones 的回答。他在我写答案时发帖。所以这里有一些代码可以帮助您入门。

$rsids = $this->get_snps();
while ($row = $rsids->fetch_assoc()) {
    $key = 'rs' . $row['rsid'];
    $rsidHash[$key] = true;
}

$rawDataFd = fopen('genome_file.txt', 'r');
while ($rawData = fgetcsv($rawDataFd, 80, "\t")) {
    if (array_key_exists($rawData[0], $rsidHash)) {
        $genotype = $rawData[3];
        // do something with genotype
    }
}

Answer 3

我想提供 LOAD DATA INFILE 方法以查看它的效果如何，所以我想出了我认为是一个很好的优雅方法，代码如下：

    $file = 'C:/wamp/www/nutri/wp-content/plugins/genomics/genome/test';

    $data_query = "
    LOAD DATA LOCAL INFILE '$file' 
    INTO TABLE wp_genomics_results 
    FIELDS TERMINATED BY '\t' 
    LINES TERMINATED BY '\n' 
    IGNORE 18 ROWS 
    (@rsid,@chromosome,@locus,@genotype) 
    SET file_id = '$file_id', 
        snp_id = (SELECT id FROM wp_pods_snp WHERE rsid = SUBSTR(@rsid,2)), 
        genotype = @genotype
    ";

    $ngdb->query($data_query);

我在 snp_id（这是我的 table RSID 的 ID）列上设置了一个外键限制，以便它只输入我需要的 rsid 的基因型。不幸的是，这种外键约束导致了某种错误，导致 table 被锁定。呃，好吧。无论如何，这可能不是一个好方法，因为每个基因组文件中平均有 200,000 行。我将采用 Ollie Jones 方法，因为这似乎是我遇到过的最有效和可行的方法。

PHP - 优化 preg_match 数以千计的模式

PHP - Optimising preg_match of thousands of patterns

mysql

pcre