如何 select 一个样本中的所有文件？

Question

我在弄清楚如何使输入指令仅 select 所有 {samples} 规则中的文件时遇到问题。

rule MarkDup:
    input:
        expand("Outputs/MergeBamAlignment/{samples}_{lanes}_{flowcells}.merged.bam", zip,
            samples=samples['sample'],
            lanes=samples['lane'],
            flowcells=samples['flowcell']),
    output:
        bam = "Outputs/MarkDuplicates/{samples}_markedDuplicates.bam",
        metrics = "Outputs/MarkDuplicates/{samples}_markedDuplicates.metrics",
    shell:
        "gatk --java-options -Djava.io.tempdir=`pwd`/tmp \
        MarkDuplicates \
        $(echo ' {input}' | sed 's/ / --INPUT /g') \
        -O {output.bam} \
        --VALIDATION_STRINGENCY LENIENT \
        --METRICS_FILE {output.metrics} \
        --MAX_FILE_HANDLES_FOR_READ_ENDS_MAP 200000 \
        --CREATE_INDEX true \
        --TMP_DIR Outputs/MarkDuplicates/tmp"

目前它将创建正确命名的输出文件，但它select所有文件都基于所有通配符匹配模式。所以我可能已经完成一半了。我尝试将输入指令中的 {samples} 更改为 {{samples}}：

expand("Outputs/MergeBamAlignment/{{samples}}_{lanes}_{flowcells}.merged.bam", zip,
            lanes=samples['lane'],
            flowcells=samples['flowcell']),`

但这不知何故打破了之前的规则。所以解决方案就像

input:
     "{sample}_*.bam"

但这显然行不通。是否可以收集所有匹配 {sample}_*.bam 的文件并将其用作输入？如果是这样，该函数是否仍适用于 shell 指令中的 $(echo ' {input}' etc...)？

Answer 1

如果我理解正确，zip 只需要应用于 {lane} 和 {flowcells} 而不是 {samples}。在那种情况下，使用两个 expand 实例可以实现。

input:
    expand(expand("Outputs/MergeBamAlignment/{{samples}}_{lanes}_{flowcells}.merged.bam", 
        zip, lanes=samples['lane'], flowcells=samples['flowcell']), 
            samples=samples['sample'])

PS：output.tmp 文件使用 {sample} 而不是 {samples}。打字错误？

Answer 2

如果只想要目录下的所有文件，可以使用lambda函数

from glob import glob

rule MarkDup:
    input:
        lambda wcs: glob('Outputs/MergeBamAlignment/%s*.bam' % wcs.samples)
    output:
        bam="Outputs/MarkDuplicates/{samples}_markedDuplicates.bam",
        metrics="Outputs/MarkDuplicates/{samples}_markedDuplicates.metrics"
    shell:
        ...

请注意，此方法不能对丢失的文件进行任何检查，因为它总是会报告所需的文件是存在的文件。如果您确实需要确认上游规则已被执行，您可以让先前的规则触及一个标志，然后您需要将其作为此规则的输入（尽管您实际上并没有将该文件用于执行执行顺序以外的任何其他用途） .

如何 select 一个样本中的所有文件？

How to select all files from one sample?

wildcard

snakemake