首页天道酬勤,

,

张世龙 05-13 09:14 14次浏览

33558 www.Sina.com/(工作流描述语言) cromwell (分析工具) anexecutionenginethatcanrunwdlscripts )现在使GATK更易于使用在这里您将学习wdl快速入门教程。

WDL是流程创建语言,没有太多复杂的逻辑和语法,入门很简单。 首先,让我们来看看光环世界的例子

工作流myworkflow { callmytask } taskmytask { command { echo ' hello world ' } output { stringout=read _ string (stdout ) )

工作流程

任务

呼叫

命令

输出

每个脚本都包含一个工作流,工作流由多个任务组成。 在工作流中,用调用调用对应的task。 每个任务都在工作流代码块之外单独定义。

task表示任务,读取输入文件,然后执行相应的命令进行输出。 在command中,它对应于要执行的命令。 例如,在特定gatk的命令中,output指定task的输出值。 可以将task理解为编程语言中的函数,其中,每个函数读取输入的参数,执行代码并返回,命令与执行的具体代码相对应,输出与返回值相对应。

基础架构http://www.Sina.com/: workflow,任务和呼叫

工作流程位于顶层,在呼叫中运行任务。 tasks是在工作流模块之外定义的。 workflowmyworkflowname { call task _ a call task _ b } task task _ a { . } 3358 www.Sina.com/:

task的核心成分:执行command,output明确表示哪个部分的指令构成输出。 任务任务_ a { command { . } output { . } http://www.Sina.com /

有两种不同级别的变量,一种存在于任务中,另一种存在于整个工作流中。 变量也可以从一个任务传递到下一个任务。

添加任务-级别可变

然后,task有三个输入参数:文件类型的ref、in和字符串类型的id。 command以${ref}的格式访问变量值

task task _ a { filereffileinstringidcommand } do _ stuffr=$ { ref } I=$ { in } o=$ { id }.ext } output { file out='

其次,工作流具有三个参数:文件类型的my_ref、my_input和字符串类型的name。 将这三个参数传递给task时,直接传递变量名称就可以了。 workflowmyworkflowname { filemy _ reffilemy _ inputstringnamecalltask _ a { input : ref=my _ ref,in=my_input,}

上一个task的输出是后一个task的输入workflowlinearchain { filefirstinputcallstepa } input : in=first input } call stepb { input : in=stttion callstepc { input 3360 in=stepb.out } taskstepa { file in command } programai=$ { in } o=outputa.ext } output { file out } o=outputb.ext } output { file out=' outputb.ext ' } taskstepc { file } o=outputc.ext } output { file out=' outputc

k的输入
workflow MultiOutMultiIn { File firstInput call stepA { input: in=firstInput } call stepB { input: in=stepA.out } call stepC { input: in1=stepB.out1, in2=stepB.out2 }}task stepA { File in command { programA I=${in} O=outputA.ext } output { File out = "outputA.ext" }}task stepB { File in command { programB I=${in} O1=outputB1.ext O2=outputB2.ext } output { File out1 = "outputB1.ext" File out2 = "outputB2.ext" }}task stepC { File in1 File in2 command { programB I1=${in1} I2=${in2} O=outputC.ext } output { File out = "outputC.ext" }} 多对多的依赖关系
一个task的输出作为多个task的输入,或者多个task的输出作为1个task的输入
workflow BranchAndMerge { File firstInput call stepA { input: in=firstInput } call stepB { input: in=stepA.out } call stepC { input: in=stepA.out } call stepD { input: in1=stepC.out, in2=stepB.out }}task stepA { File in command { programA I=${in} O=outputA.ext } output { File out = "outputA.ext" }}task stepB { File in command { programB I=${in} O=outputB.ext } output { File out = "outputB.ext" }}task stepC { File in command { programC I=${in} O=outputC.ext } output { File out = "outputC.ext" }}task stepD { File in1 File in2 command { programD I1=${in1} I2=${in2} O=outputD.ext } output { File out = "outputD.ext" }} 平行关系
多个task之间完全平行,可以并行执行

Parallelism即平行可以使得任务更快,而非顺序进行。我们使用了基于WDL standard library的scatter,会产生可平行的任务(成为一列Input,array),并且会输出结果(也是array)。Scatter这个过程是外显的(explicit),而gather这个过程是不外显的(implicit)。 workflow ScatterGather { Array[File] inputFiles scatter (oneFile in inputFiles) { call stepA { input: in=oneFile } } call stepB { input: files=stepA.out }}task stepA { File in command { programA I=${in} O=outputA.ext } output { File out = "outputA.ext" }}task stepB { Array[File] files command { programB I=${files} O=outputB.ext } output { File out = "outputB.ext" }} 任务混叠
task和函数还是有一定的区别,函数可以在代码中多次调用,但是task多次调用会有风险。下面的示意图中,stepA 运行两次,一次作为stepB的输入,一次作为stepC的输入。如果stepA的两次调用并行执行,当执行完之后,在传递给下一个task时,由于存在两个同名的stepA, stepB和stepC 就会无法正确接受参数。

WDL中提供了解决方案,叫做task alias, 为task起一个别名,示例如下 workflow taskAlias { File firstInput File secondInput call stepA as firstSample { input: in=firstInput } call stepA as secondSample { input: in=secondInput } call stepB { input: in=firstSample.out } call stepC { input: in=secondSample.out }}task stepA { File in command { programA I=${in} O=outputA.ext } output { File out = "outputA.ext" }}task stepB { File in command { programB I=${in} O=outputB.ext } output { File out = "outputB.ext" }}task stepC { File in command { programC I=${in} O=outputC.ext } output { File out = "outputC.ext" }}

在WDL脚本中, 理论上每个task 只可以调用1次,如果希望多次调用,必须借助task alias。

运行脚本

掌握以上几点,就可以理解一个wdl脚本的整体框架了。在实际使用中,我们只要能理解整个workflow的流向,会使用wdl脚本就可以了。
运行wdl脚本,需要两个文件

cromwell.jarwomtools.jar

最新版的下载链接如下:

https://github.com/broadinstitute/cromwell/releases

第一步是得到输入参数的列表,用法如下

java -jar womtools.jar inputs myWorkflow.wdl > myWorkflow_inputs.json

用json格式存存储,这一步得到的只是一个模板,需要编辑这个文件,将对应的参数替换成实际的参数
第二步运行脚本,用法如下

java -jar Cromwell.jar run myWorkflow.wdl -i myWorkflow_inputs.json 总结

WDL是一种流程管理语言,语法简单,内置的支持并行等特征,适合编写pipeline。

运行wdl脚本只需两步,第一步编辑参数列表对应的json文件,第二步直接运行即可。

整体管理输入,输出,工具技术,47个过程输入输出工具速记口诀 tensorflow模型库介绍,c调用tensorflow模型