使用xargs调用shell函数

我试图使用xargs并行调用一个更复杂的函数。

#!/bin/bash
echo_var(){
echo $1
return 0
}
seq -f "n%04g" 1 100 |xargs -n 1 -P 10 -i echo_var {}
exit 0

这将返回错误

xargs: echo_var: No such file or directory

任何关于如何使用xargs或任何其他解决方案的想法都是受欢迎的。

82704 次浏览
小开
最佳答案

导出函数应该这样做(未经测试):

export -f echo_var
seq -f "n%04g" 1 100 | xargs -n 1 -P 10 -I {} bash -c 'echo_var "$@"' _ {}

你可以使用内置的printf来代替外部的seq:

printf "n%04g\n" {1..100} | xargs -n 1 -P 10 -I {} bash -c 'echo_var "$@"' _ {}

同样，像这样使用return 0和exit 0可以掩盖前面命令可能产生的任何错误值。此外，如果没有错误，则它是默认值，因此有点多余。

@ phobia提到Bash命令<强> < / >强能可以简化为

bash -c 'echo_var "{}"'

将{}直接移动到它里面。但是@Sasha指出的易受命令注入攻击。

下面是一个你为什么不应使用嵌入格式的例子:

$ echo '$(date)' | xargs -I {} bash -c 'echo_var "{}"'
Sun Aug 18 11:56:45 CDT 2019

为什么不的另一个例子:

echo '\"; date\"' | xargs -I {} bash -c 'echo_var "{}"'

这就是输出使用安全格式的内容:

$ echo '$(date)' | xargs -I {} bash -c 'echo_var "$@"' _ {}
$(date)

这相当于使用参数化 SQL 查询来避免注射。

我在命令替换或转义引号中使用date，而不是Sasha注释中使用的rm命令，因为它是非破坏性的。

小开

使用GNU Parallel是这样的:

#!/bin/bash
echo_var(){
echo $1
return 0
}
export -f echo_var
seq -f "n%04g" 1 100 | parallel -P 10 echo_var {}
exit 0

如果你使用版本20170822，你甚至不需要export -f，只要你运行了这个:

. `which env_parallel.bash`
seq -f "n%04g" 1 100 | env_parallel -P 10 echo_var {}
小开

像这样的东西也应该工作:

function testing() { sleep $1 ; }
echo {1..10} | xargs -n 1 | xargs -I@ -P4 bash -c "$(declare -f testing) ; testing @ ; echo @ "
小开

也许这是不好的做法，但如果你在.bashrc或其他脚本中定义函数，你可以用allexport设置包装文件或至少是函数定义:

set -o allexport


function funcy_town {
echo 'this is a function'
}
function func_rock {
echo 'this is a function, but different'
}
function cyber_func {
echo 'this function does important things'
}
function the_man_from_funcle {
echo 'not gonna lie'
}
function funcle_wiggly {
echo 'at this point I\'m doing it for the funny names'
}
function extreme_function {
echo 'goodbye'
}


set +o allexport
小开

看来我不能发表评论了:-(

我想知道你对

bash -c 'echo_var "$@"' _ {}
vs
bash -c 'echo_var "{}"'

第一个替换{}作为bash的参数，而第二个替换为函数的参数。示例1没有展开$(date)这一事实只是一个副作用。

如果你不想扩展函数的参数，使用单引号而不是双引号。为了避免混乱的嵌套，使用双引号(在另一个上展开参数)

$ echo '$(date)' | xargs -0 -L1 -I {} bash -c 'printit "{}"'
Fri 11 Sep 17:02:24 BST 2020


$ echo '$(date)' | xargs -0 -L1 -I {} bash -c "printit '{}'"
$(date)

提交答案