Performance 如何在缓慢的jq脚本上提高性能？

我有一个JSON文档，看起来像：

{
    "SecurityGroups": [
        {
            "GroupName": "database",
            "GroupId": "sg-xxxxxx",
            "VpcId": "vpc-yyyyyyy",
            "IpPermissions": [
                {
                    "FromPort": 22,
                    "ToPort": 22,
                    "IpProtocol": "tcp",
                    "IpRanges": [
                        {
                            "CidrIp": "10.200.0.0/16"
                        },
                        {
                            "CidrIp": "10.200.30.79/32"
                        },
                        {
                            "CidrIp": "10.200.42.0/24"
                        }
                    ],
                    "UserIdGroupPairs": []
                },
                {
                    "FromPort": 5555,
                    "ToPort": 5555,
                    "IpProtocol": "tcp",
                    "IpRanges": [
                        {
                            "CidrIp": "10.200.0.0/16"
                        },
                        {
                            "CidrIp": "10.200.0.155/32"
                        }
                    ],
                    "UserIdGroupPairs": []
                },
                {
                    "FromPort": 4506,
                    "ToPort": 4506,
                    "IpProtocol": "tcp",
                    "IpRanges": [
                        {
                            "CidrIp": "10.200.0.0/16"
                        }
                    ],
                    "UserIdGroupPairs": []
                }
            ]
        }
    ]
}

我需要生成的输出如下所示：

sg-xxxxxx|database|22|22|tcp|10.200.0.0/16
sg-xxxxxx|database|22|22|tcp|10.200.30.79/32
sg-xxxxxx|database|22|22|tcp|10.200.42.0/24
sg-xxxxxx|database|5555|5555|tcp|10.200.0.0/16
sg-xxxxxx|database|5555|5555|tcp|10.200.0.155/32
sg-xxxxxx|database|4506|4506|tcp|10.200.0.0/16

我可以通过使用jq首先生成一个GroupId列表，然后循环通过该列表将数据过滤到jq中两次来实现这一点。我是这样做的：

cat json.in | jq -r '.SecurityGroups[]|"\(.GroupId) \(.GroupName)"' | while read groupid groupname
do
        cat json.in | jq ".SecurityGroups[]|{GroupId,IpPermissions,IpPermissionsEgress}|select(.GroupId == \"$groupid\")" | jq -r '.IpPermissions[]|"\(.FromPort)|\(.ToPort)|\(.IpProtocol)|\(.IpRanges[].CidrIp)"' | sed "s/^/$groupid|$groupname|/"
done

---

我的解决方案很慢，我想改进一下，有什么建议吗？

这里有一个更有效的方法。使用

-r

选项，以下过滤器

    .SecurityGroups[]
  | .GroupId as $gid
  | .GroupName as $gname
  | (.IpPermissions[], .IpPermissionsEgress[]?)
  | .FromPort as $from
  | .ToPort as $to
  | .IpProtocol as $pro
  | .IpRanges[]
  | "\($gid)|\($gname)|\($from)|\($to)|\($pro)|\(.CidrIp)"

使用样本数据生成

sg-xxxxxx|database|22|22|tcp|10.200.0.0/16
sg-xxxxxx|database|22|22|tcp|10.200.30.79/32
sg-xxxxxx|database|22|22|tcp|10.200.42.0/24
sg-xxxxxx|database|5555|5555|tcp|10.200.0.0/16
sg-xxxxxx|database|5555|5555|tcp|10.200.0.155/32
sg-xxxxxx|database|4506|4506|tcp|10.200.0.0/16

---

请注意，这包括

.IpPermissionsEgress[]？

，因为虽然它在示例数据中不存在，并且在脚本的第二部分中未使用，但它仍然存在于示例脚本的第一部分中，因此我想您可能打算将其包括在内。

这可能是我最喜欢的问题/答案对之一，因为它提供了一个关于

jq

变量如何作为回溯前向引用工作的好例子：）