提取SQL Server中属性和元素不一致的嵌套XML数据

我有一个包含两列的现有表：唯一ID、xml格式的数据。后者具有嵌套结构，但未标准化（见下面的示例）。要将每个ID的所有xml信息提取为以下格式：

ID | Variable | Value  

现有表格安排如下：

ID |   Data 
---+-------------------------------------------------------
1  |   <ID><Input_CCY style="Input"> USD </Input_CCY>.....
2  |   <ID><Input_CCY style="Input"> GBP </Input_CCY>.....

我曾尝试在SQL中使用

交叉应用

方法首先提取单个单元格信息，效果很好：

SELECT 
    T.[ID] as [ID], 
    a.b.value('fn:local-name(.)', 'NVARCHAR(100)') As [Node_1_Name],
    a.b.value('.', 'NVARCHAR(100)') As [Node_1_Value] -- value,
    c.b.value('.', 'NVARCHAR(100)') As [Node_1_Type] -- value
FROM 
    [dbo].[all] AS T
CROSS APPLY 
    T.[data].nodes('/risk/*') AS a(b) 
OUTER APPLY 
    a.b.nodes('@*') AS c(b) 
WHERE
    a.b.value('fn:local-name(.)', 'VARCHAR(100)') != 'table' -- tables

此查询返回：

ID  |   Node_1_Name   | Node_1_Value  |  Node_1_Type
----+-----------------+---------------+----------------
1   |   Input_CCY     | USD           |  Input
1   |   Input_LastYear| 500           |  Output
1   |   Input_LastYear| 500           |  =SUM(E65:E68)
2   |   Input_CCY     | GBP           |  Input
...

但是，当我添加更多级别的

交叉应用

以深入到表的嵌套级别时：

SELECT 
    T.[ID] as [ID], 
    a.b.value('fn:local-name(.)', 'NVARCHAR(100)') As [Node_1_Name],
    c.b.value('.', 'NVARCHAR(100)') As [Node_1_Attribute_Value], 
    g.b.value('fn:local-name(.)', 'NVARCHAR(100)') As [Node_2_Name],
    h.b.value('.', 'NVARCHAR(100)') As [Node_2_Attribute_Value], 
    e.b.value('fn:local-name(.)', 'NVARCHAR(100)') As [Node_3_Name], 
    e.b.value('.', 'NVARCHAR(100)') As [Node_3_Element], 
    f.b.value('fn:local-name(.)', 'NVARCHAR(100)') As [Node_3_Attribute], 
    f.b.value('.', 'NVARCHAR(100)') As [Node_3_Attribute_Value] 
FROM 
    [dbo].[all] AS T
CROSS APPLY 
    T.[data].nodes('/risk/*') AS a(b) 
OUTER APPLY 
    a.b.nodes('@*') AS c(b) 
CROSS APPLY 
    T.[data].nodes('/risk/table/*') g(b) 
OUTER APPLY 
    g.b.nodes('@name') h(b) 
CROSS APPLY 
    T.[data].nodes('/risk/table/Row/*') e(b) 
OUTER APPLY 
    e.b.nodes('@name') f(b) 
WHERE
    a.b.value('fn:local-name(.)', 'VARCHAR(100)') = 'table' 
    AND c.b.value('fn:local-name(.)', 'NVARCHAR(100)') = 'name'
    AND f.b.value('fn:local-name(.)', 'NVARCHAR(100)') = 'name' 

结果表中似乎有大量重复项。例如，即使对于单个ID（即原始数据集中的1行），第一个表也会有30k+行（应该是8 x 24表=192行）。我怀疑我滥用了

交叉应用程序

，但无法找到答案

这是我希望将表元素提取为的格式：

ID   |    Table Name    |   Row#   |    Row Name   |   Col#   |   Col Name    |   Value  | Type (input/output)

或者我应该完全使用其他一些函数

---

我对单个单元格和表节点的编码进行了拆分，因为我认为在以后重新组合它们之前，先给定它们的结构，然后再为它们单独编码会更容易。如果有一种方法可以一炮打响，那就太好了

整个过程取决于你事先知道的内容

模拟您的问题的实体模型：

DECLARE @YourTable TABLE(ID INT IDENTITY, [Data] XML);
INSERT INTO @YourTable VALUES
(N'<risk>
  <Input_CCY style="Input">USD</Input_CCY>
  <Input_LastYear style="Output" formula="=SUM(E65:E68)">500</Input_LastYear>
  <table name="info" header_row="1">
    <Row name="" iRow="2">
      <Col style="Input" name="Ref" iCol="1" >AAA</Col>
      <Col style="Input" name="Location" iCol="2">London</Col>
    ...
    </Row>
    <Row name="" iRow="3">
      <Col style="Input" name="Ref" iCol="1" >BBB</Col>
      <Col style="Input" name="Location" iCol="2">Edinburgh</Col>
    ...
    </Row>
    ...
  </table>
  <table name="summary" header_row="1">
    <Row name="" iRow="2">
      <Col style="Output" name="Status" iCol="1" >Amber</Col>
      <Col style="Output" name="Referral_Bonus" iCol="2">No</Col>
    ...
    </Row>
    <Row name="" iRow="3">
      <Col style="Normal" name="Status" iCol="1" >Green</Col>
      <Col style="Normal" name="Referral_Bonus" iCol="2">YES</Col>
    ...
    </Row>
    ...
  </table>
</risk>');

--此查询将按已知名称选择列。
--正如我在这里所说的，您将获得所有内容，但如果实际表中不存在所有列，则所有列都返回为NULL

SELECT t.ID
      ,t.[Data].value('(/risk/Input_CCY/@style)[1]','nvarchar(100)') AS Input_CCY_Style
      ,t.[Data].value('(/risk/Input_CCY/text())[1]','nvarchar(100)') AS Input_CCY_Content
      ,t.[Data].value('(/risk/Input_LastYear/@style)[1]','nvarchar(100)') AS Input_LastYear_Style
      ,t.[Data].value('(/risk/Input_LastYear/@formula)[1]','nvarchar(100)') AS Input_LastYear_Formula
      ,t.[Data].value('(/risk/Input_LastYear/text())[1]','nvarchar(100)') AS Input_LastYear_Content
      ,tbl.value('@name','nvarchar(250)') AS Table_Name
      ,rw.value('@iRow','int') AS Row_iRow

      ,rw.value('(Col[@name="Ref"]/@iCol)[1]','nvarchar(150)') AS Col_Ref_iCol
      ,rw.value('(Col[@name="Ref"]/@style)[1]','nvarchar(150)') AS Col_Ref_Style
      ,rw.value('(Col[@name="Ref"]/text())[1]','nvarchar(150)') AS Col_Ref_Content

      ,rw.value('(Col[@name="Location"]/@iCol)[1]','nvarchar(150)') AS Col_Location_iCol
      ,rw.value('(Col[@name="Location"]/@style)[1]','nvarchar(150)') AS Col_Location_Style
      ,rw.value('(Col[@name="Location"]/text())[1]','nvarchar(150)') AS Col_Location_Content

      ,rw.value('(Col[@name="Status"]/@iCol)[1]','nvarchar(150)') AS Col_Status_iCol
      ,rw.value('(Col[@name="Status"]/@style)[1]','nvarchar(150)') AS Col_Status_Style
      ,rw.value('(Col[@name="Status"]/text())[1]','nvarchar(150)') AS Col_Status_Content

      ,rw.value('(Col[@name="Referral_Bonus"]/@iCol)[1]','nvarchar(150)') AS Col_Referral_Bonus_iCol
      ,rw.value('(Col[@name="Referral_Bonus"]/@style)[1]','nvarchar(150)') AS Col_Referral_Bonus_Style
      ,rw.value('(Col[@name="Referral_Bonus"]/text())[1]','nvarchar(150)') AS Col_Referral_Bonus_Content
FROM @YourTable t
CROSS APPLY t.[Data].nodes('/risk/table') A(tbl)
CROSS APPLY tbl.nodes('Row') B(rw);

---

如果您事先知道所有的表和列，我建议您进行第二次评估，但每个表分别有一条语句。

您提供的XML格式不正确。元素

有一个自动关闭标记，但有一个

text（）

节点和一个关闭标记：

Amber

。我希望，您的原始数据在

ìCol=“1”

之后没有

/

…啊，那只是我试图发布数据的缩短版本并复制和粘贴。工作就像一种享受！作为后续：我最终使用了@Shungo建议的第一种方法，因为我事先不知道列名。但是，对于一个有20个风险的XML表，每个表大约有40个表（大约30行10列），脚本运行速度非常慢（约1小时）。有没有其他方法我可以用？在其他网站上也遇到过XMLIndex，但我不确定如何开始在我们的MS SQL server上实现它。…。@S.Poitier您提到的数字听起来并不多。。。一个小时很长。。。作为第一步，我将尝试分步骤地打破这一点，以找出在哪一点上消耗了这段时间。重要的是要知道：XML不是作为您看到的字符串存储的，而是作为层次结构表存储的。第一个解析非常昂贵，其余的解析速度非常快。您可以查看执行计划以查找详细信息。关于XML索引：在可以直接指定XPath的非常特殊的情况下，它们确实有很大帮助。在一个相当普遍的情况下，他们根本帮不上忙，因为你事先知道的还不够多。

SELECT t.ID
      ,t.[Data].value('(/risk/Input_CCY/@style)[1]','nvarchar(100)') AS Input_CCY_Style
      ,t.[Data].value('(/risk/Input_CCY/text())[1]','nvarchar(100)') AS Input_CCY_Content
      ,t.[Data].value('(/risk/Input_LastYear/@style)[1]','nvarchar(100)') AS Input_LastYear_Style
      ,t.[Data].value('(/risk/Input_LastYear/@formula)[1]','nvarchar(100)') AS Input_LastYear_Formula
      ,t.[Data].value('(/risk/Input_LastYear/text())[1]','nvarchar(100)') AS Input_LastYear_Content
      ,tbl.value('@name','nvarchar(250)') AS Table_Name
      ,rw.value('@iRow','int') AS Row_iRow
      ,cl.value('@name','nvarchar(250)') AS [Col_Name]
      ,cl.value('@iCol','nvarchar(250)') AS Col_iCol
      ,cl.value('text()[1]','nvarchar(150)') AS Col_Content
FROM @YourTable t
CROSS APPLY t.[Data].nodes('/risk/table') A(tbl)
CROSS APPLY tbl.nodes('Row') B(rw)
CROSS APPLY rw.nodes('Col') C(cl);

SELECT t.ID
      ,t.[Data].value('(/risk/Input_CCY/@style)[1]','nvarchar(100)') AS Input_CCY_Style
      ,t.[Data].value('(/risk/Input_CCY/text())[1]','nvarchar(100)') AS Input_CCY_Content
      ,t.[Data].value('(/risk/Input_LastYear/@style)[1]','nvarchar(100)') AS Input_LastYear_Style
      ,t.[Data].value('(/risk/Input_LastYear/@formula)[1]','nvarchar(100)') AS Input_LastYear_Formula
      ,t.[Data].value('(/risk/Input_LastYear/text())[1]','nvarchar(100)') AS Input_LastYear_Content
      ,tbl.value('@name','nvarchar(250)') AS Table_Name
      ,rw.value('@iRow','int') AS Row_iRow

      ,rw.value('(Col[@name="Ref"]/@iCol)[1]','nvarchar(150)') AS Col_Ref_iCol
      ,rw.value('(Col[@name="Ref"]/@style)[1]','nvarchar(150)') AS Col_Ref_Style
      ,rw.value('(Col[@name="Ref"]/text())[1]','nvarchar(150)') AS Col_Ref_Content

      ,rw.value('(Col[@name="Location"]/@iCol)[1]','nvarchar(150)') AS Col_Location_iCol
      ,rw.value('(Col[@name="Location"]/@style)[1]','nvarchar(150)') AS Col_Location_Style
      ,rw.value('(Col[@name="Location"]/text())[1]','nvarchar(150)') AS Col_Location_Content

      ,rw.value('(Col[@name="Status"]/@iCol)[1]','nvarchar(150)') AS Col_Status_iCol
      ,rw.value('(Col[@name="Status"]/@style)[1]','nvarchar(150)') AS Col_Status_Style
      ,rw.value('(Col[@name="Status"]/text())[1]','nvarchar(150)') AS Col_Status_Content

      ,rw.value('(Col[@name="Referral_Bonus"]/@iCol)[1]','nvarchar(150)') AS Col_Referral_Bonus_iCol
      ,rw.value('(Col[@name="Referral_Bonus"]/@style)[1]','nvarchar(150)') AS Col_Referral_Bonus_Style
      ,rw.value('(Col[@name="Referral_Bonus"]/text())[1]','nvarchar(150)') AS Col_Referral_Bonus_Content
FROM @YourTable t
CROSS APPLY t.[Data].nodes('/risk/table') A(tbl)
CROSS APPLY tbl.nodes('Row') B(rw);