Encryption 在使用JDBC连接器写入卡夫卡主题之前,有没有一种方法可以对数据进行加密?
我们不熟悉使用Kafka(Confluent platform),并且有一个使用JDBC源连接器的项目。使用这种方法,当数据存储在主题上时,是否也可以加密数据以隐藏个人信息等?还是我们需要采取不同的方法 我理解,如果我们使用producer API,我们会在撰写主题之前进行加密,正如前面讨论的那样。我还发现了一个讨论端到端加密需求的方法,但它似乎尚未实现Encryption 在使用JDBC连接器写入卡夫卡主题之前,有没有一种方法可以对数据进行加密?,encryption,apache-kafka,apache-kafka-connect,confluent-platform,Encryption,Apache Kafka,Apache Kafka Connect,Confluent Platform,我们不熟悉使用Kafka(Confluent platform),并且有一个使用JDBC源连接器的项目。使用这种方法,当数据存储在主题上时,是否也可以加密数据以隐藏个人信息等?还是我们需要采取不同的方法 我理解,如果我们使用producer API,我们会在撰写主题之前进行加密,正如前面讨论的那样。我还发现了一个讨论端到端加密需求的方法,但它似乎尚未实现 我们将使用TLS来保护线路上的数据。Kafka Connect提供了匿名转换来隐藏个人信息,但不是加密。对于匿名化,您可以使用名为“MaskF
我们将使用TLS来保护线路上的数据。Kafka Connect提供了匿名转换来隐藏个人信息,但不是加密。对于匿名化,您可以使用名为“MaskField”的内置单消息转换(SMT)(见下文)。加密尚不可用,但您可以随时使用自己选择的加密添加 根据上的文档,您可以使用它
- 使用字段类型的有效空值(即0、false、空字符串等)屏蔽指定字段,或
- 使用替换属性替换任何字符串或数字字段
# Mask Value
"transforms": "MaskField",
"transforms.MaskField.type": "org.apache.kafka.connect.transforms.MaskField$Value",
"transforms.MaskField.fields": "string_field"
# Replcae Value
"transforms": "SSNMask,IPMask,PhoneMask"
"transforms.SSNMask.type": "org.apache.kafka.connect.transforms.MaskField$Value"
"transforms.SSNMask.fields": "SSN"
"transforms.SSNMask.replacement": "***-***-****"
"transforms.IPMask.type": "org.apache.kafka.connect.transforms.MaskField$Value"
"transforms.IPMask.fields": "IPAddress"
"transforms.IPMask.replacement": "xxx.xxx.xxx.xxx"
"transforms.PhoneMask.type": "org.apache.kafka.connect.transforms.MaskField$Value"
"transforms.PhoneMask.fields": "office,mobile"
"transforms.PhoneMask.replacement": "+0-000-000-0000"