Ssl 无法针对tls安全etcd设置kubernetes

Ssl 无法针对tls安全etcd设置kubernetes,ssl,https,kubernetes,etcd,Ssl,Https,Kubernetes,Etcd,我正在尝试使用etcd配置kubernetes api服务器,kubernetes使用go etcd,它有一个从配置文件读取所有参数的方法: { "cluster": { "machines": [ "https://my-public-hostname:2379" ] }, "config": { "certFile": "/etc/ssl/etcd/client.pem", "keyFile": "/etc/ssl/etcd/client.key.pem

我正在尝试使用etcd配置kubernetes api服务器,kubernetes使用go etcd,它有一个从配置文件读取所有参数的方法:

{ 
  "cluster": {
    "machines": [ "https://my-public-hostname:2379" ] 
  }, 
  "config": { 
  "certFile": "/etc/ssl/etcd/client.pem", 
  "keyFile": "/etc/ssl/etcd/client.key.pem", 
  "caCertFiles": [ 
  "/etc/ssl/etcd/ca.pem" 
  ], 
    "timeout": 5, 
    "consistency": "WEAK" 
  } 
}
但在kube apiserver中失败,因为它无法成功到达etcd。我认为这是因为它试图同步群集。。。但我不知道

我创建了一个etcd集群,使用内部IP作为播发和客户端地址,但侦听客户端URL设置为0.0.0.0/0除外。另外,整个集群都在一个负载平衡器后面,可以通过我的公共主机名访问该负载平衡器

在容器内部,因为我使用的是hyperkube,除非设置“-no sync”参数,否则etcdctl将无法工作。如果我在没有该参数的情况下使用etcdctl,它可能会像kube apiserver一样失败。但是我无法检查kubernetes中的代码片段,它执行集群同步

有什么想法吗

提前谢谢

编辑:

这似乎是一个与kubernetes中当前etcd客户端相关的错误,该客户端不是最新的。我根据经验对此进行了测试,etcd/客户端工作,但go-etcd不工作,您可以在此处检查此测试:

值得注意的是,在kubernetes中将go-etcd迁移到etcd/客户端的工作正在进行:

Kubernetes团队有人能证实这一点吗

附录1

我试图在CoreOS中运行kubernetes和:法兰绒工厂、锁匠工厂、舰队工厂他们使用相同的etcd客户端凭据访问etcd,所以这可能与kubernetes如何访问etcd端点有关

附录2这些命令是在hyperkube容器中执行的,具体来说就是这个:gcr.io/google_containers/hyperkube:v1.0.6

etcdctl不带-无同步输出失败:

root@98b2524464f1:/# etcdctl --cert-file="/etc/ssl/etcd/client.pem" --key-file="/etc/ssl/etcd/client.key.pem" --ca-file="/etc/ssl/etcd/ca.pem" --peers="http//my-public-hostname:2379" ls / 
Error: 501: All the given peers are not reachable (failed to propose on members [https://10.1.0.1:2379 https://10.1.0.0:2379 https://10.1.0.2:2379] twice [last error: Get https://10.1.0.0:2379/v2/keys/?quorum=false&recursive=false&sorted=false: dial tcp 10.1.0.0:2379: i/o timeout]) [0]
和kube apiserver,具有以下功能:

root@98b2524464f1:/# /hyperkube \ 
apiserver \ 
--bind-address=0.0.0.0 \ 
--etcd_config=/etc/kubernetes/ssl/etcd.json \ 
--allow-privileged=true \ 
--service-cluster-ip-range=10.3.0.0/24 \ 
--secure_port=443 \ 
--advertise-address=10.0.0.2 \ 
--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota \ 
--tls-cert-file=/etc/kubernetes/ssl/apiserver.pem \ 
--tls-private-key-file=/etc/kubernetes/ssl/apiserver.key.pem \ 
--client-ca-file=/etc/kubernetes/ssl/ca.pem \ 
--service-account-key-file=/etc/kubernetes/ssl/apiserver.key.pem

F1002 09:47:29.348527 384 controller.go:80] Unable to perform initial IP allocation check: unable to refresh the service IP block: 501: All the given peers are not reachable (failed to propose on members [https://my-public-hostname:2379] twice [last error: Get https://my-public-hostname:2379/v2/keys/registry/ranges/serviceips?quorum=false&recursive=false&sorted=false: dial tcp: i/o timeout]) [0]
附录3


最后,我找出了导致此问题的原因。超时定义不正确,因为go-etcd将超时值解组为time.Duration,它使用纳秒作为基本单位。因此,对于1s的值,应写入100000000

按照上面的例子:

{ 
  "cluster": {
    "machines": [ "https://my-public-hostname:2379" ] 
  }, 
  "config": { 
    "certFile": "/etc/ssl/etcd/client.pem", 
    "keyFile": "/etc/ssl/etcd/client.key.pem", 
    "caCertFiles": [ 
      "/etc/ssl/etcd/ca.pem" 
    ], 
    "timeout": 5000000000, 
    "consistency": "WEAK" 
  } 
}

选项“-etcd config”已删除:因此此json配置文件将不再工作。
{ 
  "cluster": {
    "machines": [ "https://my-public-hostname:2379" ] 
  }, 
  "config": { 
    "certFile": "/etc/ssl/etcd/client.pem", 
    "keyFile": "/etc/ssl/etcd/client.key.pem", 
    "caCertFiles": [ 
      "/etc/ssl/etcd/ca.pem" 
    ], 
    "timeout": 5000000000, 
    "consistency": "WEAK" 
  } 
}