你如何在 Kubernetes 上设置 Mongo 副本集？

Question

我想在 Kubernetes 上设置一个 Mongo 副本集。我想要三个副本。这意味着我需要启动 3 个实例。

我是否应该启动三个 pods，每个 Mongo，并使用指向主节点的服务？或者我应该以某种方式使用复制控制器？

Answer 1

通常，要设置一组集群节点，如 mongo 和副本集，您将创建一个 Service 来跟踪服务名称下的 pods（例如，创建一个 MongoDB 带有标签 mongodb 的复制控制器和一个 Service 跟踪这些实例）然后可以查询服务的成员（使用 API 服务器，您可以使用

查找节点

curl -H "Authorization: Bearer $(cat /var/run/secrets/kubernetes.io/serviceaccount/token)" --cacert /var/run/secrets/kubernetes.io/serviceaccount/ca.crt https://kubernetes/api/v1/namespaces/default/endpoints/mongodb

其中 mongodb 是您在服务名称上的选择器。

那个 return 是一个带有一堆字段的 JSON 对象，所以轻松解析这些的一个好方法是使用 jq https://stedolan.github.io/jq/

将 curl 命令通过管道传递到 jq 查询中，例如

jq '.subsets[].addresses[]' | jq '{ip: .ip, host:.targetRef.name}' 将 return 集群中 mongodb 实例的 IP 和主机名。

所以现在您知道集群中有谁，您可以在初始化脚本中创建副本集。显然这里意味着你需要先启动 Service ，你的启动脚本需要等待所有节点都启动并注册到服务，然后你才能继续。如果你使用一张图片，一个脚本，它会运行 n 每个节点，所以你需要检查副本集是否已经存在或处理错误。第一个注册的 pod 应该完成这项工作。另一种选择是运行所有节点作为单个节点，然后运行一个单独的引导脚本来创建副本集。

最后，调用 mongodb 集群，您需要确保指定 url 和副本集名称作为选项：

mongodb://mongodb:27017/database?replicaSet=replicaSetName

由于您不知道主节点的 IP，您可以通过服务 mongodb 调用它，这会将请求负载平衡到其中一个节点，如果您没有指定副本设置名称，您最终会遇到连接错误，因为只有主服务器才能获得写入请求。

显然这不是一个循序渐进的教程，但我希望它能帮助您入门。

Answer 2

这是我目前的例子运行。

apiVersion: v1
kind: Service
metadata:
  labels:
    name: mongo
  name: mongo-svc1
spec:
  ports:
    - port: 27017
      targetPort: 27017
  selector:
    type: mongo-rs-A
---
apiVersion: v1
kind: Service
metadata:
  labels:
    name: mongo
  name: mongo-svc2
spec:
  ports:
    - port: 27017
      targetPort: 27017
  selector:
    type: mongo-rs-B
---
apiVersion: v1
kind: Service
metadata:
  labels:
    name: mongo
  name: mongo-svc3
spec:
  ports:
    - port: 27017
      targetPort: 27017
  selector:
    type: mongo-rs-C
---

apiVersion: v1
kind: ReplicationController

metadata:
  name: mongo

spec:
  replicas: 1
  selector:
    name: mongo-nodea
    role: mongo
    environment: test

  template:
    metadata:
      labels:
        name: mongo-nodea
        role: mongo
        environment: test
        type: mongo-rs-A
    spec:
      containers:
        - name: mongo-nodea
          image: mongo
          command:
            - mongod
            - "--replSet"
            - rsABC
            - "--smallfiles"
            - "--noprealloc"
          ports:
            - containerPort: 27017
          volumeMounts:
            - name: mongo-persistent-storage
              mountPath: /data/db
      volumes:
        - name: mongo-persistent-storage
          flocker:
            datasetName: FlockerMongoVolSetA
---
apiVersion: v1
kind: ReplicationController

metadata:
  name: mongo-1

spec:
  replicas: 1
  selector:
    name: mongo-nodeb
    role: mongo
    environment: test

  template:
    metadata:
      labels:
        name: mongo-nodeb
        role: mongo
        environment: test
        type: mongo-rs-B
    spec:
      containers:
        - name: mongo-nodeb
          image: mongo
          command:
            - mongod
            - "--replSet"
            - rsABC
            - "--smallfiles"
            - "--noprealloc"
          ports:
            - containerPort: 27017
          volumeMounts:
            - name: mongo-persistent-storage
              mountPath: /data/db
      volumes:
        - name: mongo-persistent-storage
          flocker:
            datasetName: FlockerMongoVolSetB
---
apiVersion: v1
kind: ReplicationController

metadata:
  name: mongo-2

spec:
  replicas: 1
  selector:
    name: mongo-nodec
    role: mongo
    environment: test

  template:
    metadata:
      labels:
        name: mongo-nodec
        role: mongo
        environment: test
        type: mongo-rs-C
    spec:
      containers:
        - name: mongo-nodec
          image: mongo
          command:
            - mongod
            - "--replSet"
            - rsABC
            - "--smallfiles"
            - "--noprealloc"
          ports:
            - containerPort: 27017
          volumeMounts:
            - name: mongo-persistent-storage
              mountPath: /data/db
      volumes:
        - name: mongo-persistent-storage
          flocker:
            datasetName: FlockerMongoVolSetC


kubectl --kubeconfig=clusters/k8s-mongo/kubeconfig get po,svc -L type,role,name
NAME            READY     STATUS    RESTARTS   AGE       TYPE         ROLE      NAME
mongo-1-39nuw   1/1       Running   0          1m        mongo-rs-B   mongo     mongo-nodeb
mongo-2-4tgho   1/1       Running   0          1m        mongo-rs-C   mongo     mongo-nodec
mongo-rk9n8     1/1       Running   0          1m        mongo-rs-A   mongo     mongo-nodea
NAME         CLUSTER_IP   EXTERNAL_IP   PORT(S)     SELECTOR          AGE       TYPE      ROLE      NAME
kubernetes   10.3.0.1     <none>        443/TCP     <none>            21h       <none>    <none>    <none>
mongo-svc1   10.3.0.28    <none>        27017/TCP   type=mongo-rs-A   1m        <none>    <none>    mongo
mongo-svc2   10.3.0.56    <none>        27017/TCP   type=mongo-rs-B   1m        <none>    <none>    mongo
mongo-svc3   10.3.0.47    <none>        27017/TCP   type=mongo-rs-C   1m        <none>    <none>    mongo

在主节点上，我将进入 mongo shell

rs.status() rs.initiate() rs.add("10.3.0.56:27017")

我目前运行遇到这个问题，我在没有主节点的情况下卡在辅助节点和启动状态。

rs.status()
{
    "set" : "rsABC",
    "date" : ISODate("2016-01-21T22:51:33.216Z"),
    "myState" : 2,
    "term" : NumberLong(1),
    "heartbeatIntervalMillis" : NumberLong(2000),
    "members" : [
        {
            "_id" : 0,
            "name" : "mongo-rk9n8:27017",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 242,
            "optime" : {
                "ts" : Timestamp(1453416638, 1),
                "t" : NumberLong(1)
            },
            "optimeDate" : ISODate("2016-01-21T22:50:38Z"),
            "infoMessage" : "could not find member to sync from",
            "configVersion" : 2,
            "self" : true
        },
        {
            "_id" : 1,
            "name" : "10.3.0.56:27017",
            "health" : 1,
            "state" : 0,
            "stateStr" : "STARTUP",
            "uptime" : 45,
            "optime" : {
                "ts" : Timestamp(0, 0),
                "t" : NumberLong(-1)
            },
            "optimeDate" : ISODate("1970-01-01T00:00:00Z"),
            "lastHeartbeat" : ISODate("2016-01-21T22:51:28.639Z"),
            "lastHeartbeatRecv" : ISODate("1970-01-01T00:00:00Z"),
            "pingMs" : NumberLong(40),
            "configVersion" : -2
        }
    ],
    "ok" : 1
}

Answer 3

我正在使用它作为解决方案。它尚未准备好生产。

设置MongoDB复制

获取所有 MongoDB pod IP kubectl describe pod <PODNAME> | grep IP | sed -E 's/IP:[[:space:]]+//'

和...

运行 kubectl exec -i <POD_1_NAME> mongo

和...

rs.initiate({ 
     "_id" : "cloudboost", 
     "version":1,
     "members" : [ 
          {
               "_id" : 0,
               "host" : "<POD_1_IP>:27017",
               "priority" : 10
          },
          {
               "_id" : 1,
               "host" : "<POD_2_IP>:27017",
               "priority" : 9
          },
          {
               "_id" : 2,
               "host" : "<POD_3_IP>:27017",
               "arbiterOnly" : true
          }
     ]
});

例如：

rs.initiate({  
     "_id" : "cloudboost",
     "version":1,
     "members" : [ 
          {
               "_id" : 0,
               "host" : "10.244.1.5:27017",
               "priority" : 10
          },
          {
               "_id" : 1,
               "host" : "10.244.2.6:27017",
               "priority" : 9
          },
          {
               "_id" : 2,
               "host" : "10.244.3.5:27017",
               "arbiterOnly" : true
          }
     ]
});

请注意：您的集群的 IP 可能不同。

TODO : 创建无头服务以自动发现节点并初始化副本集。

Answer 4

这个回答已经过时了。我使用更多最新方法编写了详细的分步教程 here。我强烈建议您全部阅读。

简而言之，你运行一个 sidecar 应用程序来为你配置副本集，并为每个实例使用一个服务或 ping K8s API 以获得 pod IP 地址。

示例： 这仅适用于 Google 云。您将需要针对其他平台进行修改，尤其是围绕卷：

按照https://github.com/leportlabs/mongo-k8s-sidecar.git中的示例
- git clone https://github.com/leportlabs/mongo-k8s-sidecar.git
- cd mongo-k8s-sidecar/example/
- make add-replica ENV=GoogleCloudPlatform（重复三遍）
通过服务连接到副本集。
- mongodb://mongo-1,mongo-2,mongo-3:27017/dbname_?
您还可以使用原始 pod IP 地址，而不是为每个 pod 创建服务
- 使用这个https://github.com/thesandlord/kubernetes-pod-ip-finder.git

Answer 5

@Stephen Nguyen

我只是复制你的案例并为其创建名称空间测试（我相应地更改你的 yaml 文件），并通过 :

初始化我的 mongo rs

rs.initiate({
     "_id" : "rsABC",
     "members" : [
          {
               "_id" : 0,
               "host" : "mongo-svc1.test:27017",
               "priority" : 10
          },
          {
               "_id" : 1,
               "host" : "mongo-svc2.test:27017",
               "priority" : 9
          },
          {
               "_id" : 2,
               "host" : "mongo-svc3.test:27017",
                "arbiterOnly" : true
          }
     ]
})

看起来确实有效：

> rs.status()
{
        "set" : "rsABC",
        "date" : ISODate("2016-05-10T07:45:25.975Z"),
        "myState" : 2,
        "term" : NumberLong(2),
        "syncingTo" : "mongo-svc1.test:27017",
        "heartbeatIntervalMillis" : NumberLong(2000),
        "members" : [
                {
                        "_id" : 0,
                        "name" : "mongo-svc1.test:27017",
                        "health" : 1,
                        "state" : 1,
                        "stateStr" : "PRIMARY",
                        "uptime" : 657,
                        "optime" : {
                                "ts" : Timestamp(1462865715, 2),
                                "t" : NumberLong(2)
                        },
                        "optimeDate" : ISODate("2016-05-10T07:35:15Z"),
                        "lastHeartbeat" : ISODate("2016-05-10T07:45:25.551Z"),
                        "lastHeartbeatRecv" : ISODate("2016-05-10T07:45:25.388Z"),
                        "pingMs" : NumberLong(0),
                        "electionTime" : Timestamp(1462865715, 1),
                        "electionDate" : ISODate("2016-05-10T07:35:15Z"),
                        "configVersion" : 1
                },
                {
                        "_id" : 1,
                        "name" : "mongo-svc2.test:27017",
                        "health" : 1,
                        "state" : 2,
                        "stateStr" : "SECONDARY",
                        "uptime" : 1171,
                        "optime" : {
                                "ts" : Timestamp(1462865715, 2),
                                "t" : NumberLong(2)
                        },
                        "optimeDate" : ISODate("2016-05-10T07:35:15Z"),
                        "syncingTo" : "mongo-svc1.test:27017",
                        "configVersion" : 1,
                        "self" : true
                },
                {
                        "_id" : 2,
                        "name" : "mongo-svc3.test:27017",
                        "health" : 1,
                        "state" : 7,
                        "stateStr" : "ARBITER",
                        "uptime" : 657,
                        "lastHeartbeat" : ISODate("2016-05-10T07:45:25.549Z"),
                        "lastHeartbeatRecv" : ISODate("2016-05-10T07:45:23.969Z"),
                        "pingMs" : NumberLong(0),
                        "configVersion" : 1
                }
        ],
        "ok" : 1
}

我按服务名称添加mongo个节点。

Answer 6

看看下面的 link。在 kubernetes 中，创建服务地址，然后可以轻松生成控制器和副本集启动....https://www.mongodb.com/blog/post/running-mongodb-as-a-microservice-with-docker-and-kubernetes

你如何在 Kubernetes 上设置 Mongo 副本集？

How do you set-up Mongo replica set on Kubernetes?

mongodb

docker

kubernetes