100 个容器技术相关技能栈

大规模的容器技术运用从来不是一项独立工程，而是一个汇集虚拟化技术、容器编排、任务调度、操作系统、容器仓库、跨节点网络、分布式存储、动态扩缩、负载均衡、日志监控、故障自恢复等系统性难题的复杂有机体。随着 Docker 的诞生和 Google 等互联网公司的推波助澜，这个领域出现了一大批优秀的开源项目，它们在简化容器技术使用成本的同时，也经常使得刚刚接触容器时间不太长的开发者和企业用户感到不知所措。

将知识分类是梳理零散信息的一种有效方式。对于容器技术的生态圈来说，其中涉及领域众多，有的项目横跨多个细分领域，有的项目则是针对特定场景需求定制的，难以对其功能类型做精确定义。不过，若仅考虑通用领域里的相关产品和工具，大致来说可以划分成 14 种主要类别。

以下将围绕容器生态，分别举例介绍这些类别中的典型开源项目，以及部分虽未开源但比较常用的 100 个周边产品。

1. 容器引擎

容器引擎是容器集群生态圈的核心部分，它是与内核 Namespace 和 CGroup 等功能直接交互，并提供相应 API 使得外部能够与之集成的工具或服务。Docker 无疑是目前为止最成功、广泛最使用的容器引擎之一。实际上从 1.12 版本以后，Docker 的容器化功能已经由独立的项目 RunC 来实现，但 Docker 仍作为一个开源产品为用户提供完整的容器化解决方案。此外，社区中还有许多容器引擎项目，例如：

001. Docker：https://www.docker.com

002. Rkt：https://coreos.com/rkt

003. Systemd-nspawn：https://www.freedesktop.org/wiki/Software/systemd

004. Hyper：https://hyper.sh

005. Garden：https://github.com/cloudfoundry/garden

006. LXC：https://linuxcontainers.org

007. Photon：https://github.com/vmware/photon

008. Vagga：https://github.com/tailhook/vagga

009. gVisor：https://github.com/google/gvisor

010. Pouch：https://github.com/alibaba/pouch

这些项目只是众多支持不同平台和具有不同特性的容器引擎的冰山一角。例如 Google 曾经主导的 lmctfy（http://lmctfy.io/）项目也是个十分优秀的容器引擎，然而该项目自 2015 年以后就不再被维护了。而最近 Google 刚刚开源的 gVisor 则是该领域中的新秀。另外值得一说的是，Hyper 采用虚拟机的方式对环境进行隔离，并不是一种基于容器的隔离方案，但它能很好地与 Docker 或 Kubernetes 等容器集群技术相结合，取代其环境隔离的功能，因此也归属此列。

2. 监控和数据收集

由于容器基于内核的特殊隔离方式，对容器性能和状态的监控与虚拟机存在一些差别。传统的虚拟机监控工具，例如 Nagios 和 Zabbix 等，对容器监控的原生支持并不十分易用。而一些新起的开源项目对这种场景具有更友好的体验，例如：

011. cAdvisor：https://github.com/google/cadvisor

012. Sysdig：http://sysdig.org

013. Prometheus：https://prometheus.io

014. TICK-Stack：https://influxdata.com

015. Docker-Alertd：https://github.com/deltaskelta/docker-alertd

016. Grafana：https://grafana.com

其中的 TICK-Stack 指的是 Influxdata 推出的 Telegraf、InfluxDB、Chronograf、Kapacitor 四款开源工具，不过从 1.0 以后，这些工具在开源版基础上提供了企业版本，后者提供了例如高可用、云端存储等企业级功能。

3. 容器管理和界面工具

可视化是用户友好性十分重要的一部分，Shipyard 和 Decking 是 Docker 早期时十分受欢迎的可视化工具，之后 Docker 也收购了 Kitematic 作为官方的容器管理 UI。但随着容器应用集群化，早期的 UI 工具不再流行，一些针对特定集群平台定制的新型管理 UI 开始出现。例如 Kubernetes 官方推出了 Dashboard 项目用于可视化的管理集群，Cockpit 则是红帽公司推出的 Kubernetes 集群管理界面。以下是其中一些开源的容器管理 UI 项目：

017. Kitematic：https://kitematic.com

018. DockerUI：https://github.com/crosbymichael/dockerui

019. Panamax：http://panamax.io

020. Rapid Dashboard：https://github.com/ozlerhakan/rapid

021. Cockpit：http://cockpit-project.org

022. Portainer：https://www.portainer.io

023. Shipyard：http://shipyard-project.com

024. Seagull：https://github.com/tobegit3hub/seagull

025. Dockeron：https://github.com/dockeron/dockeron

026. DockStation：https://dockstation.io

4. 基础设施集成

容器集群的实施是需要以硬件基础设施作为依托的，有些辅助工具能够简化这个过程。这些项目往往与具体的底层平台相关，例如：

027. Nova-docker：https://github.com/stackforge/nova-docker

028. Magnum：https://github.com/openstack/magnum

029. Machine：https://docs.docker.com/machine

030. Boot2Docker：https://github.com/boot2docker/boot2docker

031. Clocker：https://github.com/brooklyncentral/clocker

032. MaestroNG：https://github.com/signalfuse/maestro-ng

Nova-docker 和 Magnum 都是在 OpenStack 集成容器集群的项目，不过目前 OpenStack 官方正在尝试通过让 Kubernetes 直接创建虚拟机的方式来统一它在 IaaS 层和 CaaS 层的差异，其中的 Nova-docker 已经被废弃了。 Machine 是 Docker 公司推出的基础设施管理工具，Boot2Docker 曾经是在Windows 和 Mac 上使用 Docker 的官方方案，但随着 Docker 1.12 版本发布了多种操作系统的发行版后，已经不再被推荐使用了。

5. 编排和调度

编排和调度是容器集群的基本功能，因此选择编排和调度工具实际上就是在选择容器集群的方案。以下是一些开源的容器任务编排调度工具：

033. SwarmKit：https://github.com/docker/swarmkit

034. Kubernetes：http://kubernetes.io

035. Marathon：https://github.com/mesosphere/marathon

036. Rancher：http://www.rancher.io

037. Nomad：https://github.com/hashicorp/nomad

038. OpenShift：https://www.openshift.com

039. Crane：https://github.com/michaelsauter/crane

040. Nebula：https://github.com/nebula-orchestrator

041. GearD：http://openshift.github.io/geard

其中的 OpenShift 主要是指其 3.0 之后的发行版，它是红帽公司基于 Kubernetes 二次开发的集持续集成和交付于一体的容器集群方案，具有开源和商业两个版本。

6. 容器镜像仓库

镜像仓库是基于容器的在软件发布流程中必要的组成部分，Docker 开源了其镜像仓库的最小实现，但对于企业级应用来说，它缺少了高可用、权限控制、管理界面等必要功能。Docker Hub 和国内的许多容器云平台都提供了公有云的企业级仓库服务，社区中也有一些容器仓库的开源或免费的实现，例如：

042. Repository：https://github.com/docker/distribution

043. Nexus：http://www.sonatype.org/nexus

044. Habor：http://vmware.github.io/harbor

045. Portus：https://github.com/SUSE/Portus

046. Docker Registry UI：https://github.com/atcol/docker-registry-ui

047. Dragonfly：https://github.com/alibaba/Dragonfly

其中的 Nexus 是一种通用的软件包仓库解决方案，支持包括 Maven、NPM、PIP、RPM 等许多主流打包格式的分发和管理，它是在 3.0 以后的版本中开始支持作为 Docker 镜像仓库的。VMWare 推出的 Habor 是目前相对常用的企业级开源 Docker 仓库解决方案。Portus 和 Docker Registry UI 是基于官方 Repository 镜像仓库的界面化管理工具。Dragonfly 是一款 P2P 协议的镜像分发工具，并非直接提供镜像存储功能，但也属于仓库辅助类的工具。

7. 服务发现和容器域名服务

服务发现和域名服务实际上是微服务架构和容器集群的调度工具所需的组件，它们在容器集群中十分常见，也是这个生态圈中举足轻重的一部分，以下是其中一些在实际工程中被提及较多的工具：

048. Etcd：https://github.com/coreos/etcd

049. Consul：http://www.consul.io

050. ZooKeeper：https://zookeeper.apache.org

051. Eureka：https://github.com/Netflix/eureka

052. Traefik：https://traefik.io

053. Muguet：https://github.com/mattallty/muguet

054. Registrator：https://github.com/gliderlabs/registrator

055. SkyDNS：https://github.com/skynetservices/skydns

8. 容器日志收集处理

和容器集群的监控一样，收集容器中的服务运行日志与虚拟机中的方式同样存在许多差异。目前 Docker 直接通过插件能够支持的日志收集工具包括 Rsyslog、Splunk 和 Fluentd，虽然 FileBeat 不在此列，但由于其小巧便捷的部署机制，也得到了许多用户青睐。一些过去用于虚拟机的日志收集器，比如 LogStash 或 Flume，同样能够使用与容器中的服务，但它们都不再是首选的方案。

056. Splunk：https://www.splunk.com

057. Fluentd：https://www.fluentd.org

058. ElasticStack：https://www.elastic.co

059. Flume：https://flume.apache.org

060. Rsyslog：https://www.rsyslog.com/

ElasticStack 是 Beats、Logstash、ElasticSearch 和 Kibana 四款开源项目的统称，这是一套十分流行的日志汇聚、处理、存储和展示的工具组合。其中的 ElasticSearch 和 Kibana 也可以与 Fluentd 配合，形成端到端日志处理方案。另外值得指出的是，Splunk 并不是开源或免费的，但它在企业级日志处理方案中的应用十分广泛。

9. 容器相关的系统发行版

有些 Linux 发行版是为容器运行而优化的，Atomic 和 ClearLinux 系统都属于此类。另一些 Linux 发行版在设计之初就充分地将容器机制融入了系统的架构理念，例如 CoreOS。有的系统甚至将 Docker 作为系统的核心服务来管理其他用户进程，例如 RancherOS 和 Hyper 容器引擎所使用的操作系统。类似的项目还有许多，它们都是架设容器集群时十分称手的基础设施，例如：

061. Container Linux：http://coreos.com

062. Project Atomic：http://www.projectatomic.io

063. RancherOS：http://rancher.com/rancher-os

064. ClearLinux：https://clearlinux.org

065. Photon OS：https://vmware.github.io/photon

066. CargoOS：https://cargos.io

067. SmartOS：https://www.joyent.com/smartos

10. 容器平台

容器平台是大规模容器运用的产物，它通常会与持续集成、持续交付的工具结合，成为连接上层应用服务和底层基础设施、帮助使用者快速实现从代码提交到产品上线全过程的端到端交付过程。以下是其中一些相关的开源项目：

068. Deis：https://deis.com

069. Flynn：http://flynn.io

070. Dokku：https://github.com/progrium/dokku

071. Fabric8：http://fabric8.io

072. Kel：http://www.kelproject.com

073. Nanobox：https://nanobox.io

074. Tsuru：https://tsuru.io

除了这些开源的容器平台服务实现之外，互联网上还有许多在线按量付费的容器即服务平台，它们也是整个容器集群生态的一部分。

11. 容器网络

容器技术在解决环境隔离和配额问题的同时，也引入了网络层面的复杂性。由于使用了 Network Namespace，每个容器都可以获得独立的 IP 地址，这对于单个主机的情况并无大碍，但对于容器集群的情况，IP 地址的分配和互联就成为了新的问题。因此在设计容器集群时，通常需要专门为网络的连接方式加以考虑。常用的开源方案例如：

075. Libnetwork：https://github.com/docker/libnetwork

076. Flannel：https://github.com/coreos/flannel

077. Calico：http://www.projectcalico.org

078. Weave：https://github.com/zettio/weave

079. Romana：http://romana.io

080. Canal：https://github.com/projectcalico/canal

081. Open vSwitch：http://openvswitch.org

082. Pipework：https://github.com/jpetazzo/pipework

这些网络方案大多采用了七层网络的 Overlay Network 方式，也就是在容器之间通信的网络包上封装了用于路由寻址的额外包头，这种方式会导致网络通信效率的下降，具体影响程度与所封装的额外数据大小有关。而 Calico 采用修改每个主机节点上的 IPtables 和路由表规则实现容器间数据路由和访问控制，属于三层网络的方式，这种方案在节点规模不太大（最多几百个节点）时的效率优势十分明显，是一种比较受推荐的容器网络工具。除了这些较常用的方案外，一些条件允许的企业也会结合 Mac VLAN 等二层网络方案实现容器的互联，以获得更好的网络性能。

12. 容器安全

容器安全性问题的根源在于容器和宿主机共用内核，因此受攻击的面特别大。另外，如果容器里的应用导致 Linux 内核崩溃，整个宿主机系统都会崩溃，这一点与虚拟机是不同的。此外，镜像的安全性也是容器安全的一部分，如何保障用户下载的镜像是可信的、未被篡改过的，以及如何保证镜像中不会意外包含具有大量漏洞的老旧软件都是需要考虑的问题。目前这些安全课题主要在一些企业级应用中引起较多重视，下面是一些相关的开源工具和项目：

083. Notary：https://github.com/docker/notary

084. Clair：https://github.com/coreos/clair

085. AppArmor：http://wiki.apparmor.net/index.php/Main_Page

086. SELinux：https://selinuxproject.org

087. Twistlock：https://www.twistlock.com

088. OpenSCAP：https://github.com/OpenSCAP/container-compliance

13. 容器数据持久化