我的架設方式與官方文件不太一樣，所以踩了不少雷。
官方文件傾向把 nginx 與 docker-registry 都用 Docker container 的方式連接 (link) 部署，而我的方式與層次是：
- AWS ELB
- Nginx on EC2 Host OS
- Dockerized docker-registry (registry:2)
因為我想要閃掉 SSL/TLS 的設定，還有惱人的 private key passphrase，所以讓現成已經掛好了憑證的 ELB 充當 SSL/TLS termination proxy。在 ELB 後面的 nginx 與 docker-registry 就不用煩惱憑證的設定問題。
Nginx 主要是負責提供 HTTP basic access authentication，在 docker-registry 前提供一層帳密安全關卡，由於我個人實在是很討厭使用 link，所以把它放在 host 裡。設定檔大致如下：
server {
listen 8080;
server_name docker.registry.in.my.com;
client_max_body_size 0;
chunked_transfer_encoding on;
access_log /var/log/nginx/docker-registry-access.log;
error_log /var/log/nginx/docker-registry-error.log;
location / {
# Do not allow connections from docker 1.5 and earlier
# docker pre-1.6.0 did not properly set the user agent on ping, catch "Go *" user agents
if ($http_user_agent ~ "^(docker\/1\.(3|4|5(?!\.[0-9]-dev))|Go ).*\$" ) {
return 404;
}
# To add basic authentication to v2 use auth_basic setting plus add_header
auth_basic "registry.localhost";
auth_basic_user_file /etc/nginx/conf.d/registry.password;
add_header Docker-Distribution-Api-Version registry/2.0 always;
proxy_pass http://127.0.0.1:5000;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto https;
proxy_set_header X-Original-URI $request_uri;
proxy_set_header Docker-Distribution-Api-Version registry/2.0;
proxy_read_timeout 900;
}
}
過程中我遇到的幾個大地雷有：
- Ubuntu 14.04 內的 nginx 版本太舊，不支援 add_header 的 always 指令，導致不會送出該識別 header，所以 docker login 會判斷這個 docker-registry 為 Invalid registry endpoint，解決方法就是要從 nginx 官網裝新版（至少 1.7.5 以上，這顆地雷是從 [Running Secured Docker Registry 2.0 – Container Solutions] 這篇看到提示才解掉的）。
- 由於 nginx <-> docker-registry 之間通訊是走 http://，所以在 push image 的時候，一開始從 remote 下 PUT 指令還是 https://，但是接著 docker-registry 會根據 X-Forwarded-Proto 的值送出 Location: http://xxx HTTP header 請 client 轉址，導致接下來的 PUT 操作失敗，解決方法就是要把 X-Forwarded-Proto 強制指定為 https。
幾個經驗：
- 善用 curl -v 給的資訊來判斷，不要瞎猜。
- V2 目前還是很多坑，使得你不得不去看 source code
，但是還好小的我還學過一點 Go
