@ -15,15 +15,15 @@
### 高可用
### 高可用
单机Minio服务存在单点故障,相反,如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线,你的数据就是安全的。不过你需要至少有N/2+1个硬盘来创建新的对象 。
单机Minio服务存在单点故障,相反,如果是一个有 _m_ 台服务器, _n_ 块硬盘的分布式Minio,只要有 _m/2_ 台服务器或者 _m*n_ /2 及更多硬盘在线,你的数据就是安全的 。
例如,一个16节点的Minio集群,每个节点16块硬盘,就算8台服務器宕机 ,这个集群仍然是可读的,不过你需要9台服務器才能写数据。
例如,一个16节点的Minio集群,每个节点200块硬盘,就算8台服務器宕机,即大概有1600块硬盘 ,这个集群仍然是可读的,不过你需要9台服務器在线 才能写数据。
注意,只要遵守分布式Minio的限制,你可以组合不同的节点和每个节点几块硬盘。比如,你可以使用2个节点,每个节点4块硬盘,也可以使用4个节点,每个节点两块硬盘,诸如此类 。
你还可以使用[存储类型](https://github.com/minio/minio/tree/master/docs/zh_CN/erasure/storage-class)自定义每个对象的奇偶分布 。
### 一致性
### 一致性
Minio在分布式和单机模式下,所有读写操作都严格遵守**read-after-write**一致性模型。
Minio在分布式和单机模式下,所有读写操作都严格遵守**read-after-write**和**list-after-write** 一致性模型。
# 开始吧
# 开始吧
@ -39,92 +39,49 @@ Minio在分布式和单机模式下,所有读写操作都严格遵守**read-af
*注意*
*注意*
- 分布式Minio里所有的节点需要有同样的access秘钥和secret秘钥,这样这些节点才能建立联接。为了实现这个,你需要在执行minio server命令之前,先将access秘钥和secret秘钥export成环境变量。
- 分布式Minio里所有的节点需要有同样的access秘钥和secret秘钥,这样这些节点才能建立联接。为了实现这个,__建议__ 在执行minio server命令之前,在所有节点上先将access秘钥和secret秘钥export成环境变量`MINIO_ACCESS_KEY` 和 `MINIO_SECRET_KEY` 。
- 分布式Minio使用的磁盘里必须是干净的,里面没有数据。
- __MinIO 可创建每组4到16个磁盘组成的纠删码集合。所以你提供的磁盘总数必须是其中一个数字的倍数。__
- MinIO会根据给定的磁盘总数或者节点总数选择最大的纠删码集合大小,确保统一分布,即每个节点参与每个集合的磁盘数量相等。
- __每个对象被写入一个EC集合中,因此该对象分布在不超过16个磁盘上。__
- __建议运行分布式MinIO设置的所有节点都是同构的,即相同的操作系统,相同数量的磁盘和相同的网络互连。__
- 分布式Minio使用干净的目录,里面没有数据。你也可以与其他程序共享磁盘,这时候只需要把一个子目录单独给MinIO使用即可。例如,你可以把磁盘挂在到`/export`下, 然后把`/export/data`作为参数传给MinIO server即可。
- 下面示例里的IP仅供示例参考,你需要改成你真实用到的IP和文件夹路径。
- 下面示例里的IP仅供示例参考,你需要改成你真实用到的IP和文件夹路径。
- 分布式Minio里的节点时间差不能超过3秒,你可以使用[NTP](http://www.ntp.org/) 来保证时间一致。
- 分布式Minio里的节点时间差不能超过15分钟,你可以使用[NTP](http://www.ntp.org/) 来保证时间一致。
- `MINIO_DOMAIN` 环境变量应该定义并且导出,以支持bucket DNS style。
- 在Windows下运行分布式Minio处于实验阶段,请悠着点使用。
- 在Windows下运行分布式Minio处于实验阶段,请悠着点使用。
示例1: 启动分布式Minio实例,8个节点,每节点1块盘,需要在8个节点上都运行下面的命令。
示例1: 启动分布式Minio实例,8个节点,每节点1块盘,需要在8个节点上都运行下面的命令。
示例1: 在n个节点上启动分布式MinIO实例,每个节点有m个磁盘,分别挂载在`/export1` 到 `/exportm` (如下图所示), 在所有n个节点上运行此命令:
#### GNU/Linux 和 macOS
![Distributed MinIO, n nodes with m drives each ](https://github.com/minio/minio/blob/master/docs/screenshots/Architecture-diagram_distributed_nm.png?raw=true )
```shell
export MINIO_ACCESS_KEY=< ACCESS_KEY >
export MINIO_SECRET_KEY=< SECRET_KEY >
minio server http://192.168.1.11/export1 http://192.168.1.12/export2 \
http://192.168.1.13/export3 http://192.168.1.14/export4 \
http://192.168.1.15/export5 http://192.168.1.16/export6 \
http://192.168.1.17/export7 http://192.168.1.18/export8
```
#### Windows
```cmd
set MINIO_ACCESS_KEY=< ACCESS_KEY >
set MINIO_SECRET_KEY=< SECRET_KEY >
minio.exe server http://192.168.1.11/C:/data http://192.168.1.12/C:/data ^
http://192.168.1.13/C:/data http://192.168.1.14/C:/data ^
http://192.168.1.15/C:/data http://192.168.1.16/C:/data ^
http://192.168.1.17/C:/data http://192.168.1.18/C:/data
```
![分布式Minio,8节点,每个节点一块盘 ](https://github.com/minio/minio/blob/master/docs/screenshots/Architecture-diagram_distributed_8.jpg?raw=true )
示例2: 启动分布式Minio实例,4节点,每节点4块盘,需要在4个节点上都运行下面的命令。
#### GNU/Linux 和 macOS
#### GNU/Linux 和 macOS
```shell
```shell
export MINIO_ACCESS_KEY=< ACCESS_KEY >
export MINIO_ACCESS_KEY=< ACCESS_KEY >
export MINIO_SECRET_KEY=< SECRET_KEY >
export MINIO_SECRET_KEY=< SECRET_KEY >
minio server http://192.168.1.11/export1 http://192.168.1.11/export2 \
minio server http://host{1...n}/export{1...m}
http://192.168.1.11/export3 http://192.168.1.11/export4 \
http://192.168.1.12/export1 http://192.168.1.12/export2 \
http://192.168.1.12/export3 http://192.168.1.12/export4 \
http://192.168.1.13/export1 http://192.168.1.13/export2 \
http://192.168.1.13/export3 http://192.168.1.13/export4 \
http://192.168.1.14/export1 http://192.168.1.14/export2 \
http://192.168.1.14/export3 http://192.168.1.14/export4
```
```
#### Windows
> __注意:__ 在以上示例中`n`和`m`代表正整数, *不要直接复制粘贴它们,你应该在部署的时候改成你期望的值* .
```cmd
set MINIO_ACCESS_KEY=< ACCESS_KEY >
set MINIO_SECRET_KEY=< SECRET_KEY >
minio.exe server http://192.168.1.11/C:/data1 http://192.168.1.11/C:/data2 ^
http://192.168.1.11/C:/data3 http://192.168.1.11/C:/data4 ^
http://192.168.1.12/C:/data1 http://192.168.1.12/C:/data2 ^
http://192.168.1.12/C:/data3 http://192.168.1.12/C:/data4 ^
http://192.168.1.13/C:/data1 http://192.168.1.13/C:/data2 ^
http://192.168.1.13/C:/data3 http://192.168.1.13/C:/data4 ^
http://192.168.1.14/C:/data1 http://192.168.1.14/C:/data2 ^
http://192.168.1.14/C:/data3 http://192.168.1.14/C:/data4
```
![分布式Minio,4节点,每节点4块盘 ](https://github.com/minio/minio/blob/master/docs/screenshots/Architecture-diagram_distributed_16.jpg?raw=true )
> __注意:__ `{1...n}` 是有3个点的! 用2个点`{1..n}`的话会被shell解析导致不能传给MinIO server, 影响纠删码的顺序, 进而影响性能和高可用性. __所以要始终使用省略号 `{1...n}` (3个点!) 以获得最佳的纠删码分布__
#### 扩展现有的分布式集群
#### 扩展现有的分布式集群
例如我们是通过区的方式启动 MinIO集群,命令行如下:
MinIO支持通过命令,指定新的集群来扩展现有集群(纠删码模式),命令行如下:
```shell
```sh
export MINIO_ACCESS_KEY=< ACCESS_KEY >
export MINIO_ACCESS_KEY=< ACCESS_KEY >
export MINIO_SECRET_KEY=< SECRET_KEY >
export MINIO_SECRET_KEY=< SECRET_KEY >
minio server http://host{1...32}/export{1...32 }
minio server http://host{1...n}/export{1...m} http://host{o...z}/export{1...m}
```
```
MinIO支持通过命令,指定新的集群来扩展现有集群(纠删码模式),命令行如下:
例如:
```
```shell
minio server http://host{1...4}/export{1...16} http://host{5...12}/export{1...16}
export MINIO_ACCESS_KEY=< ACCESS_KEY >
export MINIO_SECRET_KEY=< SECRET_KEY >
minio server http://host{1...32}/export{1...32} http://host{33...64}/export{1...32}
```
```
现在整个集群就扩展了1024个磁盘,总磁盘变为2048 个,新的对象上传请求会自动分配到最少使用的集群上。通过以上扩展策略,您就可以按需扩展您的集群。重新配置后重启集群,会立即在集群中生效,并对现有集群无影响。如上命令中,我们可以把原来的集群看做一个区,新增集群看做另一个区,新对象按每个区域中的可用空间比例放置在区域中。在每个区域内,基于确定性哈希算法确定位置。
现在整个集群就扩展了 _(newly_added_servers\*m)_ 个磁盘,总磁盘变为 _(existing_servers\*m)+(newly_added_servers\*m)_ 个,新的对象上传请求会自动分配到最少使用的集群上。通过以上扩展策略,您就可以按需扩展您的集群。重新配置后重启集群,会立即在集群中生效,并对现有集群无影响。如上命令中,我们可以把原来的集群看做一个区,新增集群看做另一个区,新对象按每个区域中的可用空间比例放置在区域中。在每个区域内,基于确定性哈希算法确定位置。
> __说明:__ __您添加的每个区域必须具有与原始区域相同的磁盘数量(纠删码集)大小,以便维持相同的数据冗余SLA。__
> __说明:__ __您添加的每个区域必须具有与原始区域相同的磁盘数量(纠删码集)大小,以便维持相同的数据冗余SLA。__
> 例如,第一个区有8个磁盘,您可以将集群扩展为16个、32个或1024个磁盘的区域,您只需确保部署的SLA是原始区域的倍数即可。
> 例如,第一个区有8个磁盘,您可以将集群扩展为16个、32个或1024个磁盘的区域,您只需确保部署的SLA是原始区域的倍数即可。