Welcome 微信登录

首页 / 数据库 / MySQL / MongoDB高级---->MongoDB 分布式自动分片（Auto-sharding）研究

跳过理论东西，网上有介绍自动分片的...直接进入配置。还是以1000W级数据做测试不分片的情况下,插入1000W条数据到一个数据库。数据存储情况如下：
  1. ^_^[root@:/usr/local/mongodb/data/mongodb/test]#ls -lh  
  2. total 4.0G  
  3. -rw------- 1 root root  64M Jul 25 11:25 test.0  
  4. -rw------- 1 root root 128M Jul 25 11:22 test.1  
  5. -rw------- 1 root root 256M Jul 25 11:23 test.2  
  6. -rw------- 1 root root 512M Jul 25 11:25 test.3  
  7. -rw------- 1 root root 1.0G Jul 25 11:25 test.4  
  8. -rw------- 1 root root 2.0G Jul 25 11:24 test.5  
  9. -rw------- 1 root root  16M Jul 25 11:25 test.ns  
下面进行自动分片配置： 这里我们选择两台Server做测试测试机IP为：10.X.X.16310.X.X.228分别在163，228服务器上启动Shardsvr进程
  1. ^_^[root@:/usr/local/mongodb/bin]#cat runServerShard.sh   
  2. ./mongod --shardsvr -dbpath=../data/mongodb --logpath=../data/shardsvr_logs.txt --logappend --fork  
在163服务器上启动configsvr 和 mongos路由进程（下面的27019为configsvr的ip，mongos的ip请到log里面去看）
  1. [root@localhost bin]# cat runServerConfig.sh   
  2. ./mongod --configsvr --dbpath=../data/mongodb/config_db/ --logpath=../data/mongodb/log/configsvr_logs.txt --logappend --fork   
  3. [root@localhost bin]# cat runServerMongos.sh   
  4. ./mongos --configdb 10.10.21.163:27019 --logpath=../data/mongodb/log/mongos_logs.txt --logappend --fork  
查看下是否都启动成功：
  1. [root@localhost bin]# ps -ef | grep "mongo"  
  2. root     17939     1  2 18:47 ？        00:01:26 ./mongod --shardsvr -dbpath=../data/mongodb --logpath=../data/shardsvr_logs.txt --logappend --fork  
  3. root     18250     1  0 19:05 ？        00:00:00 ./mongod --configsvr --dbpath=../data/mongodb/config_db/ --logpath=../data/mongodb/log/configsvr_logs.txt --logappend --fork  
  4. root     18290     1 12 19:08 ？        00:03:35 ./mongos --configdb 10.10.21.163:27019 --logpath=../data/mongodb/log/mongos_logs.txt --logappend --fork  
可见3个服务都已经启动成功。下面进入配置自动分片：用mongo连接mongos进程（去log里面看）进行配置管理：
  1. > use admin  
  2. switched to db admin  
  3. > db.runCommand（{addshard:"10.10.21.163:27018"}）;  
  4. { "ok" : 0, "errmsg" : "host already used" }  
  5. > db.runCommand（{addshard:"10.7.3.228:27018"}）;  
  6. { "shardAdded" : "shard0001", "ok" : 1 }  
  7. > db.runCommand（{enableSharding:"test"}）  
  8. { "ok" : 1 }  
  9. > db.runCommand（{shardcollection:"test.users",key:{_id:1}}）  
  10. { "collectionsharded" : "test.users", "ok" : 1 }  
向mongos进程进行插入1000W数据来看下数据的大小：163：
  1. ^_^[root@:/usr/local/mongodb/data/mongodb]#ls -lh  
  2. total 2.0G  
  3. -rw-r--r-- 1 root root 1011 Jul 25 12:33 mongodb.log  
  4. -rwxr-xr-x 1 root root    6 Jul 25 12:34 mongod.lock  
  5. drwxr-xr-x 3 root root 4.0K Jul 25 12:39 moveChunk  
  6. -rw------- 1 root root  64M Jul 25 12:42 test.0  
  7. -rw------- 1 root root 128M Jul 25 12:40 test.1  
  8. -rw------- 1 root root 256M Jul 25 12:41 test.2  
  9. -rw------- 1 root root 512M Jul 25 12:42 test.3  
  10. -rw------- 1 root root 1.0G Jul 25 12:41 test.4  
  11. -rw------- 1 root root  16M Jul 25 12:42 test.ns  
  12. drwxr-xr-x 2 root root 4.0K Jul 25 12:38 _tmp  
228：
  1. [root@localhost mongodb]# ls -lh  
  2. 总计 2.0G  
  3. drwxr-xr-x 3 root root 4.0K 07-25 19:39 config_db  
  4. drwxr-xr-x 2 root root 4.0K 07-25 18:51 config_repair_db  
  5. drwxr-xr-x 2 root root 4.0K 07-25 19:39 log  
  6. -rwxr-xr-x 1 root root    6 07-25 19:39 mongod.lock  
  7. drwxr-xr-x 3 root root 4.0K 07-25 19:13 moveChunk  
  8. -rw------- 1 root root  64M 07-25 20:38 test.0  
  9. -rw------- 1 root root 128M 07-25 20:38 test.1  
  10. -rw------- 1 root root 256M 07-25 20:40 test.2  
  11. -rw------- 1 root root 512M 07-25 20:41 test.3  
  12. -rw------- 1 root root 1.0G 07-25 20:42 test.4  
  13. -rw------- 1 root root  16M 07-25 20:38 test.ns  
  14. drwxr-xr-x 2 root root 4.0K 07-25 20:38 _tmp  
自动分片成每个2G。MongoDB（AutoSharding+Replication sets 稳定性测试 ）MongoDB之DBref（关联插入,查询,删除） 实例深入相关资讯      MongoDB 
  • MongoDB 3.3.0 发布下载  （01月14日）
  • 使用MongoDB C#官方驱动操作  （12/31/2015 16:27:56）
  • CentOS 6.6下安装MongoDB 3.0.1  （12/21/2015 19:29:02）
  • MongoDB 3.2版WiredTiger存储引擎  （01月02日）
  • 进程监控工具Supervisor 启动  （12/26/2015 10:49:57）
  • MongoDB 3.2.1 RC0 发布下载  （12/18/2015 11:32:29）
本文评论 查看全部评论 （0）
表情： 姓名： 字数