国产欧美一区二区三区在线看蜜臀 ,亚洲在线网站,亚洲国产精品女人久久久

Mon, 13 Apr 2015 09:34:00 GMT

摘要: 注意�Q�测试方法或者推��思�\�Q�可能有问题�Q�欢�q�批评与指正�? Mongodb的版�? 执行命��omongod --version得到 "version" : "3.0.1",&n... 阅读全文

长寿�?/a> 2015-04-13 17:34 发表评论

Mon, 13 Apr 2015 09:27:00 GMT

1.mongodb 的版�?/span>

v3.0.1

2.mongodb的用��h��限分�?/span>

//创徏��񔽎�理用户

use admin

db.createUser(

{

user:"superuser",

pwd:"superuser@nMhU3x",

roles:["root"]

}

)

参考文档：http://demo.netfoucs.com/xuzheng_java/article/details/42550653

3. mongodb 初次启动�Ӟ��观察其占用的��盘�I�间。发现占用了20G�I�间�Q�这与mongodb��Z��提高写性能�Q?/span>

与分配数据有兟�?/span>

原因�Q?/span>

oplogSize�Q�指定的复制操作日志�Q�OPLOG�Q�的最大大��。mongod创徏一个OPLOG的大��基于最大可�?/span>

�I�间量。对�?4位系�l�，OPLOG通常�?�Q�的可用��盘�I�间。一旦mongod�W�一�ơ创建OPLOG�Q�改变oplog

Size��不会媄响OPLOG的大��?/span>

我把oplogSize配置�?G发现�Q�初始化时生成了一个local.1�Q�大��ؓ1G�?/span>

4. 针对mongodb的warnning的系�l��别的优化�Q?/span>

�W�一步：

使用root用户权限��d��Q?/span>

echo "never" > /sys/kernel/mm/transparent_hugepage/enabled

echo "never" > /sys/kernel/mm/transparent_hugepage/defrag

�W�二步：

使用root用户权限��d��Q?/span>

vim /etc/profile

��d��以下命��o�Q?/span>

ulimit -f unlimited

ulimit -t unlimited

ulimit -v unlimited

ulimit -n 64000

ulimit -m unlimited

ulimit -u 32000

5. 在做mongodb��M��复制�Ӟ��在没有开�?-auth模式�Ӟ��q�行正常�?/span>

然后�Q�开启主�?--auth模式�Q?/span>

发现从库遇到验证问题�Q�数据不能同步成功�?/span>

在这�U�情况下�Q�做实验��p�|�Q�尚末解冟�?/span>

6. 发现mongodb初始化时�Q�data占用物理�I�间�?3G;然后插入1KW条数据后�Q�占用空间是29G�Q?/span>

若插�?KW条数据，占用�I�间�?0G

30601 LBSUser 20 0 56.9g(VIRT) 2.8g(RES) 2.4g S 0.0 9.0 0:14.47 mongod

7. mongodb��M��复制的配�|�文件见�Q?/span>

mongodb-master-slave.tar

配置文�g的说明：

参考：http://www.it165.net/database/html/201402/5303.html

8. mongodb副本集的配置文�g见：

mongodb-replset.tar.gz 配置文�g

mongodb-master-slave.tar.zip 配置文�g

长寿�?/a> 2015-04-13 17:27 发表评论

�Ҏ(gu��)��据库索引的一�Ҏ(gu��)�ȝ��

Wed, 11 Feb 2015 03:16:00 GMT

问题�Q�mysql 多列索引的最左前�~�

参考：http://blog.sina.com.cn/s/blog_4deb16580100i8v2.html

�l�论�Q�烦引文件是�Ҏ(gu��)��最左边的一列进行排序的�Q�然后按照二分查找法查找的�?/div>

问题�Q�烦引的�c�d��Q�普通烦引、唯一性烦引、主键、全文烦�?/div>

参考：http://opq149766320.iteye.com/blog/561183

�l�论�Q?/div>

问题�Q?MySQL Hash索引和B-Tree索引的区�?/div>

参考：http://database.51cto.com/art/201010/229525.htm

�l�论�Q�映��规则导致的�~�点、冲�H�导致的�~�点

长寿�?/a> 2015-02-11 11:16 发表评论

Tue, 10 Feb 2015 07:31:00 GMT

im的架构，不是隑֜�消息的�{发，而是隑֜�
1.用户状态的�l�护
2.用户�C�交�|�络的构�?img src ="http://m.shnenglu.com/changshoumeng/aggbug/209778.html" width = "1" height = "1" />

长寿�?/a> 2015-02-10 15:31 发表评论

��MYSQL多库表的数据�q�移到REDIS的SHELL脚本

Fri, 18 Jul 2014 09:29:00 GMT

#!/bin/sh

DBFILE=./migratedata2redis.sql

for((nDBIndex=0;nDBIndex<4;nDBIndex++))
do

if [ -f $DBFILE ]
then
        rm -rf $DBFILE
fi

        for((nTBIndex=0;nTBIndex<64;nTBIndex++))
        do

        (
        cat <<EOF

                SELECT concat(
                '*4\r\n\$4\r\nzadd\r\n',
                '\$', LENGTH(redis_key), '\r\n',
                redis_key, '\r\n',
                '\$', LENGTH(redis_score), '\r\n',
                redis_score, '\r\n',
                '\$', LENGTH(redis_value), '\r\n',
                redis_value, '\r'
                )
                FROM(
                select FtoID ,FmsgID,FdbIndex,FtableIndex,FmsgTimestamp,
                concat("offlinemsg_",FtoID) as redis_key,
                FmsgTimestamp as redis_score,
                concat(FmsgID,"_",      FdbIndex,"_",   FtableIndex) as redis_value
                from db_im_user_msg_$nDBIndex.t_im_user_msgidlist_$nTBIndex
                )
                AS T;

EOF
        ) >> $DBFILE

        done

echo "begin migrate data to redis,use $DBFILE .."
mysql db_im_user_msg_$nDBIndex --skip-column-names --raw < $DBFILE | redis-cli --pipe
echo "migrate data to redis,end"

done

�q�个脚本是将以多库多表存储在MYSQL的数据迁�U�d��REDIS的一个库里�?br />
但是假如�Q�需求是��这些数据安全UID的规则迁�U�d��REDIS的不同的库里呢，怎么办？

#!/bin/sh

DBFILE=./migratedata2redis.sql

function select_data()
{
    DBINDEX=$1
    TBINDEX=$2
    MOINDEX=$3

    #echo "select_data $DBINDEX $TBINDEX $MOINDEX"

    (
        cat <<EOF
        SELECT concat(
                '*4\r\n\$4\r\nzadd\r\n',
                '\$', LENGTH(redis_key), '\r\n',
                redis_key, '\r\n',
                '\$', LENGTH(redis_score), '\r\n',
                redis_score, '\r\n',
                '\$', LENGTH(redis_value), '\r\n',
                redis_value, '\r'
                )
                FROM(
                select FtoID ,FmsgID,FdbIndex,FtableIndex,FmsgTimestamp,
                concat("offlinemsg_",FtoID) as redis_key,
                FmsgTimestamp as redis_score,
                concat(FmsgID) as redis_value
                from db_im_user_msg_$DBINDEX.t_im_user_msgidlist_$TBINDEX
                where FtoID%4=$MOINDEX
                )
                AS T1;


                SELECT concat(
                '*3\r\n\$3\r\nset\r\n',
                '\$', LENGTH(redis_key), '\r\n',
                redis_key, '\r\n',
                '\$', LENGTH(redis_value), '\r\n',
                redis_value, '\r'
                )
                FROM(
                select FtoID ,FmsgID,FdbIndex,FtableIndex,FmsgTimestamp,
                concat("msg_",FmsgID) as redis_key,
                FmsgTimestamp as redis_score,
                concat(FmsgID,"_",      FdbIndex,"_",   FtableIndex) as redis_value
                from db_im_user_msg_$DBINDEX.t_im_user_msgidlist_$TBINDEX
                where FtoID%4=$MOINDEX
                )
                AS T2;
EOF
     ) >> $DBFILE

}

function traverse_tb()
{
    DBINDEX=$1
    MOINDEX=$2

   #echo "traverse_tb $DBINDEX $MOINDEX"


    for((nTBIndex=0;nTBIndex<64;nTBIndex++))
    do
        select_data $DBINDEX $nTBIndex $MOINDEX
    done
}

function traverse_md()
{
    DBINDEX=$1

#    echo "traverse_md $DBINDEX"

    for((nModNum=0;nModNum<4;nModNum++))
    do
        [ -f $DBFILE ] &&  rm -rf $DBFILE
        traverse_tb $DBINDEX $nModNum
        echo " mysql db_im_user_msg_$DBINDEX --skip-column-names --raw < $DBFILE | redis-cli --pipe -n $nModNum "
        mysql db_im_user_msg_$DBINDEX --skip-column-names --raw < $DBFILE | redis-cli --pipe -n $nModNum
    #    echo "migrate data to redis,end"
    done
}

function traverse_db()
{
    for((nDBIndex=0;nDBIndex<4;nDBIndex++))
    do
        echo -e "\n-------traverse_db $nDBIndex--------------"
        traverse_md $nDBIndex
    done
}

function main()
{
    traverse_db
}

main

初步思�\是：先把数据全量�q�移��C��个库�Q�然后keys * 到指定的记录�Q�再一个一个的move一遍�?br />

长寿�?/a> 2014-07-18 17:29 发表评论

获取分库分表的总记录数目，mysql存储�q�程与SHELL脚本实现

Tue, 15 Jul 2014 11:25:00 GMT

DROP PROCEDURE IF EXISTS  sp_getmsgtotal;

DELIMITER//
CREATE PROCEDURE sp_getmsgtotal()
BEGIN
    declare DBNAME varchar(64) ;
    declare TBNAME varchar(64);
    declare total       integer default 0 ;
    declare dbindex   integer default 0 ;
    declare tbindex  integer default 0 ;

    loop1:WHILE dbindex< 8 DO
        set DBNAME=concat("db_im_msg_record_" , dbindex);
        set tbindex = 0;

            loop2:WHILE tbindex<32 DO
                set TBNAME=concat("t_im_msg_",tbindex);

                set @SQL= concat("SELECT COUNT(*) INTO @num FROM ",DBNAME,".",TBNAME,";");
                select @SQL;
                prepare stmt_1 from @SQL ;
                execute stmt_1 ;
                deallocate prepare stmt_1 ;
                set total = total +@num;
                set tbindex = tbindex+ 1;
            END WHILE loop2;

        set dbindex=dbindex+1;


    END WHILE loop1;

    select total ;
END
//

但是存储�q�程�Q�面临着 �q�样的问题：
Thread stack overrun: 10368 bytes used of a 131072 byte stack, and 128000 bytes needed.
需要重启mysqld�?br />�ȝ��?br />
换一�U�SHELL脚本实现

#!/bin/bash

MYSQL=/usr/local/mysql/bin/mysql
#SQLOPT=" -u$USER -p$PASS -S/tmp/mysql-new.sock $@"
SQLOPT="-h192.168.1.10 -uusername -ppassword"
RESULTFILE=./result.txt

function mysql_opt()
{
        DBNAME=$1
        SQLSTR=$2
        $MYSQL $SQLOPT << EOF
        use $DBNAME;
        set names utf8;
        $SQLSTR;

EOF
}

function get_count()
{
        for((nDBIndex=0;nDBIndex<8;nDBIndex++))
        do
                 DBNAME=db_im_msg_record_$nDBIndex
                  #DBNAME=db_im_user_msg_$nDBIndex

                                for((nTBIndex=0;nTBIndex<1;nTBIndex++))
                                do
                                        TBNAME=t_im_msg_$nTBIndex
                                        #TBNAME=t_im_user_msgidlist_$nTBIndex

                                        RESULT=`mysql_opt $DBNAME "select count(*) from $TBNAME;"`
                                        echo "$RESULT  "
                                        echo $RESULT >> $RESULTFILE
                                done

        done
}

function compute_total()
{
        echo "begin"
        awk 'BEGIN{sum=0}{print $2;sum+=$2;}END{print sum} ' $RESULTFILE
        echo "end.."
}

function main()
{
        [ -f $RESULTFILE ] && rm -rf $RESULTFILE
        get_count
        compute_total
}

main

长寿�?/a> 2014-07-15 19:25 发表评论

是否选择mongodb替换mysql

Fri, 30 Aug 2013 01:42:00 GMT

��Z��么我们放弃��用mongodb
http://dank.iteye.com/blog/1069050

mysql与mongodb的应用分�?br />http://dank.iteye.com/blog/1062025

长寿�?/a> 2013-08-30 09:42 发表评论

国产欧美一区二区三区在线看蜜臀 ,亚洲在线网站,亚洲国产精品女人久久久

�Ҏ(gu��)��据库索引的一�Ҏ(gu��)�ȝ��

���MYSQL多库表的数据�q�移到REDIS的SHELL脚本

获取分库分表的总记录数目，mysql存储�q�程与SHELL脚本实现

是否选择mongodb替换mysql

��MYSQL多库表的数据�q�移到REDIS的SHELL脚本