亚洲承认在线,国内精品美女av在线播放,亚洲国产专区

colys — Tue, 18 Sep 2007 01:51:00 GMT

一、概�q?/strong>

分表是个目前��是比较炒的比较��行的概念，特别是在大负载的情况下，分表是一个良好分散数据库压力的好�Ҏ��?/div>

首先要了解�ؓ什么要分表�Q�分表的好处是什么。我们先来大概了解以下一个数据库执行SQL的过�E�：

接收到SQL --> 攑օ�SQL执行队列 --> 使用分析器分解SQL --> 按照分析�l�果�q�行数据的提取或者修�?--> �q�回处理�l�果

当然�Q�这个流�E�图不一定正��，�q�只是我自己主观意识上这么我认�ؓ。那么这个处理过�E�当中，最�Ҏ��出现问题的是什么？��是��_��如果前一个SQL�? 有执行完毕的话，后面的SQL是不会执行的�Q�因��Zؓ了保证数据的完整性，必须�Ҏ��据表文�g�q�行锁定�Q�包括共享锁和独享锁两种锁定。共享锁是在锁定的期��_�� 其它�U�程也可以访问这个数据文�Ӟ��但是不允�怿��Ҏ��作，相应的，独��n锁就是整个文件就是归一个线�E�所有，其它�U�程无法讉K��q�个数据文�g。一般MySQL�? 最快的存储引擎MyISAM�Q�它是基于表锁定的，��是说如果一锁定的话�Q�那么整个数据文件外部都无法讉K��Q�必��ȝ��前一个操作完成后�Q�才能接收下一个操作，那么在这个前一个操作没有执行完成，后一个操作等待在队列里无法执行的情况叫做��d��Q�一般我们通俗意义上叫�?#8220;锁表”�?/div>

锁表直接��D��的后果是什么？��是大量的SQL无法立即执行�Q�必��ȝ��队列前面的SQL全部执行完毕才能�l�箋执行。这个无法执行的SQL��׃��D��没有�l�果�Q�或者�g�q�严重，影响用户体验�?/div>

特别是对于一些��用比较频�J�的表，比如SNS�pȝ��中的用户信息表、论坛系�l�中的帖子表�{�等�Q�都是访问量大很大的表，��Z��保证数据的快速提取返回给用户�Q�必��M��用一些处理方式来解决�q�个问题�Q�这个就是我今天要聊到的分表技术�?/div>

分表技术顾名思义�Q�就是把若干个存储相同类型数据的表分成几个表分表存储�Q�在提取数据的时候，不同的用戯��问不同的表，互不冲突�Q�减��锁表的�? 率。比如，目前保存用户分表有两个表�Q�一个是user_1表，�q�有一个是 user_2 表，两个表保存了不同的用户信息，user_1 保存了前10万的用户信息�Q�user_2保存了后10万名用户的信息，现在如果同时查询用户 heiyeluren1 �?heiyeluren2 �q�个两个用户�Q�那么就是分表从不同的表提取出来�Q�减��锁表的可能�?/div>

我下面要讲述的两�U�分表方法我自己都没有实验过�Q�不保证准确能用�Q�只是提供一个设计思�\。下面关于分表的例子我假设是在一个脓吧系�l�的基础上来�q�行处理和构建的。（如果没有用过贴吧的用戯��紧Google一下）

二、基于基��表的分表处理

�q�个��Z��基础表的分表处理方式大致的思想��是�Q�一个主要表�Q�保存了所有的基本信息�Q�如果某个项目需要找到它所存储的表�Q�那么必��M��q�个基础表中查找出对应的表名�{�项目，好直接访问这个表。如果觉得这个基��表速度不够快，可以完全把整个基��表保存在�~�存或者内存中�Q�方便有效的查询�?/div>

我们��Z��贴吧的情况，构徏假设如下�?张表�Q?/div>

1. 贴吧版块�? 保存贴吧中版块的信息

2. 贴吧主题表：保存贴吧中版块中的主题信息，用于��览

3. 贴吧回复表：保存主题的原始内容和回复内容

“贴吧版块�?#8221;包含如下字段�Q?/div>
版块ID       board_id          int(10)

版块名称    board_name      char(50)

子表ID       table_id            smallint(5)

产生旉��    created             datetime

“贴吧主题�?#8221;包含如下字段�Q?/div>
主题ID          topic_id        int(10)

主题名称        topic_name     char(255)

版块ID          board_id          int(10)

创徏旉��       created           datetime

“贴吧回复�?#8221;的字�D�如下：

回复ID        reply_id           int(10)

回复内容      reply_text        text

主题ID        topic_id           int(10)

版块ID        board_id         int(10)

创徏旉��      created            datetime

那么上面保存了我们整个脓吧中的表�l�构信息�Q�三个表对应的关�p�L��Q?/div>

版块 --> 多个主题

主题 --> 多个回复

那么��是��_��表文件大��的关系是：

版块表文�?< 主题表文�?< 回复表文�?/div>

所以基本可以确定需要对主题表和回复表进行分表，已增加我们数据检索查询更�Ҏ��候的速度和性能�?/div>

看了上面的表�l�构�Q�会明显发现�Q�在“版块�?#8221;中保存了一�?table_id"字段�Q�这个字�D�就是用于保存一个版块对应的主题和回复都是分表保存在什么表里的�?/div>

比如我们有一个叫�?#8220;PHP”的脓吧，board_id�?�Q�子表ID也是1�Q�那么这条记录就是：

board_id | board_name | table_id | created

1 | PHP | 1 | 2007-01-19 00:30:12

相应的，如果我需要提�?#8220;PHP”吧里的所有主题，那么��必��L��照表里保存的table_id来组合一个存储了主题的表名称�Q�比如我们主题表的前�~��?#8220;topic_”�Q�那么组合出�?#8220;PHP”吧对应的主题表应该是�Q?#8220;topic_1”�Q�那么我们执行：

Select * FROM topic_1 Where board_id = 1 orDER BY topic_id DESC LIMIT 10

�q�样��p��够获取这个主题下面回复列表，方便我们�q�行查看�Q�如果需要查看某个主题下面的回复�Q�我们可以��l��用版块表中保存的“table_id”来进行查询。比如我们回复表的前�~��?#8220;reply_”�Q�那么就可以�l�合�?#8220;PHP”吧的ID�?的主题的回复�Q?/div>

Select * FROM reply_1 Where topic_id = 1 orDER BY reply_id DESC LIMIT 10

�q�里�Q�我们能够清晰的看到�Q�其实我们这里��用了基础表，基础表就是我们的版块表。那么相应的�Q�肯定会��_��基础表的数据量大了以后如何保证它的速度和效率？

当然�Q�我们就必须使得�q�个基础表保持最好的速度和性能�Q�比如，可以采用MySQL的内存表来存储，或者保存在内存当中�Q�比如Memcache之类的内存缓存等�{�，可以按照实际情况来进行调整�?/div>

一般基于基��表的分表机制在SNS、交友、论坛等Web2.0�|�站中是个比较不错的解决�Ҏ��Q�在�q�些�|�站中，完全可以单独使用一个表来来保存基本标识和目标表之间的关�p�R��用表保存对应关系的好处是以后扩展非常方便�Q�只需要增加一个表记录�?/div>

�?strong> 优势】增加删除节炚w��常方便，为后期升�U�维护带来很大便�?/div>
�?strong> 劣势】需要增加表或者对某一个表�q�行操作�Q�还是无法离开数据库，会��生瓶�?/div>

三、基�?/strong> Hash ��法的分表处�?/strong>

我们知道Hash表就是通过某个�Ҏ��的Hash��法计算出的一个��|��q�个值必��L��惟一的，�q�且能够使用�q�个计算出来的值查扑ֈ�需要的��|��q�个叫做哈希表�?/div>

我们在分表里的hash��法跟这个思想�c�M��Q�通过一个原始目标的ID或者名�U�通过一定的hash��法计算出数据存储表的表名，然后讉K��相应的表�?/div>

�l�箋拿上面的贴吧来说�Q�每个脓吧有版块名称和版块ID�Q�那么这两项值是固定的，�q�且是惟一的，那么我们��可以考虑通过对这两项��g��的一��进行一些运��得��Z��个目标表的名�U��?/div>

现在假如我们针对我们�q�个贴吧�pȝ��Q�假讄��l�最大允�?亿条数据�Q�考虑每个表保�?00万条记录�Q�那么整个系�l�就不超�q?00个表��p��够容�U�뀂按照这个标准，我们假设在脓吧的版块ID上进行hash�Q�获得一个key��|��q�个值就是我们的表名�Q�然后访问相应的表�?/div>

我们构造一个简单的hash��法�Q?/div>

function get_hash($id){

     $str = bin2hex($id);

     $hash = substr($str, 0, 4);

     if (strlen($hash)<4){

         $hash = str_pad($hash, 4, "0");

     }

     return $hash;

}

��法大致��是传入一个版块ID��|��然后函数�q�回一�?位的字符�Ԍ��如果字符串长度不够，使用0�q�行补全�?/div>

比如�Q�get_hash(1)�Q�输出的�l�果�?#8220;3100”�Q�输入：get_hash(23819)�Q�得到的�l�果是：3233�Q�那么我们经�q�简单的跟表前缀�l�合�Q�就能够讉K��q�个表了。那么我们需要访问ID�?的内�Ҏ��候哦�Q�组合的表将是：topic_3100、reply_3100�Q�那么就可以直接对目标表�q�行讉K��了�?/div>

当然�Q��用hash��法后，有部分数据是可能在同一个表的，�q�一点跟hash表不同，hash表是��量解决冲突�Q�我们这里不需要，当然同样需要预��和分析表数据可能保存的表名�?/div>

如果需要存储的数据更多�Q�同��L��Q�可以对版块的名字进行hash操作�Q�比如也是上面的二进制�{换成十六�q�制�Q�因为汉字比数字和字母要多很多，那么重复几率更小�Q�但是可能组合成的表��更多了�Q�相应就必须考虑一些其它的问题�?/div>

归根�l�底�Q��用hash方式的话必须选择一个好的hash��法�Q�才能生成更多的表，然数据查询的更迅速�?/div>

�?strong> 优点hash��法直接得出目标表名�U�ͼ�效率很高】通过

�?strong> 劣势 】扩展性比较差�Q�选择了一个hash��法�Q�定义了多少数据量，以后只能在这个数据量上跑�Q�不能超�q�过�q�个数据量，可扩展性稍�?/div>

四、其它问�?/strong>

1. 搜烦问题

现在我们已经�q�行分表了，那么��无法直接对表进行搜索，因�ؓ你无法对可能�pȝ��中已�l�存在的几十或者几百个表进行检索，所以搜索必��d��助�W�三方的�l��g来进行，比如Lucene作�ؓ站内搜烦引擎是个不错的选择�?/div>

2. 表文仉��?/strong>

我们知道MySQL的MyISAM引擎每个表都会生成三个文�Ӟ��*.frm�?.MYD�?.MYI 三个文�g�Q�分表用来保存表�l�构、表数据和表索引。Linux下面每个目录下的文�g数量最好不要超�q?000个，不然��索数据将更慢�Q�那么每个表都会生成�? 个文�Ӟ��相应的如果分表超�q?00个表�Q�那么将��索非常慢�Q�所以这时候就必须再进行分�Q�比如在�q�行数据库的分离�?/div>

使用基础表，我们可以新增加一个字�D�，用来保存�q�个表保存在什么数据。��用Hash的方式，我们必须截取hash��g��W�几位来作�ؓ数据库的名字。这��P��完好的解册��个问题�?/div>

五、�ȝ��

在大负蝲应用当中�Q�数据库一直是个很重要的瓶颈，必须要突��_��本文讲解了两�U�分表的方式�Q�希望对很多��够有启发的作用。当�Ӟ��本文代码和设��x��有经�q��Q何代码测试，所以无法保证设计的完全准确实用�Q�具体还是需要读者在使用�q�程当中认真分析实施�?/div>

colys 2007-09-18 09:51 发表评论

SQL语句导入导出大全[攉��]

colys — Wed, 25 Apr 2007 10:07:00 GMT
/******* 导出到excel
EXEC master..xp_cmdshell 'bcp SettleDB.dbo.shanghu out c:\temp1.xls -c -q -S"GNETDATA/GNETDATA" -U"sa" -P""'

/*********** 导入Excel
SELECT *
FROM OpenDataSource( 'Microsoft.Jet.OLEDB.4.0',
'Data Source="c:\test.xls";User ID=Admin;Password=;Extended properties=Excel 5.0')...xactions

/*动态文件名
declare @fn varchar(20),@s varchar(1000)
set @fn = 'c:\test.xls'
set @s ='''Microsoft.Jet.OLEDB.4.0'',
''Data Source="'+@fn+'";User ID=Admin;Password=;Extended properties=Excel 5.0'''
set @s = 'SELECT * FROM OpenDataSource ('+@s+')...sheet1$'
exec(@s)
*/

SELECT cast(cast(�U�目�~�号 as numeric(10,2)) as nvarchar(255))+'　' 转换后的别名
FROM OpenDataSource( 'Microsoft.Jet.OLEDB.4.0',
'Data Source="c:\test.xls";User ID=Admin;Password=;Extended properties=Excel 5.0')...xactions

/********************** EXCEL导到�q�程SQL
insert OPENDATASOURCE(
'SQLOLEDB',
'Data Source=�q�程ip;User ID=sa;Password=密码'
).库名.dbo.表名 (列名1,列名2)
SELECT 列名1,列名2
FROM OpenDataSource( 'Microsoft.Jet.OLEDB.4.0',
'Data Source="c:\test.xls";User ID=Admin;Password=;Extended properties=Excel 5.0')...xactions

/** 导入文本文�g
EXEC master..xp_cmdshell 'bcp dbname..tablename in c:\DT.txt -c -Sservername -Usa -Ppassword'

/** 导出文本文�g
EXEC master..xp_cmdshell 'bcp dbname..tablename out c:\DT.txt -c -Sservername -Usa -Ppassword'
�?br>EXEC master..xp_cmdshell 'bcp "Select * from dbname..tablename" queryout c:\DT.txt -c -Sservername -Usa -Ppassword'

导出到TXT文本�Q�用逗号分开
exec master..xp_cmdshell 'bcp "库名..表名" out "d:\tt.txt" -c -t ,-U sa -P password'

BULK INSERT 库名..表名
FROM 'c:\test.txt'
WITH (
FIELDTERMINATOR = ';',
ROWTERMINATOR = '\n'
)

--/* dBase IV文�g
select * from
OPENROWSET('MICROSOFT.JET.OLEDB.4.0'
,'dBase IV;HDR=NO;IMEX=2;DATABASE=C:\','select * from [客户资料4.dbf]')
--*/

--/* dBase III文�g
select * from
OPENROWSET('MICROSOFT.JET.OLEDB.4.0'
,'dBase III;HDR=NO;IMEX=2;DATABASE=C:\','select * from [客户资料3.dbf]')
--*/

--/* FoxPro 数据�?br>select * from openrowset('MSDASQL',
'Driver=Microsoft Visual FoxPro Driver;SourceType=DBF;SourceDB=c:\',
'select * from [aa.DBF]')
--*/

/**************导入DBF文�g****************/
select * from openrowset('MSDASQL',
'Driver=Microsoft Visual FoxPro Driver;
SourceDB=e:\VFP98\data;
SourceType=DBF',
'select * from customer where country != "USA" order by country')
go
/***************** 导出到DBF ***************/
如果要导出数据到已经生成�l�构(即现存的)FOXPRO表中,可以直接用下面的SQL语句

insert into openrowset('MSDASQL',
'Driver=Microsoft Visual FoxPro Driver;SourceType=DBF;SourceDB=c:\',
'select * from [aa.DBF]')
select * from �?br>
说明:
SourceDB=c:\ 指定foxpro表所在的文�g�?br>aa.DBF 指定foxpro表的文�g�?

/*************导出到Access********************/
insert into openrowset('Microsoft.Jet.OLEDB.4.0',
'x:\A.mdb';'admin';'',A�? select * from 数据库名..B�?br>
/*************导入Access********************/
insert into B�?selet * from openrowset('Microsoft.Jet.OLEDB.4.0',
'x:\A.mdb';'admin';'',A�?

文�g名�ؓ参数
declare @fname varchar(20)
set @fname = 'd:\test.mdb'
exec('SELECT a.* FROM opendatasource(''Microsoft.Jet.OLEDB.4.0'',
'''+@fname+''';''admin'';'''', topics) as a ')

SELECT *
FROM OpenDataSource( 'Microsoft.Jet.OLEDB.4.0',
'Data Source="f:\northwind.mdb";Jet OLEDB:Database Password=123;User ID=Admin;Password=;')...产品

********************* 导入 xml　文�g

DECLARE @idoc int
DECLARE @doc varchar(1000)
--sample XML document
SET @doc ='

Customer was very satisfied

Important
Happy Customer.

'
-- Create an internal representation of the XML document.
EXEC sp_xml_preparedocument @idoc OUTPUT, @doc

-- Execute a SELECT statement using OPENXML rowset provider.
SELECT *
FROM OPENXML (@idoc, '/root/Customer/Order', 1)
WITH (oid char(5),
amount float,
comment ntext 'text()')
EXEC sp_xml_removedocument @idoc

???????

/**********************Excel导到Txt****************************************/
想用
select * into opendatasource(...) from opendatasource(...)
实现��一个Excel文�g内容导入��C��个文本文�?br>
假设Excel中有两列�Q�第一列�ؓ姓名�Q�第二列为很行帐�?16�?
且银行帐号导出到文本文�g后分两部分，�?位和�?位分开�?br>

邹健�Q?br>如果要用你上面的语句插入的话,文本文�g必须存在,而且有一�?姓名,银行账号1,银行账号2
然后��可以用下面的语句进行插�?br>注意文�g名和目录�Ҏ��你的实际情况�q�行修改.

insert into
opendatasource('MICROSOFT.JET.OLEDB.4.0'
,'Text;HDR=Yes;DATABASE=C:\'
)...[aa#txt]
--,aa#txt)
--*/
select 姓名,银行账号1=left(银行账号,8),银行账号2=right(银行账号,8)
from
opendatasource('MICROSOFT.JET.OLEDB.4.0'
,'Excel 5.0;HDR=YES;IMEX=2;DATABASE=c:\a.xls'
--,Sheet1$)
)...[Sheet1$]

如果你想直接插入�q�生成文本文�?��p��用bcp

declare @sql varchar(8000),@tbname varchar(50)

--首先��excel表内容导入到一个全局临时�?br>select @tbname='[##temp'+cast(newid() as varchar(40))+']'
,@sql='select 姓名,银行账号1=left(银行账号,8),银行账号2=right(银行账号,8)
into '+@tbname+' from
opendatasource(''MICROSOFT.JET.OLEDB.4.0''
,''Excel 5.0;HDR=YES;IMEX=2;DATABASE=c:\a.xls''
)...[Sheet1$]'
exec(@sql)

--然后用bcp从全局临时表导出到文本文�g
set @sql='bcp "'+@tbname+'" out "c:\aa.txt" /S"(local)" /P"" /c'
exec master..xp_cmdshell @sql

--删除临时�?br>exec('drop table '+@tbname)

/********************导整个数据库*********************************************/

用bcp实现的存储过�E?br>

/*
实现数据导入/导出的存储过�E?br>�Ҏ��不同的参�?可以实现导入/导出整个数据�?单个�?br>调用�C�Z��:
--导出调用�C�Z��
----导出单个�?br>exec file2table 'zj','','','xzkh_sa..地区资料','c:\zj.txt',1
----导出整个数据�?br>exec file2table 'zj','','','xzkh_sa','C:\docman',1

--导入调用�C�Z��
----导入单个�?br>exec file2table 'zj','','','xzkh_sa..地区资料','c:\zj.txt',0
----导入整个数据�?br>exec file2table 'zj','','','xzkh_sa','C:\docman',0

*/
if exists(select 1 from sysobjects where name='File2Table' and objectproperty(id,'IsProcedure')=1)
drop procedure File2Table
go
create procedure File2Table
@servername varchar(200) --服务器名
,@username varchar(200) --用户�?如果用NT验证方式,则�ؓ�I?'
,@password varchar(200) --密码
,@tbname varchar(500) --数据�?dbo.表名,如果不指�?.dbo.表名,则导出数据库的所有用戯��
,@filename varchar(1000) --导入/导出路径/文�g�?如果@tbname参数指明是导出整个数据库,则这个参数是文�g存放路径,文�g名自动用表名.txt
,@isout bit --1为导�?0为导�?br>as
declare @sql varchar(8000)

if @tbname like '%.%.%' --如果指定了表�?则直接导出单个表
begin
set @sql='bcp '+@tbname
+case when @isout=1 then ' out ' else ' in ' end
+' "'+@filename+'" /w'
+' /S '+@servername
+case when isnull(@username,'')='' then '' else ' /U '+@username end
+' /P '+isnull(@password,'')
exec master..xp_cmdshell @sql
end
else
begin --导出整个数据�?定义游标,取出所有的用户�?br>declare @m_tbname varchar(250)
if right(@filename,1)<>'\' set @filename=@filename+'\'

set @m_tbname='declare #tb cursor for select name from '+@tbname+'..sysobjects where xtype=''U'''
exec(@m_tbname)
open #tb
fetch next from #tb into @m_tbname
while @@fetch_status=0
begin
set @sql='bcp '+@tbname+'..'+@m_tbname
+case when @isout=1 then ' out ' else ' in ' end
+' "'+@filename+@m_tbname+'.txt " /w'
+' /S '+@servername
+case when isnull(@username,'')='' then '' else ' /U '+@username end
+' /P '+isnull(@password,'')
exec master..xp_cmdshell @sql
fetch next from #tb into @m_tbname
end
close #tb
deallocate #tb
end
go

/************* Oracle **************/
EXEC sp_addlinkedserver 'OracleSvr',
'Oracle 7.3',
'MSDAORA',
'ORCLDB'
GO

delete from openquery(mailser,'select * from yulin')

select * from openquery(mailser,'select * from yulin')

update openquery(mailser,'select * from yulin where id=15')set disorder=555,catago=888

insert into openquery(mailser,'select disorder,catago from yulin')values(333,777)

colys 2007-04-25 18:07 发表评论

亚洲承认在线,国内精品美女av在线播放,亚洲国产专区

SQL语句导入导出大全[攉���]

SQL语句导入导出大全[攉��]