hash和solr在海量數(shù)據(jù)分布式搜索引擎中的應(yīng)用教程(2)_MySQL教程
推薦:23道安全門加鑄MySQL數(shù)據(jù)庫使用MySQL,安全問題不能不注意。以下是MySQL提示的23個注意事項: 1.如果客戶端和服務(wù)器端的連接需要跨越并通過不可信任的網(wǎng)絡(luò),那么就需要使用SSH隧道來加密該連接的通信。 2.用set password語句來修改用戶的密碼,三個步驟,先mysql -u root登陸數(shù)據(jù)庫系統(tǒng),然后mys
大家應(yīng)該明白一致性hash的基本原理了吧。不過這種算法還是有缺陷,比如在機器節(jié)點比較少、數(shù)據(jù)量大的時候,數(shù)據(jù)的分布可能不是很均衡,就會導(dǎo)致其中一臺服務(wù)器的數(shù)據(jù)比其他機器多很多。為了解決這個問題,需要引入虛擬服務(wù)器節(jié)點的機制。如我們一共有只有三臺機器,1、2、3。但是實際又不可能有這么多機器怎么解決呢?把 這些機器各自虛擬化出來3臺機器,也就是 1a 1b 1c 2a 2b 2c 3a 3b 3c,這樣就變成了9臺機器。實際 1a 1b 1c 還是對應(yīng)1。但是實際分布到環(huán)形節(jié)點就變成了9臺機器。數(shù)據(jù)分布也就能夠更分散一點。如圖:

寫了這么多一致性hash,這個和分布式搜索有什么半點關(guān)系?我們現(xiàn)在使用solr4搭建了分布式搜索,測試了基于solrcloud的分布式平臺提交20條數(shù)據(jù)居然需要幾十秒,所以就廢棄了solrcloud。采用自己hack solr平臺,不用zookeeper做分布式一致性管理平臺,自己管理數(shù)據(jù)的分發(fā)機制。既然需要自己管理數(shù)據(jù)的分發(fā),就需要考慮到索引的創(chuàng)建,索引的更新。這樣我們的一致性hash也就用上了。整體架構(gòu)如下圖:

建立和更新需要維持機器的位置,能夠根據(jù)數(shù)據(jù)的key找到對應(yīng)的數(shù)據(jù)分發(fā)并更新。這里需要考慮的是如何高效、可靠的把數(shù)據(jù)建立、更新到索引里。
備份服務(wù)器防止建立服務(wù)器掛掉,可以根據(jù)備份服務(wù)器快速恢復(fù)。
讀服務(wù)器主要做讀寫分離使用,防止寫索引影響查詢數(shù)據(jù)。
集群管理服務(wù)器管理整個集群內(nèi)的服務(wù)器狀態(tài)、告警。
整個集群隨著業(yè)務(wù)增多還可以按照數(shù)據(jù)的類型劃分,比如用戶、微博等。每個類型按照上圖架構(gòu)搭建,就可以滿足一般性能的分布式搜索。
分享:MySQL 5.0 數(shù)據(jù)庫新特性的存儲過程當(dāng)你提交一個查詢的時候,MySQL會分析它,看是否可以做一些優(yōu)化使處理該查詢的速度更快。這一部分將介紹查詢優(yōu)化器是如何工作的。如果你想知道MySQL采用的優(yōu)化手段,可以查看MySQL參考手冊。 當(dāng)然,MySQL查詢優(yōu)化器也利用了索引,但是它也使用了其它一些信息。例如,如
- 23道安全門加鑄MySQL數(shù)據(jù)庫
- MySQL 5.0 數(shù)據(jù)庫新特性的存儲過程
- MySql管理的一點心得
- mysql導(dǎo)入數(shù)據(jù)庫文件最大限制的修改方法
- Mysql存儲引擎InnoDB和Myisam的六大區(qū)別
- Mysql運行環(huán)境優(yōu)化(Linux系統(tǒng))
- MySQL查詢的性能優(yōu)化基礎(chǔ)教程
- MySQL 在windows上的安裝詳細介紹
- sql server 2005時發(fā)生18452錯誤解決方法
- MySQL字段的取值范圍
- mysql_unbuffered_query與mysql_query的區(qū)別
- mysql 復(fù)制表數(shù)據(jù),表結(jié)構(gòu)的3種方法
MySQL教程Rss訂閱編程教程搜索
MySQL教程推薦
猜你也喜歡看這些
- 三個SQL視圖查出所有SQL Server數(shù)據(jù)庫字典
- 解決SQL Server數(shù)據(jù)庫權(quán)限沖突的三大妙招
- SQL Server數(shù)據(jù)庫增強版?zhèn)浞蒹w驗
- 循序漸進講解數(shù)據(jù)表的十二個設(shè)計原則
- 談SQL Data Services將成為云中完整的數(shù)據(jù)庫
- 為何把你的數(shù)據(jù)庫置于版本控制之下
- char、varchar、text和nchar、nvarchar、ntext的區(qū)別
- mssql2005數(shù)據(jù)庫鏡像搭建教程
- 用一條sql取得第10到第20條的記錄
- 解讀SQL Server數(shù)據(jù)庫備份的方法
- 相關(guān)鏈接:
- 教程說明:
MySQL教程-hash和solr在海量數(shù)據(jù)分布式搜索引擎中的應(yīng)用教程(2)
。