如何編寫更好的SQL查詢:終極指南-第一部分
構(gòu)化查詢語言(SQL)是數(shù)據(jù)挖掘分析行業(yè)不可或缺的一項技能,總的來說,學習這個技能是比較容易的。對于SQL來說,編寫查詢語句只是第一步,確保查詢語句高效并且適合于你的數(shù)據(jù)庫操作工作,才是最重要的。這個教程將會提供給你一些步驟,來評估你的查詢語句。
·???????? 首先,應(yīng)該了解學習SQL對于數(shù)據(jù)挖掘分析這個工作的重要性;
·???????? 接下來,應(yīng)該先學習SQL查詢語句的處理和執(zhí)行過程,以便可以更好的了解到,編寫高質(zhì)量的查詢有多重要。具體說來就是,應(yīng)該了解查詢是如何被解析、重寫、優(yōu)化和最終評估的;
·???????? 掌握了上面一點之后,你不僅需要重溫初學者在編寫查詢語句時,所使用的查詢反向模型,而且還需要了解有關(guān)可能發(fā)生錯誤的替代方案和解決方案。同時還應(yīng)該了解更多查詢工作中的基于集合的程序方法。
·???????? 在性能方面也需要關(guān)注反向模型,除了手動提高SQL查詢的方法外,還需要以更加結(jié)構(gòu)化和深入的方式來分析你的查詢,以便使用其它工具來完成整個查詢工作。
·???????? 在執(zhí)行查詢之前,還需要更加深入的了解執(zhí)行查詢計劃的時間復(fù)雜度。
·???????? 最后,應(yīng)該了解如何進一步的調(diào)整你的查詢語句。
為什么要學SQL?
尋找數(shù)據(jù)挖掘分析行業(yè)的工作,SQL是最需要的技能之一,不論是申請數(shù)據(jù)分析工作、數(shù)據(jù)引擎工作、數(shù)據(jù)挖掘分析或者其它工作。在O'Reilly發(fā)布的《2016數(shù)據(jù)科學從業(yè)者薪酬報告》中,有70%的受訪者證實了這一點,表示他們需要在專業(yè)環(huán)境中使用SQL。此外,本次調(diào)查中,SQL遠勝于R(57%)和Python(54%)等編程語言。所以在數(shù)據(jù)挖掘分析領(lǐng)域,SQL是必備技能。
我們分析一下SQL從1970s早期開發(fā)出,到現(xiàn)在還經(jīng)久不衰的原因:
一、公司基本都將數(shù)據(jù)存儲在關(guān)系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)或關(guān)系數(shù)據(jù)流管理系統(tǒng)(RDSMS)中,所以需要使用SQL來實現(xiàn)訪問。SQL是通用的數(shù)據(jù)語言,可以使用SQL和幾乎其它任何數(shù)據(jù)庫進行交互,甚至可以在本地建立自己的數(shù)據(jù)庫!
二、只有少量的SQL實現(xiàn)沒有遵循標準,在供應(yīng)商之間不兼容。因此,了解SQL標準是在數(shù)據(jù)挖掘分析行業(yè)立足的必要要求。
三、最重要的是SQL也被更新的技術(shù)所接受,例如Hive或者Spark SQL。Hive是一個用于查詢和管理大型數(shù)據(jù)集的類似于SQL的查詢語言界面;Spark SQL可用于執(zhí)行SQL查詢。
簡而言之,以下就是為什么你應(yīng)該學習這種查詢語言:
·???????? 即使對于新手來說,SQL也很容易學習。學習曲線很平緩,編寫SQ查詢幾乎不花費時間。
·???????? SQL遵循“學習一次,隨時隨地可用”的原則,所以花費時間學習SQL很劃算!
·???????? SQL是對編程語言的一種極好的補充;在某些情況下,編寫查詢甚至比編寫代碼更為優(yōu)先!
·???????? ...
SQL處理和查詢執(zhí)行
為了提高SQL查詢的性能,首先需要知道,運行查詢時,內(nèi)部會發(fā)生什么。
以下時查詢執(zhí)行的過程:
·???????? 首先,將查詢解析成“解析樹”;?分析查詢是否滿足語法和語義要求。解析器將會創(chuàng)建一個輸入查詢的內(nèi)部表示,然后將此輸出傳遞給重寫引擎。
·???????? 然后,優(yōu)化器的任務(wù)是為給定的查詢,尋找最佳執(zhí)行或查詢計劃。執(zhí)行計劃準確地定義了每個操作所使用的算法,以及如何協(xié)調(diào)操作的執(zhí)行。
·???????? 最后,為了找到最佳的執(zhí)行計劃,優(yōu)化器會列舉所有可能的執(zhí)行計劃,并確定每個計劃的質(zhì)量或成本,以便獲取有關(guān)當前數(shù)據(jù)庫狀態(tài)的信息,最后選擇最佳的執(zhí)行計劃。由于查詢優(yōu)化器可能不完善,因此數(shù)據(jù)庫用戶和管理員有時需要手動檢查并調(diào)整優(yōu)化器生成的計劃,以便獲得更好的性能。
現(xiàn)在你已經(jīng)清楚了什么才是好的執(zhí)行計劃。
正如前面了解到的,計劃的成本質(zhì)量起著重要的作用。更具體地說,評估計劃所需的磁盤I / O數(shù)量,計劃的CPU花銷以及數(shù)據(jù)庫客戶端的整體響應(yīng)時間和總執(zhí)行時間等因素至關(guān)重要。這就是時間復(fù)雜性的概念。后面還將繼續(xù)了解。
接下來,執(zhí)行所選擇的查詢計劃,由系統(tǒng)的執(zhí)行引擎進行評估,并返回查詢結(jié)果。
編寫SQL查詢
需要進一步說明的是,垃圾回收原則(GIGO)原本就是表達在查詢處理和執(zhí)行之中:制定查詢的人,同時也決定著SQL查詢的性能。
這意味著在編寫查詢,有些事情可以同步去做。就像文章開始時介紹的,編寫查詢需要遵循兩個標準:首先,編寫的查詢需要滿足一定的標準,其次還應(yīng)該應(yīng)對查詢中可以出現(xiàn)的性能問題。
總的來說,有四個分句和關(guān)鍵字,方便新手考慮性能問題:
·???????? WHERE?分句
·???????? INNER JOIN?和?LEFT JOIN?關(guān)鍵字
·???????? HAVING?分句
雖然這種做法簡單而天真,但對于一個初學者來說,這些方法卻是一個很好的指引。這些地方也是你剛開始編寫時,容易發(fā)生錯誤的地方,這些錯誤也很難發(fā)現(xiàn)。
同時,要想提升性能,使其變得有意義,就不能脫離上下文:在考慮SQL性能時,不能武斷的認為上面的分句和關(guān)鍵字不好。使用WHERE?或?HAVING的分句也可能是很好的查詢語句。
通過下面的章節(jié)來來進一步了解編寫查詢時反向模型和代替方法,并將這些提示和技巧作為指導(dǎo)。如何重寫查詢和是否需要重寫查詢?nèi)Q于數(shù)據(jù)量,以及數(shù)據(jù)庫和執(zhí)行查詢所需的次數(shù)等。這完全取決于你的查詢目標,事先掌握一些有關(guān)數(shù)據(jù)的知識是非常重要的!
1. 僅檢索你需要的數(shù)據(jù)
在編寫SQL查詢時,并不是數(shù)據(jù)越多越好。因此在使用SELECT?語句、DISTINCT分句和LIKE操作符時,需要謹慎。
SELECT聲明
在編寫完查詢語句之后,首先需要做的事情就是檢查select語句是否簡潔。你的目標應(yīng)該是刪除不必要的select列。以便只取到符合你查詢目的的數(shù)據(jù)。
如果還有相關(guān)使用exists的子查詢,那么就應(yīng)該在select語句中使用常量,而不是選擇實際列的值。當檢查實體時,這是特別方便的。
請記住,相關(guān)子查詢是使用外部查詢中的值的子查詢,并且在這種情況下,NULL是可以作為“常量”的,這點確實令人困惑!
通過以下示例,可以了解使用常量的含義:
SELECT driverslicensenr, name FROM Drivers WHERE EXISTS (SELECT '1' FROM Fines WHERE fines.driverslicensenr = drivers.driverslicensenr);
提示:我們很容易發(fā)現(xiàn),使用相關(guān)子查詢并不總是一個好主意,所以可以考慮通過以下方式避免使用相關(guān)子查詢,例如使用?INNER JOIN重寫:
SELECT driverslicensenr, name FROM drivers INNER JOIN fines ON fines.driverslicensenr = drivers.driverslicensenr;
DISTINCT分句
SELECT DISTINCT?語句用于返回不同的值。?DISTINCT?是一個分句,能不用盡量不用,因為如果將DISTINCT添加到查詢語句中,會導(dǎo)致執(zhí)行時間的增加?。
LIKE運算符
在查詢中使用LIKE運算符時,如果模式是以%?或_開始,則不會使用索引。它將阻止數(shù)據(jù)庫使用索引(如果存在的話)。當然,從另一個角度來看,你也可以認為,這種類型的查詢可能會放寬條件,會檢索到許多不一定滿足查詢目標的記錄。
另外,你對存儲在數(shù)據(jù)中數(shù)據(jù)的了解,可以幫助你制定一個模式,使用該模式可以對所有數(shù)據(jù)進行正確的過濾,以便查找到你最想要的數(shù)據(jù)。
2. 縮小查詢結(jié)果
如果無法避免使用?SELECT語句時,可以考慮通過其它方式縮小查詢結(jié)果。例如,使用LIMIT?分句和數(shù)據(jù)類型轉(zhuǎn)換的方法。
TOP,LIMIT和ROWNUM分句
可以在查詢中添加LIMIT或TOP分句,來設(shè)置查詢結(jié)果的最大行數(shù)。下面是一個示例:
SELECT TOP 3 * FROM Drivers;
請注意,你可以進一步指定PERCENT。
例如,如果你想更改查詢的第一行??SELECT TOP 50 PERCENT *。
SELECT driverslicensenr, name FROM Drivers
LIMIT 2;
此外,你還可以添加ROWNUM?分句,相應(yīng)于在查詢中使用的LIMIT:
SELECT * FROM Drivers WHERE driverslicensenr = 123456 AND ROWNUM <= 3;
數(shù)據(jù)類型轉(zhuǎn)換
應(yīng)該使用最小的數(shù)據(jù)類型,因為小的數(shù)據(jù)類型更加有效。
當查詢中需要進行數(shù)據(jù)類型轉(zhuǎn)化,會增加執(zhí)行時間,所以盡可能的避免數(shù)據(jù)類型轉(zhuǎn)換的發(fā)生;
如果不能避免的話,需要謹慎的定義數(shù)據(jù)類型的轉(zhuǎn)換。
本文是本系列教程的第一篇,后續(xù)還有更多《如何編寫更好的SQL查詢》的文章分享給大家,敬請期待。
版權(quán)聲明:本文內(nèi)容由網(wǎng)絡(luò)用戶投稿,版權(quán)歸原作者所有,本站不擁有其著作權(quán),亦不承擔相應(yīng)法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容,請聯(lián)系我們jiasou666@gmail.com 處理,核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。
版權(quán)聲明:本文內(nèi)容由網(wǎng)絡(luò)用戶投稿,版權(quán)歸原作者所有,本站不擁有其著作權(quán),亦不承擔相應(yīng)法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容,請聯(lián)系我們jiasou666@gmail.com 處理,核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。