以下試題是來自阿里巴巴2011年招募實(shí)習(xí)生的一次筆試題，從筆試題的幾個(gè)要求我們一起來看看數(shù)據(jù)分析的職業(yè)要求。

　　一、異常值是指什么?請列舉1種識別連續(xù)型變量異常值的方法?

　　異常值(Outlier) 是指樣本中的個(gè)別值，其數(shù)值明顯偏離所屬樣本的其余觀測值。在數(shù)理統(tǒng)計(jì)里一般是指一組觀測值中與平均值的偏差超過兩倍標(biāo)準(zhǔn)差的測定值。

　　Grubbs’ test(是以Frank E. Grubbs命名的)，又叫maximum normed residual test，是一種用于單變量數(shù)據(jù)集異常值識別的統(tǒng)計(jì)檢測，它假定數(shù)據(jù)集來自正態(tài)分布的總體。

　　未知總體標(biāo)準(zhǔn)差σ，在五種檢驗(yàn)法中，優(yōu)劣次序?yàn)椋簍檢驗(yàn)法、格拉布斯檢驗(yàn)法、峰度檢驗(yàn)法、狄克遜檢驗(yàn)法、偏度檢驗(yàn)法。

　　點(diǎn)評：考察的內(nèi)容是統(tǒng)計(jì)學(xué)基礎(chǔ)功底。

　　二、什么是聚類分析?聚類算法有哪幾種?請選擇一種詳細(xì)描述其計(jì)算原理和步驟。

　　聚類分析(cluster analysis)是一組將研究對象分為相對同質(zhì)的群組(clusters)的統(tǒng)計(jì)分析技術(shù)。 聚類分析也叫分類分析(classification analysis)或數(shù)值分類(numerical taxonomy)。聚類與分類的不同在于，聚類所要求劃分的類是未知的。

　　聚類分析計(jì)算方法主要有： 層次的方法(hierarchical method)、劃分方法(partitioning method)、基于密度的方法(density-based method)、基于網(wǎng)格的方法(grid-based method)、基于模型的方法(model-based method)等。其中，前兩種算法是利用統(tǒng)計(jì)學(xué)定義的距離進(jìn)行度量。

　　k-means 算法的工作過程說明如下：首先從n個(gè)數(shù)據(jù)對象任意選擇 k 個(gè)對象作為初始聚類中心;而對于所剩下其它對象，則根據(jù)它們與這些聚類中心的相似度(距離)，分別將它們分配給與其最相似的(聚類中心所代表的)聚類;然 后再計(jì)算每個(gè)所獲新聚類的聚類中心(該聚類中所有對象的均值);不斷重復(fù)這一過程直到標(biāo)準(zhǔn)測度函數(shù)開始收斂為止。一般都采用均方差作為標(biāo)準(zhǔn)測度函數(shù). k個(gè)聚類具有以下特點(diǎn)：各聚類本身盡可能的緊湊，而各聚類之間盡可能的分開。

　　其流程如下：

　　(1)從 n個(gè)數(shù)據(jù)對象任意選擇 k 個(gè)對象作為初始聚類中心;

　　(2)根據(jù)每個(gè)聚類對象的均值(中心對象)，計(jì)算每個(gè)對象與這些中心對象的距離;并根據(jù)最小距離重新對相應(yīng)對象進(jìn)行劃分;

　　(3)重新計(jì)算每個(gè)(有變化)聚類的均值(中心對象);

　　(4)循環(huán)(2)、(3)直到每個(gè)聚類不再發(fā)生變化為止(標(biāo)準(zhǔn)測量函數(shù)收斂)。

　　優(yōu)點(diǎn)：本算法確定的K 個(gè)劃分到達(dá)平方誤差最小。當(dāng)聚類是密集的，且類與類之間區(qū)別明顯時(shí)，效果較好。對于處理大數(shù)據(jù)集，這個(gè)算法是相對可伸縮和高效的，計(jì)算的復(fù)雜度為 O(NKt)，其中N是數(shù)據(jù)對象的數(shù)目，t是迭代的次數(shù)。一般來說，K<

　　缺點(diǎn)：1. K 是事先給定的，但非常難以選定;2. 初始聚類中心的選擇對聚類結(jié)果有較大的影響。

　　點(diǎn)評：考察的內(nèi)容是常用數(shù)據(jù)分析方法，做數(shù)據(jù)分析一定要理解數(shù)據(jù)分析算法、應(yīng)用場景、使用過程、以及優(yōu)缺點(diǎn)。

　　三、根據(jù)要求寫出SQL

　　表A結(jié)構(gòu)如下：

　　Member_ID(用戶的ID，字符型)

　　Log_time(用戶訪問頁面時(shí)間，日期型(只有一天的數(shù)據(jù)))

　　URL(訪問的頁面地址，字符型)

　　要求：提取出每個(gè)用戶訪問的第一個(gè)URL(按時(shí)間最早)，形成一個(gè)新表(新表名為B，表結(jié)構(gòu)和表A一致)

　　createtable B asselectMember_ID, min(Log_time), URL from Agroup byMember_ID ;

　　點(diǎn)評：SQL語句，簡單的數(shù)據(jù)獲取能力，包括表查詢、關(guān)聯(lián)、匯總、函數(shù)等。

　　另外，這個(gè)答案其實(shí)是不對的，實(shí)現(xiàn)有很多方法，任由大家去發(fā)揮吧。

　　四、銷售數(shù)據(jù)分析

　　以下是一家B2C電子商務(wù)網(wǎng)站的一周銷售數(shù)據(jù)，該網(wǎng)站主要用戶群是辦公室女性，銷售額主要集中在5種產(chǎn)品上，如果你是這家公司的分析師，

　　a) 從數(shù)據(jù)中，你看到了什么問題?你覺得背后的原因是什么?

　　b) 如果你的老板要求你提出一個(gè)運(yùn)營改進(jìn)計(jì)劃，你會怎么做?

　　表如下：一組每天某網(wǎng)站的銷售數(shù)據(jù)

　　a) 從這一周的數(shù)據(jù)可以看出，周末的銷售額明顯偏低。這其中的原因，可以從兩個(gè)角度來看：站在消費(fèi)者的角度，周末可能不用上班，因而也沒有購買該產(chǎn)品的欲望;站在產(chǎn)品的角度來看，該產(chǎn)品不能在周末的時(shí)候引起消費(fèi)者足夠的注意力。

　　b) 針對該問題背后的兩方面原因，我的運(yùn)營改進(jìn)計(jì)劃也分兩方面：一是，針對消費(fèi)者周末沒有購買欲望的心理，進(jìn)行引導(dǎo)提醒消費(fèi)者周末就應(yīng)該準(zhǔn)備好該產(chǎn)品;二是，通過該產(chǎn)品的一些類似于打折促銷等活動來提升該產(chǎn)品在周末的人氣和購買力。

　　點(diǎn)評：數(shù)據(jù)解讀能力，獲取數(shù)據(jù)是基本功，僅僅有數(shù)據(jù)獲取能力是不夠的，其次是對數(shù)據(jù)的解讀能力。

　　五、用戶調(diào)研

　　某公司針對A、B、C三類客戶，提出了一種統(tǒng)一的改進(jìn)計(jì)劃，用于提升客戶的周消費(fèi)次數(shù)，需要你來制定一個(gè)事前試驗(yàn)方案，來支持決策，請你思考下列問題：

　　a) 試驗(yàn)需要為決策提供什么樣的信息?

　　c) 按照上述目的，請寫出你的數(shù)據(jù)抽樣方法、需要采集的數(shù)據(jù)指標(biāo)項(xiàng)，以及你選擇的統(tǒng)計(jì)方法。

　　a) 試驗(yàn)要能證明該改進(jìn)計(jì)劃能顯著提升A、B、C三類客戶的周消費(fèi)次數(shù)。

　　b) 根據(jù)三類客戶的數(shù)量，采用分層比例抽樣;

　　需要采集的數(shù)據(jù)指標(biāo)項(xiàng)有：客戶類別，改進(jìn)計(jì)劃前周消費(fèi)次數(shù)，改進(jìn)計(jì)劃后周消費(fèi)次數(shù);

　　選用統(tǒng)計(jì)方法為：分別針對A、B、C三類客戶，進(jìn)行改進(jìn)前和后的周消費(fèi)次數(shù)的，兩獨(dú)立樣本T-檢驗(yàn)(two-sample t-test)。

　　點(diǎn)評：業(yè)務(wù)理解能力和數(shù)據(jù)分析思路，這是數(shù)據(jù)分析的核心競爭力。

　　綜上所述：一個(gè)合格的數(shù)據(jù)分析應(yīng)該具備統(tǒng)計(jì)學(xué)基礎(chǔ)知識、數(shù)據(jù)分析方法、數(shù)據(jù)獲取、數(shù)據(jù)解讀和業(yè)務(wù)理解、數(shù)據(jù)分析思想幾個(gè)方面能力，即將成為數(shù)據(jù)分析師的親們，你們準(zhǔn)備好了嗎?