研究生數(shù)據(jù)挖掘?qū)W什么 數(shù)據(jù)挖掘的研究生方向

研究生人工智能與數(shù)據(jù)挖掘方向需要學什么語言嗎？比如java或者c++之類？請問你是數(shù)據(jù)挖掘的研究生？數(shù)據(jù)挖掘研究生階段都學什么？數(shù)據(jù)分析中的數(shù)據(jù)挖掘側(cè)重學習什么？

本文導航

• 數(shù)據(jù)挖掘的研究生方向
• 數(shù)據(jù)挖掘及應用主要學什么
• 數(shù)據(jù)挖掘基礎知識有哪些

數(shù)據(jù)挖掘的研究生方向

我研究生是數(shù)據(jù)挖掘的方向 人工智能主要是學一些理論知識 因為人工智能能在任何一個計算機方向上得到運用 所以老師并沒有指定一門語言 而是希望我們在自己的方向上用上這些知識

數(shù)據(jù)庫挖掘的話 我們導師是要求我們看下java sql還有sqlserver 畢竟研究生階段還是要幫老師做項目的 我們這都用java做的項目 并且很多課程都是建議我們用java編程實現(xiàn) 所以學點java還是有好處的

數(shù)據(jù)挖掘及應用主要學什么

　　數(shù)據(jù)挖掘(Data Mining)就是從大量數(shù)據(jù)中發(fā)現(xiàn)潛在規(guī)律、提取有用知識的方法和技術。因為與數(shù)據(jù)庫密切相關，又稱為數(shù)據(jù)庫知識發(fā)現(xiàn)(Knowledge Discovery in Databases，KDD) ，就是將高級智能計算技術應用于大量數(shù)據(jù)中，讓計算機在有人或無人指導的情況下從海量數(shù)據(jù)中發(fā)現(xiàn)潛在的，有用的模式(也叫知識)。

　　廣義上說，任何從數(shù)據(jù)庫中挖掘信息的過程都叫做數(shù)據(jù)挖掘。從這點看來，數(shù)據(jù)挖掘就是BI（商業(yè)智能）。但從技術術語上說，數(shù)據(jù)挖掘(Data Mining)特指的是：源數(shù)據(jù)經(jīng)過清洗和轉(zhuǎn)換等成為適合于挖掘的數(shù)據(jù)集。數(shù)據(jù)挖掘在這種具有固定形式的數(shù)據(jù)集上完成知識的提煉，最后以合適的知識模式用于進一步分析決策工作。從這種狹義的觀點上，我們可以定義：數(shù)據(jù)挖掘是從特定形式的數(shù)據(jù)集中提煉知識的過程。數(shù)據(jù)挖掘往往針對特定的數(shù)據(jù)、特定的問題，選擇一種或者多種挖掘算法，找到數(shù)據(jù)下面隱藏的規(guī)律，這些規(guī)律往往被用來預測、支持決策。

數(shù)據(jù)挖掘的主要功能

　　1．　分類：按照分析對象的屬性、特征，建立不同的組類來描述事物。例如：銀行部門根據(jù)以前的數(shù)據(jù)將客戶分成了不同的類別，現(xiàn)在就可以根據(jù)這些來區(qū)分新申請貸款的客戶，以采取相應的貸款方案。

　　2．　聚類：識別出分析對內(nèi)在的規(guī)則，按照這些規(guī)則把對象分成若干類。例如：將申請人分為高度風險申請者，中度風險申請者，低度風險申請者。

　　3．　關聯(lián)規(guī)則和序列模式的發(fā)現(xiàn)：關聯(lián)是某種事物發(fā)生時其他事物會發(fā)生的這樣一種聯(lián)系。例如：每天購買啤酒的人也有可能購買香煙，比重有多大，可以通過關聯(lián)的支持度和可信度來描述。與關聯(lián)不同，序列是一種縱向的聯(lián)系。例如：今天銀行調(diào)整利率，明天股市的變化。

　　4．　預測：把握分析對象發(fā)展的規(guī)律，對未來的趨勢做出預見。例如：對未來經(jīng)濟發(fā)展的判斷。

　　5．　偏差的檢測：對分析對象的少數(shù)的、極端的特例的描述，揭示內(nèi)在的原因。例如：在銀行的100萬筆交易中有500例的欺詐行為，銀行為了穩(wěn)健經(jīng)營，就要發(fā)現(xiàn)這500例的內(nèi)在因素，減小以后經(jīng)營的風險。

　　需要注意的是：數(shù)據(jù)挖掘的各項功能不是獨立存在的，在數(shù)據(jù)挖掘中互相聯(lián)系，發(fā)揮作用。

數(shù)據(jù)挖掘的方法及工具

　　作為一門處理數(shù)據(jù)的新興技術，數(shù)據(jù)挖掘有許多的新特征。首先，數(shù)據(jù)挖掘面對的是海量的數(shù)據(jù)，這也是數(shù)據(jù)挖掘產(chǎn)生的原因。其次，數(shù)據(jù)可能是不完全的、有噪聲的、隨機的，有復雜的數(shù)據(jù)結(jié)構，維數(shù)大。最后，數(shù)據(jù)挖掘是許多學科的交叉，運用了統(tǒng)計學，計算機，數(shù)學等學科的技術。以下是常見和應用最廣泛的算法和模型：

　　(1) 傳統(tǒng)統(tǒng)計方法：① 抽樣技術：我們面對的是大量的數(shù)據(jù)，對所有的數(shù)據(jù)進行分析是不可能的也是沒有必要的，就要在理論的指導下進行合理的抽樣。② 多元統(tǒng)計分析：因子分析，聚類分析等。③ 統(tǒng)計預測方法，如回歸分析，時間序列分析等。

　　(2) 可視化技術：用圖表等方式把數(shù)據(jù)特征用直觀地表述出來，如直方圖等，這其中運用的許多描述統(tǒng)計的方法?？梢暬夹g面對的一個難題是高維數(shù)據(jù)的可視化。

職業(yè)能力要求

基本能力要求

　　數(shù)據(jù)挖掘人員需具備以下基本條件，才可以完成數(shù)據(jù)挖掘項目中的相關任務。

　　一、專業(yè)技能

　　碩士以上學歷，數(shù)據(jù)挖掘、統(tǒng)計學、數(shù)據(jù)庫相關專業(yè)，熟練掌握關系數(shù)據(jù)庫技術，具有數(shù)據(jù)庫系統(tǒng)開發(fā)經(jīng)驗

　　熟練掌握常用的數(shù)據(jù)挖掘算法

　　具備數(shù)理統(tǒng)計理論基礎，并熟悉常用的統(tǒng)計工具軟件

　　二、行業(yè)知識

　　具有相關的行業(yè)知識，或者能夠很快熟悉相關的行業(yè)知識

　　三、合作精神

　　具有良好的團隊合作精神，能夠主動和項目中其他成員緊密合作

　　四、客戶關系能力

　　具有良好的客戶溝通能力，能夠明確闡述數(shù)據(jù)挖掘項目的重點和難點，善于調(diào)整客戶對數(shù)據(jù)挖掘的誤解和過高期望

　　具有良好的知識轉(zhuǎn)移能力，能夠盡快地讓模型維護人員了解并掌握數(shù)據(jù)挖掘方法論及建模實施能力

進階能力要求

　　數(shù)據(jù)挖掘人員具備如下條件，可以提高數(shù)據(jù)挖掘項目的實施效率，縮短項目周期。

　　具有數(shù)據(jù)倉庫項目實施經(jīng)驗，熟悉數(shù)據(jù)倉庫技術及方法論

　　熟練掌握SQL語言，包括復雜查詢、性能調(diào)優(yōu)

　　熟練掌握ETL開發(fā)工具和技術

　　熟練掌握Microsoft Office軟件，包括Excel和PowerPoint中的各種統(tǒng)計圖形技術

　　善于將挖掘結(jié)果和客戶的業(yè)務管理相結(jié)合，根據(jù)數(shù)據(jù)挖掘的成果向客戶提供有價值的可行性操作方案

應用及就業(yè)領域

　　當前數(shù)據(jù)挖掘應用主要集中在電信(客戶分析)，零售(銷售預測)，農(nóng)業(yè)(行業(yè)數(shù)據(jù)預測)，網(wǎng)絡日志(網(wǎng)頁定制)，銀行(客戶欺詐),電力(客戶呼叫)，生物(基因)，天體(星體分類)，化工，醫(yī)藥等方面。當前它能解決的問題典型在于：數(shù)據(jù)庫營銷(Database Marketing)、客戶群體劃分(Customer Segmentation & Classification)、背景分析(Profile Analysis)、交叉銷售(Cross-selling)等市場分析行為，以及客戶流失性分析(Churn Analysis)、客戶信用記分(Credit Scoring)、欺詐發(fā)現(xiàn)(Fraud Detection)等等，在許多領域得到了成功的應用。如果你訪問著名的亞馬遜網(wǎng)上書店(www.amazon.com)，會發(fā)現(xiàn)當你選中一本書后，會出現(xiàn)相關的推薦數(shù)目“Customers who bought this book also bought”，這背后就是數(shù)據(jù)挖掘技術在發(fā)揮作用。

　　數(shù)據(jù)挖掘的對象是某一專業(yè)領域中積累的數(shù)據(jù)；挖掘過程是一個人機交互、多次反復的過程；挖掘的結(jié)果要應用于該專業(yè)。因此數(shù)據(jù)挖掘的整個過程都離不開應用領域的專業(yè)知識。“Business First, technique second”是數(shù)據(jù)挖掘的特點。因此學習數(shù)據(jù)挖掘不意味著丟棄原有專業(yè)知識和經(jīng)驗。相反，有其它行業(yè)背景是從事數(shù)據(jù)挖掘的一大優(yōu)勢。如有銷售，財務，機械，制造，call center等工作經(jīng)驗的,通過學習數(shù)據(jù)挖掘，可以提升個人職業(yè)層次，在不改變原專業(yè)的情況下，從原來的事務型角色向分析型角色轉(zhuǎn)變。從80年代末的初露頭角到90年代末的廣泛應用，以數(shù)據(jù)挖掘為核心的商業(yè)智能(BI)已經(jīng)成為IT及其它行業(yè)中的一個新寵。

數(shù)據(jù)采集分析專員

　　職位介紹：數(shù)據(jù)采集分析專員的主要職責是把公司運營的數(shù)據(jù)收集起來，再從中挖掘出規(guī)律性的信息來指導公司的戰(zhàn)略方向。這個職位常被忽略，但相當重要。由于數(shù)據(jù)庫技術最先出現(xiàn)于計算機領域，同時計算機數(shù)據(jù)庫具有海量存儲、查找迅速、分析半自動化等特點，數(shù)據(jù)采集分析專員最先出現(xiàn)于計算機行業(yè)，后來隨著計算機應用的普及擴展到了各個行業(yè)。該職位一般提供給懂數(shù)據(jù)庫應用和具有一定統(tǒng)計分析能力的人。有計算機特長的統(tǒng)計專業(yè)人員，或?qū)W過數(shù)據(jù)挖掘的計算機專業(yè)人員都可以勝任此工作，不過最好能夠?qū)λ谛袠I(yè)的市場情況具有一定的了解。

　　求職建議：由于很多公司追求短期利益而不注重長期戰(zhàn)略的現(xiàn)狀，目前國內(nèi)很多企業(yè)對此職位的重視程度不夠。但大型公司、外企對此職位的重視程度較高，隨著時間的推移該職位會有升溫的趨勢。另外，數(shù)據(jù)采集分析專員很容易獲得行業(yè)經(jīng)驗，他們在分析過程中能夠很輕易地把握該行業(yè)的市場情況、客戶習慣、渠道分布等關鍵情況，因此如果想在某行創(chuàng)業(yè)，從數(shù)據(jù)采集分析專員干起是一個不錯的選擇。

市場/數(shù)據(jù)分析師

　　1. 市場數(shù)據(jù)分析是現(xiàn)代市場營銷科學必不可少的關鍵環(huán)節(jié): Marketing/Data Analyst從業(yè)最多的行業(yè): Direct Marketing (直接面向客戶的市場營銷) 吧，自90年代以來, Direct Marketing越來越成為公司推銷其產(chǎn)品的主要手段。根據(jù)加拿大市場營銷組織(Canadian Marketing Association)的統(tǒng)計數(shù)據(jù): 僅1999年一年 Direct Marketing就創(chuàng)造了470000 個工作機會。從1999至2000，工作職位又增加了30000個。為什么Direct Marketing需要這么多Analyst呢? 舉個例子, 隨著商業(yè)競爭日益加劇，公司希望能最大限度的從廣告中得到銷售回報, 他們希望能有更多的用戶來響應他們的廣告。所以他們就必需要在投放廣告之前做大量的市場分析工作。例如，根據(jù)自己的產(chǎn)品結(jié)合目標市場顧客的家庭收入，教育背景和消費趨向分析出哪些地區(qū)的住戶或居民最有可能響應公司的銷售廣告，購買自己的產(chǎn)品或成為客戶，從而廣告只針對這些特定的客戶群。這樣有的放矢的篩選廣告的投放市場既節(jié)省開銷又提高了銷售回報率。但是所有的這些分析都是基于數(shù)據(jù)庫，通過數(shù)據(jù)處理，挖掘，建模得出的，其間，市場分析師的工作是必不可少的。

　　2. 行業(yè)適應性強: 幾乎所有的行業(yè)都會應用到數(shù)據(jù), 所以作為一名數(shù)據(jù)/市場分析師不僅僅可以在華人傳統(tǒng)的IT行業(yè)就業(yè)，也可以在政府，銀行，零售，醫(yī)藥業(yè)，制造業(yè)和交通傳輸?shù)阮I域服務。

現(xiàn)狀與前景

　　數(shù)據(jù)挖掘是適應信息社會從海量的數(shù)據(jù)庫中提取信息的需要而產(chǎn)生的新學科。它是統(tǒng)計學、機器學習、數(shù)據(jù)庫、模式識別、人工智能等學科的交叉。在中國各重點院校中都已經(jīng)開了數(shù)據(jù)挖掘的課程或研究課題。比較著名的有中科院計算所、復旦大學、清華大學等。另外，政府機構和大型企業(yè)也開始重視這個領域。

　　據(jù)IDC對歐洲和北美62家采用了商務智能技術的企業(yè)的調(diào)查分析發(fā)現(xiàn)，這些企業(yè)的3年平均投資回報率為401%，其中25%的企業(yè)的投資回報率超過600%。調(diào)查結(jié)果還顯示，一個企業(yè)要想在復雜的環(huán)境中獲得成功，高層管理者必須能夠控制極其復雜的商業(yè)結(jié)構，若沒有詳實的事實和數(shù)據(jù)支持，是很難辦到的。因此，隨著數(shù)據(jù)挖掘技術的不斷改進和日益成熟，它必將被更多的用戶采用，使更多的管理者得到更多的商務智能。

　　根據(jù)IDC(International Data Corporation)預測說2004年估計BI行業(yè)市場在140億美元?，F(xiàn)在，隨著我國加入WTO，我國在許多領域，如金融、保險等領域?qū)⒅鸩綄ν忾_放，這就意味著許多企業(yè)將面臨來自國際大型跨國公司的巨大競爭壓力。國外發(fā)達國家各種企業(yè)采用商務智能的水平已經(jīng)遠遠超過了我國。美國Palo Alto 管理集團公司1999年對歐洲、北美和日本375家大中型企業(yè)的商務智能技術的采用情況進行了調(diào)查。結(jié)果顯示，在金融領域，商務智能技術的應用水平已經(jīng)達到或接近70%，在營銷領域也達到50%，并且在未來的3年中，各個應用領域?qū)υ摷夹g的采納水平都將提高約50%。

　　現(xiàn)在，許多企業(yè)都把數(shù)據(jù)看成寶貴的財富，紛紛利用商務智能發(fā)現(xiàn)其中隱藏的信息，借此獲得巨額的回報。國內(nèi)暫時還沒有官方關于數(shù)據(jù)挖掘行業(yè)本身的市場統(tǒng)計分析報告，但是國內(nèi)數(shù)據(jù)挖掘在各個行業(yè)都有一定的研究。據(jù)國外專家預測，在今后的5—10年內(nèi)，隨著數(shù)據(jù)量的日益積累以及計算機的廣泛應用，數(shù)據(jù)挖掘?qū)⒃谥袊纬梢粋€產(chǎn)業(yè)。

　　眾所周知，IT就業(yè)市場競爭已經(jīng)相當激烈，而數(shù)據(jù)處理的核心技術---數(shù)據(jù)挖掘更是得到了前所未有的重視。數(shù)據(jù)挖掘和商業(yè)智能技術位于整個企業(yè)IT-業(yè)務構架的金字塔塔尖，目前國內(nèi)數(shù)據(jù)挖掘?qū)I(yè)的人才培養(yǎng)體系尚不健全，人才市場上精通數(shù)據(jù)挖掘技術、商業(yè)智能的供應量極小，而另一方面企業(yè)、政府機構和和科研單位對此類人才的潛在需求量極大，供需缺口極大。如果能將數(shù)據(jù)挖掘技術與個人已有專業(yè)知識相結(jié)合，您必將開辟職業(yè)生涯的新天地！

職業(yè)薪酬

　　就目前來看，和大多IT業(yè)的職位一樣，數(shù)據(jù)倉庫和數(shù)據(jù)挖掘方面的人才在國內(nèi)的需求工作也是低端飽和，高端緊缺，在二線成熟，高端數(shù)據(jù)倉庫和數(shù)據(jù)挖掘方面的人才尤其稀少。高端數(shù)據(jù)倉庫和數(shù)據(jù)挖掘人才需要熟悉多個行業(yè)，至少有3年以上大型DWH和BI經(jīng)驗，英語讀寫流利，具有項目推動能力，這樣的人才年薪能達到20萬以上。

職業(yè)認證

　　1、SAS認證的應用行業(yè)及職業(yè)前景

SAS全球?qū)I(yè)認證是國際上公認的數(shù)據(jù)挖掘和商業(yè)智能領域的權威認證，隨著我國IT環(huán)境和應用的日漸成熟，以上兩個領域?qū)⒂袠O大的行業(yè)發(fā)展空間。獲取SAS全球?qū)I(yè)認證，為您在數(shù)據(jù)挖掘、分析方法論領域積累豐富經(jīng)驗奠定良好的基礎，幫助您開辟職業(yè)發(fā)展的新天地。

　　2、SAS認證的有效期

　　目前SAS五級認證沒有特定有效期，但是時間太久或版本太老的認證證書會有所貶值。

　　3、五級認證的關系

　　五級認證為遞進式關系，即只有通過上一級考試科目才能參加下一級認證考試。

　　4、SAS全球認證的考試方式

　　考試為上機考試，時間2個小時，共70道客觀題。

相關鏈接

　　隨著中國物流行業(yè)的整體快速發(fā)展，物流信息化建設也取得一定進展。無論在IT硬件市場、軟件市場還是信息服務市場，物流行業(yè)都具有了一定的投資規(guī)模，近兩年的總投資額均在20-30億元之間。政府對現(xiàn)代物流業(yè)發(fā)展的積極支持、物流市場競爭的加劇等因素有力地促進了物流信息化建設的穩(wěn)步發(fā)展。

　　易觀國際最新報告《中國物流行業(yè)信息化年度綜合報告2006》中指出，中國物流業(yè)正在從傳統(tǒng)模式向現(xiàn)代模式實現(xiàn)整體轉(zhuǎn)變，現(xiàn)代物流模式將引導物流業(yè)信息化需求，而產(chǎn)生這種轉(zhuǎn)變的基本動力來自市場需求。報告中的數(shù)據(jù)顯示:2006-2010年，傳統(tǒng)物流企業(yè)IT投入規(guī)模將累計超過100億元人民幣。2006-2010年，第三方物流企業(yè)IT投入規(guī)模將累計超過20億元人民幣。

　　由于目前行業(yè)應用軟件系統(tǒng)在作業(yè)層面對終端設備的硬件提出的應用要求較高，而軟件與硬件的集成性普遍不理想，對應性單一，因此企業(yè)將對軟件硬件設備的集成提出更高要求。

　　物流行業(yè)軟件系統(tǒng)研發(fā)將更多的考慮運籌學與數(shù)據(jù)挖掘技術，專業(yè)的服務商將更有利于幫助解決研發(fā)問題。

　　物流科學的理論基礎來源于運籌學，并且非常強調(diào)在繁雜的數(shù)據(jù)處理中找到關聯(lián)關系(基于成本-服務水平體系)，因此數(shù)據(jù)挖掘技術對于相關的軟件系統(tǒng)顯得更為重。

數(shù)據(jù)挖掘基礎知識有哪些

數(shù)據(jù)挖掘這項工作十分有前景，同時在薪資方面也十分出色。下面是學習數(shù)據(jù)挖掘需要側(cè)重的知識點。
1.統(tǒng)計知識
在做數(shù)據(jù)分析，統(tǒng)計的知識肯定是需要的， Excel、SPSS、R等是需要掌握的基本技能。如果我們做數(shù)據(jù)挖掘的話，就要重視數(shù)學知識，數(shù)據(jù)挖掘要從海量數(shù)據(jù)中發(fā)現(xiàn)規(guī)律，這就需要一定的數(shù)學知識，最基本的比如線性代數(shù)、高等代數(shù)、凸優(yōu)化、概率論等。
2.概率知識
而樸素貝葉斯算法需要概率方面的知識， SKM算法需要高等代數(shù)或者區(qū)間論方面的知識。當然，我們可以直接套模型，R、P ython這些工具有現(xiàn)成的算法包，可以直接套用。但如果我們想深入學習這些算法，最好去學習一些數(shù)學知識，也會讓我們以后的路走得更順暢。我們經(jīng)常會用到的語言包括Python、Java、C或者C++。
3.數(shù)據(jù)挖掘的數(shù)據(jù)類型
那么可以挖掘的數(shù)據(jù)類型都有什么呢?關系數(shù)據(jù)庫、數(shù)據(jù)倉庫、事務數(shù)據(jù)庫、空間數(shù)據(jù)庫、時間序列數(shù)據(jù)庫、文本數(shù)據(jù)庫和多媒體數(shù)據(jù)庫。
4.數(shù)據(jù)倉庫
數(shù)據(jù)倉庫就是通過數(shù)據(jù)清理、數(shù)據(jù)變換、數(shù)據(jù)集成、數(shù)據(jù)裝入和定期數(shù)據(jù)刷新構造。

關于大數(shù)據(jù)挖掘工程師的課程，推薦CDA數(shù)據(jù)分析師的相關課程，課程內(nèi)容兼顧培養(yǎng)解決數(shù)據(jù)挖掘流程問題的橫向能力以及解決數(shù)據(jù)挖掘算法問題的縱向能力。要求學生具備從數(shù)據(jù)治理根源出發(fā)的思維，通過數(shù)字化工作方法來探查業(yè)務問題，通過近因分析、宏觀根因分析等手段，再選擇業(yè)務流程優(yōu)化工具還是算法工具，而非“遇到問題調(diào)算法包”。點擊預約免費試聽課。