MathJax

重要公告

本區所有圖表皆為本人所有,請勿使用在任何公開教學場合!
歡迎轉載本區所有文章,但請註明資料來源。

2015年5月31日 星期日

大數據人才培訓方向

2015年大數據的人才需求看似都是工程師類,實際真實狀況卻是,工程師可以找到,寫程式也沒問題,但是資料怎麼分析卻沒有人可以分析。如果說財經資料最龐大,華爾街早已經使用大數據分析財經走勢,那麼這肯定也是金融海嘯後的事情了。

大數據需要的技能可分為四類:

  • 資料分析(data analysis)
  • 資料取得(data acquisition)
  • 資料探勘(data mining)
  • 資料結構(data structures)

最根本的問題還是在於

  • 大數據怎麼定序?
  • 大數據該怎麼分析?

當上面兩個問題解決了,那麼軟體才可以著手進行撰寫。根據大數據定序方法,將其以母體方式討論,只有對與錯的分別,沒有任何的模糊地帶,這才是大數據告訴我們的真相。於是公司的營收與背後的製程將成為隨機變數與機率分配,透過資料形成的機率分配進行測定,了解各隨機變數之間的因果關係,從而為公司提供最佳的決策意見,甚至公司可能發生的問題也可從中發現。

不過有趣的是,無論是Cisco、IBM、Oracle與各自的供應商、合作夥伴或供應鏈的公司群都增加對大數據的人才需求,唯有IBM反而是減少。
資料來源:富比世雜誌

其實這是因為IBM走行銷而非研發,更進一步來說,IBM並沒有需要大數據分析人才。
有意思的點是IBM的廣告多是提供顧問服務,若顧問服務不需要分析,那麼IBM就沒有需要大數據分析人才。

但是,大數據代表公司的所有資料,IBM不需要公司的所有資料就能夠分析出公司所有完整狀況,提供公司顧問服務,這顯得有點矛盾。

因此,可以知道IBM只走行銷路線!
缺少大數據分析的顧問服務,對IBM將是很大的衝擊!

另外一點就是美國的幾家大公司都認為大數據人才需求必須具備的技能都是電腦程式,不過,電腦程式工程師是否也是統計專家或財經專家,這有待商榷。

所以大數據人才培訓的方向,除了程式工程師外,更重要的是基礎的研究人才:分析人員!
大數據分析師將是成為主要的人才之一,偏偏都缺少了這樣的人才培訓。

問題在於人員看到大數據,但沒有軟體可以分析,想要讓軟體出現,又需要人員對資料定序,定序的原則須符合統計原則,就像雞生蛋、蛋生雞的問題一樣。

即便如此,分析人員在沒有大數據可以分析下,可以透過適度大的數據資料,經由分析之報表,練習如何解讀公司現況或是金融現況,從而推導出未來可能發生狀況或走勢,進而訂出策略。