本文摘要：趨勢科技創辦人張明正說過：
- 能源和科技是人類社會過去200年來進步的源頭，而現今的「資料」（Data）正是當年的「石油」。
- 過去誰能夠掌握石油，誰就能雄霸一方；未來誰能掌握資料，誰就是世界的老大！
Big Data這麼神奇？！
Big Data有很多中文翻譯：大資料、巨量資料、海量資料...等。個人最喜歡用「大資料」稱之，簡單明瞭！
顧名思義，大資料就是有很多很多的資料(Data)。這些資料，可能沒有結構性，可能表面上看起來沒有任何意義，但是經過整理，分析、卻能萃取出有用的資訊(Information)。
顧名思義，大資料就是有很多很多的資料(Data)。這些資料，可能沒有結構性，可能表面上看起來沒有任何意義，但是經過整理，分析、卻能萃取出有用的資訊(Information)。
資料科學家需要有好的理論基礎 (統計、機率、資料探勘(Data Mining)是必備)，也需要有好的實作能力，熟悉程式語言撰寫(Hadoop)，洞察市場機會，善加利用Big Data帶來的無限商機。
試想看看，以上的工作內容，是否跟金融市場上的操盤手、交易員有雷同之處？觀察圖一，我們來看Big Data的3V特性:
 |
| 圖一： 交易員(Trader) v.s. 資料科學家(Data Scientist) |
Big Data的3V特性：(Volume、Velocity、Variety)
第一個V代表資料的量(Volume)，通常是以TB、PB等級的資料量為基本單位。
大家可能沒聽過PB，知道PB有多大嗎？硬碟容量單位從最初的MB，變成GB (=1024MB)，再成長成TB (=1024TB)，依此類推。1PB = 1024TB 。你可能無法想像有多大，因為日常生活中我們還不需要這樣的單位去計算。
然而，現在的金融市場，無時無刻皆有交易行為發生，無時無刻都在產生新的資料(Data)，要說金融市場是全世界最大的賭場，一點也不為過。
第二個V代表時效性(Velocity)。由於資料量的龐大，資料的存取、讀取將不再跟過去一樣是那麼簡單直接的任務。除了軟體技術、資料探勘演算法的改進，硬體設備也需要有效提升，儲存設備需要借用雲端架構，CPU需要透過平型計算。這些目的都是為了能即時有效處理從大資料中分析出來的有效資訊。
資料的時效性一旦錯過，那就是大家都知道的消息。資訊可能就不具任何價值。
迫切的時效性，在金融交易裡尤其明顯。近幾年來程式交易的興起、高頻交易的普及，許多交易的判斷、下單、平倉都是在瞬間的毫秒內完成。你可能需要多台電腦搭配、開發多個交易演算法，因應各種盤勢的變化。不然，怎麼應付瞬息萬變的金融市場，怎麼處理一秒鐘來來回回上百筆的交易？
專業交易者的操作將不再是憑著感覺、經驗判斷的工作模式。過去成功的交易方式，在未來不一定適用。
資料的時效性一旦錯過，那就是大家都知道的消息。資訊可能就不具任何價值。
迫切的時效性，在金融交易裡尤其明顯。近幾年來程式交易的興起、高頻交易的普及，許多交易的判斷、下單、平倉都是在瞬間的毫秒內完成。你可能需要多台電腦搭配、開發多個交易演算法，因應各種盤勢的變化。不然，怎麼應付瞬息萬變的金融市場，怎麼處理一秒鐘來來回回上百筆的交易？
專業交易者的操作將不再是憑著感覺、經驗判斷的工作模式。過去成功的交易方式，在未來不一定適用。
第三個V代表多樣性(Variety)，指的是資料可能有各種型式：文字、影音、圖像、網頁、串流。
我們觀察過去的金融交易，阿公阿嬤那個時代可能還在用電話下單。在更早之前，甚至是用寫黑板的方式進行交易(美國金融史上的大投機客李佛摩(Jesse Lauriston Livermore)就是從擦黑板小弟幹起) 現在的金融交易，跟過去已經大有不同。資訊科技的進步，除了到號子看盤，在家使用電話下單外，幾乎每家卷商商都有提供看盤軟體、下單軟體，讓投資者在家就可自行使用電腦與網路進行交易。也因此在這個時代，造就了許多在家工作的全職操盤手。
當然，這也許不是一件好事。要全職在家當操盤手，聽起來很酷、很屌，但若經驗不足，很快的也會遭到市場淘汰。
除此之外，有些看盤軟體甚至提供程式交易，讓使用者可以根據自己的交易策略撰寫程式，自動下單。交易，因為資訊科技的進步，已經大大的改變。未來的交易型態，是否會受到Big Data的崛起而有所改變？ 牧清華可以肯定的說：一定會，這是必然的！
運用大資料、結合雲端計算、高頻交易、高頻套利，或許就是未來的交易型態(圖二)。牧清華個人認為，檯面上最符合這些特徵的，當屬James Simons，有機會我們再介紹這位大師的豐功偉業！
 |
| 圖二：過去、現在、未來的金融交易型態與代表人物！ |
如何運用大金融資料？
我們用個大問號的圖示，因為，這是個大栽問? 沒有人有標準答案！
大資料時代的來臨，給了更多人翻身的機會，任何無名小卒，只要掌握資料，能夠萃取分析出有用的資訊，而這資訊是別人所不知的 (所謂的資訊不對稱)，便可從中獲取利潤！
天知道是怎樣的資料對金融交易有所幫助？
就拿金融市場來說，過去傳統的方法，包括了技術面分析與基本面分析。大資料時代的來臨，當然仍可用技術面與基本面作分析。但用的可能不再是基本的K線、KD、RSI、價量...等分析模式。
取而代之的可能是各種籌碼的變化、未平倉的增減、上下幾檔掛單資訊。您可能會覺得奇怪，這些資訊在現在不是也看的到嗎？
是的，沒錯。現在的看盤軟體當然也提供這些資訊。然而，若你的交易策略需要監控全球大戶的籌碼變化、全球各類商品的未平倉增減、全球各類金融商品的掛單資訊，那將不是一兩部個人電腦能夠處理完成的。
甚至，你可能會想要觀察每筆成交搓合秒數的變化、推導出主力背後真正的心思。你可能會想要觀察一個突發事件發生，是什麼樣的產品會先發動攻擊？是股票、是期貨、還是選擇權？一種產品有多個不同的市場(在美國很多這樣的CASE)，是否彼此之間存在著套利價差。以上種種，都是過去需要花很大功夫才能完成的事。未來，因為大資料的處理技術，這一切都將變的有可能！
當然，Big Data的魔力不僅止與此。
更多人用奇怪的分析方式作交易。知名財經節目曾經討論過酸雨指標：酸雨愈酸，台股愈高？也有人分析過台股的漲跌與王建民的輸贏呈現正相關？股市跟天氣有關係？股市跟大聯盟的比賽有關係？這是匪夷所思的！當然，上面只是舉例，或許只是巧合，博君一笑，但天知道是不是這些事件的背後，真有某些原因支持這些看似可笑的判斷標準？
過去用傳統直觀的方法作判斷，未來會有更多新奇古怪的交易方式，任何八竿子打不著的事情，或許做了資料探勘、整理、分析後，你會發現你竟然找到交易的聖杯阿！
牧清華要恭喜看得懂本文的朋友，如果你只是市場上的小人物，恭喜你翻身的機會來了！
未來人人有機會，金融市場比的不一定是誰錢多，而是誰掌握了更多資料，擁有資訊、善加利用、更多的資訊不對稱，造就了百分百獲利的保證！
一個時代的來臨，造就了財富重新分配的機會。
近幾年網路交易的興起，也促成了許多新的交易高手！
大資料是勢在必行的趨勢，是未來的主流，讓我們提早作準備，迎接這個全新的大時代！
