有鑑於大數據對於資訊安全研究的重要性，為近年 Hadoop 生態系統中，最熱門的分析工具莫過於 Spark，有的人認為它會取代 MapReduce，其實不盡然。MapReduce 長年以來，一直都是扮演著 Big Data 中的 ETL 工具，所以企業在實作 Big Data 情境時，應該將「Big Raw Data」交給低成本的 MapReduce 進行「Data Munging」，而將「Data Analysis」的工作交給運用記憶體的 Spark。「Data Munging」是格外重要的，因為在進行「Data Analysis」時，如何產出有用的資訊，端看「Data Quality」，高品質的資料配上合適的演算法，才能得出有意義的答案，而「Data Quality」則取決於「Data Munging」的過程。所以企業在 Hadoop 龐大的生態系統中，不但要選對工具，還要正確地分工與運用，才能真正幫助企業順利的實作 Big Data 情境。

競賽環境

主辦單位提供 Hadoop 系統做為競賽環境，環境中有 Apache Pig、Apache Hive 兩種工具。