大數據變革在數據本身(車品覺)
大數據公司最大的痛苦是什麼?不是沒有數據,而是有太多數據。各種各樣包括結構性和非結構性的數據從四面八方而來,但哪些有用?如何挑選?才是最難。
有一次,我在美國碰巧遇到谷歌的前數據部門主管,他跟我說了一件他覺得很痛苦的事:提出數據需求的人,往往70%的情況並沒有使用所獲提供的數據。他為此非常生氣,便質問業務方:「為什麼你們老問我要數據,結果卻不用?」業務方回答:「是的,因為我用了之後才知道這些數據沒有用。」對於一個每天都要準備數據的人來說,這好比你是一家餐廳的老闆,廚師每天為你準備很多菜卻只用一小部分材料。所以,我從事大數據行業一直有個夢想:如果有一天可以把數據的處理自動化,該多好!
創新方法自動清洗準備
說起數據處理的自動化,不得不提一家在數據領域有突破創新的公司Paxata,它是美國少有接地氣的自助型數據開發 (data preparation)平台。這家公司的專注領域令人興奮,因為目前市場上幾乎所有的數據分析,包括BI軟件和創新都聚焦在解決數據分析的算法、視覺化、模型等等的自動化,卻忽略了一個事實:現實工作中,數據科學家和分析師首先需要花費80%、甚至更多的時間在數據清洗和準備。Paxata採用機器學習的創新方法解決data preparation。其功能如下:
一、讀取數據:讀取任何形式的數據,自動解析和識別數據的類型及數據的意義;
二、數據探索:通過人機交互的形式,幫助用戶主動發現數據質量問題。比如提供全文搜尋、數據品質熱力圖、發現規律,來發現數據中的錯誤、重複、稀疏、缺失等問題;
三、數據清洗和修改:Paxata平台的核心是語義融合和機器學習引擎。該引擎基於算法智能識別並進行數據變換以改善數據;
除了上述功能,Paxata還能夠通過人機交互的形式完成數據合併、發布、改進、分享、安全控制等數據準備的所有環節。其中一個有趣的功能是數據富集(data enrichment),能基於第三方數據庫建議用戶增加更多的變量以提升挖掘價值,並自動完成數據的轉化。他山之石可以攻玉,同類公司所關注的變量及挖掘路徑可以互相借鑑。
今天大數據之所以說起來容易、做起來難,主要是因為兩個問題,其一是數據的易用性,其二是數據處理的成本。因此,底層數據處理的自動化將愈加重要。我們需要將使用數據的經驗數據化,並把這些經驗轉化為其他公司對自己數據的理解和使用能力。
或許在不久的將來,我們就會發現只要我們對某一領域使用數據的經驗有足夠的沉澱,哪怕給我一堆毫無關係的數據,我也能根據數據經驗庫,告訴你我從中看到了什麼。世界日新月異,變化之快令人咋舌,我們數據人也只有不斷顛覆自己使用數據的能力,才能找出大數據未來的方向。
更多車品覺文章:
支持EJ Tech
如欲投稿、報料,發布新聞稿或採訪通知,按這裏聯絡我們。
Related Posts
Latest News
-
北上消費住宿app|3款住宿app推薦 攜程、去哪兒哪個好?內有淘寶訂酒店詳盡教學!
北上消費未必只有即日往返這一個選項,不妨考慮book間酒店住返兩晚?如果擔心勞動節假期會撞正內地「五一黃金周」,嚟緊的佛誕也是避開人流的不錯選擇。此前小編已為大家介紹了北上消費時可以參考的美食app、call車app,亦有北上消費出行前的攻略,包括港車北上預約、北上消費電子錢包及一卡兩號。今次就為大家介紹三款北上消費時可以用到的住宿app吧!
- Posted April 25, 2024
- 0
-
中港乘車通用|WeChat Pay HK乘車碼覆蓋內地15城市
WeChat Pay HK表示,其所支援的內地交通出行服務,現已覆蓋多達15個內地城市的地鐵及公交(巴士)。
- Posted April 25, 2024
- 0
-
中美矛盾|美國多間太陽能面板製造商要求對華產品徵關稅
外電報道,全球最大的幾家太陽能設備製造商要求美國拜登政府,對來自4個亞洲國家的中國公司工廠所生產的面板和電池組件徵收關稅,以保護美國製造業。
- Posted April 25, 2024
- 0
-
輝達「具身智能」新突破(葉文瀚博士)
機械人自主行動和模仿人類動作的能力,一直是科學家研究重點。近年來,隨着人工智能(AI)技術快速發展,具身智能(Embodied AI)也逐漸成為研究熱門領域。具身智能是指擁有身體並能夠物理互動的AI系統,該系統通過與環境的互動來獲取資訊、提取問題、制定決策並付諸行動。機械人、自動駕駛汽車、智能外骨骼等,都屬於這一範疇。
- Posted April 25, 2024
- 0
-
生物科技 龐大機遇(廖錦興博士)
過去20年,各大疫情引起人類對疫症和病毒的警覺,市民對公共衞生重視程度顯著提升。人口老化是全球性現象,因此各國積極推動發展生物科技及醫療健康產業。生物科技的進步有助於解決眾多現存問題,如傳染病疫苗、老齡化社會以至氣候變化;惟研發過程漫長、技術風險高,尤其需要長期投資和雄厚資本,以及上市前後的持續融資。
- Posted April 25, 2024
- 0
-
中美矛盾|拜登已簽署剝離法案TikTok行政總裁誓言挑戰禁令
短視頻平台TikTok行政總裁周受資表示,將挑戰美國國會通過禁制該公司的新法案。
- Posted April 25, 2024
- 0
-
本地創科動態|理大Axis實驗室 研細胞療法治癌
免疫療法及細胞療法,為過去十年治癌的兩大重要發現。香港理工大學與免疫鍵有限公司(Axis)合作成立免疫治療聯合實驗室,共同促進癌症免疫治療研發,改善本港癌症患者的治療成效。理大常務及學務副校長黃永德表示,今次合作將加強理大在生命科學領域的前沿研究,促進大灣區發展為細胞治療創新中心。
- Posted April 25, 2024
- 0
EJ Tech Video
POPULAR POSTS
- 南韓揭新型詐騙手法|黑客鑽蘋果提貨漏洞行騙 主謀疑身處內地?
- 電動車能源|港企研氫燃料電池 轉化率提三成安全性可保障
- 華為獨食中國市場?|iPhone 首季銷量跌19%華為反增69.1%
- APP Store|iOS非官方App Store上架 年費12.5元
- 中國禁西方Apps|WSJ:Apple 從中國Apps Store 下架WhatsApp
- foodpanda|賴偉昕:正面競爭推動行業進步 foodpanda數據分析回應市場變化 分析點餐喜好按區變陣
- 香港資訊及通訊科技獎|HKICT Awards今起接受報名 今年增最佳AI應用獎
- 軟銀將開發日語AI模型|投資76億港元 提升生成式AI算力
- AI 砌圖|Photoshop AI升級 生成影像可微調