Databricks推出Lightspeed
美國大數據及人工智慧公司Databricks在Data+ AI峰會上發布三樣產品的消息,分別為Delta Lake 2.0、MLflow和Lightspeed。根據Techcrunch消息,Delta Lake 2.0是建構資料湖平台的下一版本,MLflow管理機器學習pipeline下一代平台,而Lightspeed則被視為下一代Spark串流引擎(Spark streaming engine)。
圖/翻攝自Databricks官網
關於上述消息,在VentureBeat的文章中有詳細整理出本次所有公開內容的重點。目前Databricks已經組織新的團隊要推動Lightspeed,之後將會改善處理串流資料性能及其延遲問題,並新增新功能。
Delta Lake是開放原始碼儲存層,為資料湖提供安全性、可靠性和功能。這部分Databricks近期和Apache Iceberg有著激烈的競爭,Databricks從領先到被迎頭趕上的其中一個問題是因為其較嚴格的控制, 而在2.0版本則針對該部分有了變動,Databricks將Delta Lake內容給了Linux基金會開源項目,使得使用者可使用相同代碼庫,並可以利用所有功能。
MLflow是MLOps的支柱,是開源機器學習平台,用來管理機器學習生命週期,這次宣布2.0將會增加名為Pipeline的新功能,是設置ML應用程式的範本(template),提供了較大的彈性因為開發者可用notebook和pineline互動。
除此之外,Databricks將會有新氣象發佈在GA,例如Databricks SQL的Photon和Dataricks Unity Catalog,從此次峰會可看出Databricks對旗下產品的積極投入,但在越來越多競爭和創新的環境中,Databricks是否還能保有其優勢在產業中?目前Dataricks已經加強投資並影響了Spark、Delta Lake、MLflow等開源項目的發展方向。這次Data+ AI峰會上Databricks的公開資訊是否是對現況的回應未可知,但未來Databricks與Snowflake雙方將會如何各自尋求創新,以及區隔或競爭彼此的客群與市場,雙方間的競爭值得期待。(編譯/施毓萱)
資料來源:
https://databricks.com/product/delta-lake-on-databricks
瀏覽 3,261 次