如何建立一個大資料平臺

2023-02-12 13:40:14 字數 1471 閱讀 4191

1樓:一切以排名說話

你**來的資料?只要有資料加上標籤放硬碟裡也可以當做大資料來用。

2樓:

需要兩個條件,一有上千臺甚至上萬臺的專用伺服器組成並行處理叢集,二有符合大資料條件的行業應用和資料。

現在什麼人都在說要搞大資料,嚴格的說大資料是有幾個特徵的,其中之一即資料量達pb級,才能稱為大資料(1pb=1024tb,1tb=1024gb)。

祝你好運。

3樓:匿名使用者

整體而言,大資料平臺從平臺部署和資料分析過程可分為如下幾步:

1、linux系統安裝。

一般使用開源版的redhat系統--centos作為底層平臺。為了提供穩定的硬體基礎,在給硬碟做raid和掛載資料儲存節點的時,需要按情況配置。例如,可以選擇給hdfs的namenode做raid2以提高其穩定性,將資料儲存與作業系統分別放置在不同硬碟上,以確保作業系統的正常執行。

2、分散式計算平臺/元件安裝。

目前國內外的分散式系統的大多使用的是hadoop系列開源系統。hadoop的核心是hdfs,一個分散式的檔案系統。在其基礎上常用的元件有yarn、zookeeper、hive、hbase、sqoop、impala、elasticsearch、spark等。

先說下使用開源元件的優點:1)使用者眾多,很多bug可以在網上找的答案(這往往是開發中最耗時的地方)。2)開源元件一般免費,學習和維護相對方便。

3)開源元件一般會持續更新,提供必要的更新服務『當然還需要手動做更新操作』。4)因為**開源,若出bug可自由對原始碼作修改維護。

大型生產企業有很多個系統軟體,想建立一個大資料平臺,除了一個個做資料介面,有其他快捷方法嗎?

4樓:長沙博為軟體技術股份

一般傳統方式是做介面,不過根據你的情況,估計做介面是個浩大的工程,系統這麼多,還來自不同的廠商,介面費那麼貴,沒有幾十萬 百吧萬搞不下來的,而且,能給你拖個一年半年的,,,如果要加新系統需要另外再給錢。。感覺這是一個無底洞啊,想一勞永逸那麼只能說用異構資料採集引擎來解決了,不管是多少個廠商就算一百個也沒關係,因為1 01異構資料採集引擎不需要軟體廠商配合,直接採集資料,有多神奇只能說你們自己去體驗,

5樓:有米環保

方法很多,主要通過中介軟體實現;大多數中介軟體可以實現採集,然後通過共享同一個資料庫流轉資料;「異構融合中介軟體」,沒有廠商介面也可以,除了可以實現多個系統相互採集,重要的是可以相互推送資料,所有動作後臺自動完成。

6樓:匿名使用者

需要建立大資料平臺是一個比較日積月累的過程,你必須要有大量資料資源,整合資料資源才能慢慢一步步做大。

7樓:匿名使用者

那要看你想建什麼樣的大資料平臺了,首先要有源源不斷的資料,其次這些資料要有合理的框架和結構設定、資料來源要可信,其它就是資料的關聯及資料分析,涉及內容很多,至少需要一個行業團隊來實現和支撐運轉。

如何用vb建立一個access資料庫

vb只是一個程式語言,並不能建立資料庫,建立access資料庫要完全在access中進行。前提條件 必須安裝微軟access資料庫。步驟 1 找好要存放資料庫的路徑,如c盤data路徑 3 這時路徑下就有了一個access檔案,可以右鍵 重新命名來為資料庫起名,如,起名叫測試資料庫 4 雙擊acce...

如何建立新國家,如何建立一個新國家

真實事件改編,小夥給自己建了一個國家,最後驚動了聯合國 先奪取一個國家的政權,再改名,就是一個新國家。要有錢 要有人緣 還要有軍隊 最重要的是要找到一片沒有被任何國家統治且不受國際保護的領地。可是,這是不可能的 所以 想當領導人只有好好讀書,學好政治 然後參加選舉 想當皇帝 幾乎不可能 有那錢還不如...

如何在大學建立好的社團,如何在大學建立一個好的社團

首先,具備合理性。找幾個志同道合的朋友集思廣益,明確了社團的意義 組織結構 人員構成 活動方案等細節後,以書面形式整理出來 其次,具備合法性。如果想在大學裡建立一個社團,需要做哪些工作?我也建立過,每個學校具體制度不一樣,但是我認為你想玩好,首先你的社團有一個適合的主題,說白了在幹有意義的事,還有就...