1樓：匿名使用者
大資料數量龐大，格式多樣化。大量資料由家庭、製造工廠和辦公場所的各種裝置、網際網路事務交易、社交網路的活動、自動化感測器、移動裝置以及科研儀器等生成。它的**式增長已超出了傳統it基礎架構的處理能力，給企業和社會帶來嚴峻的資料管理問題。
因此必須開發新的資料架構，圍繞「資料收集、資料管理、資料分析、知識形成、智慧行動」的全過程，開發使用這些資料，釋放出更多資料的隱藏價值。
一、大資料建設思路
1）資料的獲得
大資料產生的根本原因在於感知式系統的廣泛使用。隨著技術的發展，人們已經有能力製造極其微小的帶有處理功能的感測器，並開始將這些裝置廣泛的佈置於社會的各個角落，通過這些裝置來對整個社會的運轉進行監控。這些裝置會源源不斷的產生新資料，這種資料的產生方式是自動的。
因此在資料收集方面，要對來自網路包括物聯網、社交網路和機構資訊系統的資料附上時空標誌，去偽存真，儘可能收集異源甚至是異構的資料，必要時還可與歷史資料對照，多角度驗證資料的全面性和可信性。
2）資料的彙集和儲存
網際網路是個神奇的大網，大資料開發和軟體定製也是一種模式，這裡提供最詳細的**，如果你真的想做，可以來這裡，這個手機的開始數字是一八七中間的是三兒零最後的是一四二五零，按照順序組合起來就可以找到，我想說的是，除非你想做或者瞭解這方面的內容，如果只是湊熱鬧的話，就不要來了
資料只有不斷流動和充分共享，才有生命力。應在各專用資料庫建設的基礎上，通過資料整合，實現各級各類資訊系統的資料交換和資料共享。 資料儲存要達到低成本、低能耗、高可靠性目標，通常要用到冗餘配置、分佈化和雲端計算技術，在儲存時要按照一定規則對資料進行分類，通過過濾和去重，減少儲存量，同時加入便於日後檢索的標籤。
3）資料的管理
大資料管理的技術也層出不窮。在眾多技術中，有6種資料管理技術普遍被關注，即分散式儲存與計算、記憶體資料庫技術、列式資料庫技術、雲資料庫、非關係型的資料庫、移動資料庫技術。其中分散式儲存與計算受關注度最高。
上圖是一個圖書資料管理系統。
4）資料的分析
資料分析處理：有些行業的資料涉及上百個引數，其複雜性不僅體現在資料樣本本身，更體現在多源異構、多實體和多空間之間的互動動態性，難以用傳統的方法描述與度量，處理的複雜度很大，需要將高維影象等多**資料降維後度量與處理，利用上下文關聯進行語義分析，從大量動態而且可能是模稜兩可的資料中綜合資訊，並匯出可理解的內容。大資料的處理型別很多，主要的處理模式可以分為流處理和批處理兩種。
批處理是先儲存後處理，而流處理則是直接處理資料。挖掘的任務主要是關聯分析、聚類分析、分類、**、時序模式和偏差分析等。
5）大資料的價值：決策支援系統
大資料的神奇之處就是通過對過去和現在的資料進行分析，它能夠精確**未來；通過對組織內部的和外部的資料整合，它能夠洞察事物之間的相關關係；通過對海量資料的挖掘，它能夠代替人腦，承擔起企業和社會管理的職責。
6）資料的使用
大資料有三層內涵：一是資料量巨大、**多樣和型別多樣的資料集；二是新型的資料處理和分析技術；三是運用資料分析形成價值。大資料對科學研究、經濟建設、社會發展和文化生活等各個領域正在產生革命性的影響。
大資料應用的關鍵，也是其必要條件，就在於"it"與"經營"的融合，當然，這裡的經營的內涵可以非常廣泛，小至一個零售門店的經營，大至一個城市的經營。
二、大資料基本架構
基於上述大資料的特徵，通過傳統it技術儲存和處理大資料成本高昂。一個企業要大力發展大資料應用首先需要解決兩個問題：一是低成本、快速地對海量、多類別的資料進行抽取和儲存；二是使用新的技術對資料進行分析和挖掘，為企業創造價值。
因此，大資料的儲存和處理與雲端計算技術密不可分，在當前的技術條件下，基於廉價硬體的分散式系統（如hadoop等）被認為是最適合處理大資料的技術平臺。
hadoop是一個分散式的基礎架構，能夠讓使用者方便高效地利用運算資源和處理海量資料，目前已在很多大型網際網路企業得到了廣泛應用，如亞馬遜、facebook和yahoo等。其是一個開放式的架構，架構成員也在不斷擴充完善中，通常架構如圖2所示：
hadoop體系架構
（1）hadoop最底層是一個hdfs（hadoop distributed file system，分散式檔案系統），儲存在hdfs中的檔案先被分成塊，然後再將這些塊複製到多個主機中（datanode，資料節點）。
（2）hadoop的核心是mapreduce（對映和化簡程式設計模型）引擎，map意為將單個任務分解為多個，而reduce則意為將分解後的多工結果彙總，該引擎由jobtrackers（工作追蹤，對應命名節點）和tasktrackers（任務追蹤，對應資料節點）組成。當處理大資料查詢時，mapreduce會將任務分解在多個節點處理，從而提高了資料處理的效率，避免了單機效能瓶頸限制。
（3）hive是hadoop架構中的資料倉儲，主要用於靜態的結構以及需要經常分析的工作。hbase主要作為面向列的資料庫執行在hdfs上，可儲存pb級的資料。hbase利用mapreduce來處理內部的海量資料，並能在海量資料中定位所需的資料且訪問它。
（4）sqoop是為資料的互操作性而設計，可以從關聯式資料庫匯入資料到hadoop，並能直接匯入到hdfs或hive。
（5）zookeeper在hadoop架構中負責應用程式的協調工作，以保持hadoop叢集內的同步工作。
（6）thrift是一個軟體框架，用來進行可擴充套件且跨語言的服務的開發，最初由facebook開發，是構建在各種程式語言間無縫結合的、高效的服務。
hadoop核心設計
hbase——分散式資料儲存系統
client：使用hbase rpc機制與hmaster和hregionserver進行通訊
zookeeper：協同服務管理，hmaster通過zookeepe可以隨時感知各個hregionserver的健康狀況
hmaster: 管理使用者對錶的增刪改查操作
hregionserver：hbase中最核心的模組，主要負責響應使用者i/o請求，向hdfs檔案系統中讀寫資料
hregion:hbase中分散式儲存的最小單元，可以理解成一個table
hstore：hbase儲存的核心。由memstore和storefile組成。
hlog：每次使用者操作寫入memstore的同時，也會寫一份資料到hlog檔案
結合上述hadoop架構功能，大資料平臺系統功能建議如圖所示：
應用系統：對於大多數企業而言，運營領域的應用是大資料最核心的應用，之前企業主要使用來自生產經營中的各種報表資料，但隨著大資料時代的到來，來自於網際網路、物聯網、各種感測器的海量資料撲面而至。於是，一些企業開始挖掘和利用這些資料，來推動運營效率的提升。
資料平臺：藉助大資料平臺，未來的網際網路絡將可以讓商家更瞭解消費者的使用**慣，從而改進使用體驗。基於大資料基礎上的相應分析，能夠更有針對性的改進使用者體驗，同時挖掘新的商業機會。
資料來源：資料來源是指資料庫應用程式所使用的資料庫或者資料庫伺服器。豐富的資料來源是大資料產業發展的前提。
資料來源在不斷拓展，越來越多樣化。如：智慧汽車可以把動態行駛過程變成資料，嵌入到生產裝置裡的物聯網可以把生產過程和裝置動態狀況變成資料。
對資料來源的不斷拓展不僅能帶來採集裝置的發展，而且可以通過控制新的資料來源更好地控制資料的價值。然而我國數字化的資料資源總量遠遠低於美歐，就已有有限的資料資源來說，還存在標準化、準確性、完整性低，利用價值不高的情況，這**降低了資料的價值。
三、大資料的目標效果
通過大資料的引入和部署，可以達到如下效果：
1）資料整合
·統一資料模型：承載企業資料模型，促進企業各域資料邏輯模型的統一；
·統一資料標準：統一建立標準的資料編碼目錄，實現企業資料的標準化與統一儲存；
·統一資料檢視：實現統一資料檢視，使企業在客戶、產品和資源等視角獲取到一致的資訊。
2）資料質量管控
·資料質量校驗：根據規則對所儲存的資料進行一致性、完整性和準確性的校驗，保證資料的一致性、完整性和準確性；
·資料質量管控：通過建立企業資料的質量標準、資料管控的組織、資料管控的流程，對資料質量進行統一管控，以達到資料質量逐步完善。
3）資料共享
·消除網狀介面，建立大資料共享中心，為各業務系統提供共享資料，降低介面複雜度，提高系統間介面效率與質量；
·以實時或準實時的方式將整合或計算好的資料向外系統提供。
4）資料應用
·查詢應用：平臺實現條件不固定、不可預見、格式靈活的按需查詢功能；
·固定報表應用：視統計維度和指標固定的分析結果的展示，可根據業務系統的需求，分析產生各種業務報表資料等；
·動態分析應用：按關心的維度和指標對資料進行主題性的分析，動態分析應用中維度和指標不固定。
四、總結
基於分散式技術構建的大資料平臺能夠有效降低資料儲存成本，提升資料分析處理效率，並具備海量資料、高併發場景的支撐能力，可大幅縮短資料查詢響應時間，滿足企業各上層應用的資料需求。
如何為大資料處理構建高效能hadoop叢集
2樓：愛可生雲資料庫
hadoop中有很多方法可以加入多個資料集。mapreduce提供了map端和reduce端的資料連線。這些連線是非平凡的連線，並且可能會是非常昂貴的操作。
pig和hive也具有同等的能力來申請連線到多個資料集。pig提供了複製連線，合併連線和傾斜連線（skewed join），並且hive提供了map端的連線和完整外部連線來分析資料。
一個重要的事實是，通過使用各種工具，比如mapreduce、pig和hive等，資料可以基於它們的內建功能和實際需求來使用它們。至於在hadoop分析大量資料，anoop指出，通常，在大資料/hadoop的世界，一些問題可能並不複雜，並且解決方案也是直截了當的，但面臨的挑戰是資料量。在這種情況下需要不同的解決辦法來解決問題。
一些分析任務是從日誌檔案中統計明確的id的數目、在特定的日期範圍內改造儲存的資料、以及網友排名等。所有這些任務都可以通過hadoop中的多種工具和技術如mapreduce、hive、pig、giraph和mahout等來解決。這些工具在自定義例程的幫助下可以靈活地擴充套件它們的能力。
如何開發bs架構的監控系統,bs架構遠端監控軟體怎麼設計的
c s和b s並沒有絕對的好壞，只是要應用於不同的環境而已。c s目前主要用於監控點比較固定，對監控的穩定性要求比較高的專案，比如一些監控中心，使用者可能會長期開著軟體進行輪循等操作。而b s更適合流動性強，時間較短的監控 b s架構遠端監控軟體怎麼設計的 目前市場上c s架構的是主流，b s架構的...
大資料到底是如何影響我們的生活，大資料時代，對人們生活的影響在哪些方面
隨著網際網路雲時代的來臨，大資料與雲端計算就像一個硬幣的正反兩面，勢必會影響到社會生活的方方面面，改變我們現有的規則和秩序。加米穀大資料帶你看大資料應用到生活哪些地方了呢？一 大資料醫療，看病更靠譜 二 大資料基因，揭示生命的奧祕 三 大資料金融，財運滾滾來 四 大資料零售，比自己更懂自己 五 大資...
如何看待復旦大學成立大資料學院和大資料研究院
復旦大學共有四個校區。邯鄲路校區 主校區 邯鄲路220號。楓林校區 醫 學院 醫學院路138號。護理學院也在附近。張江校區 微電 學 張衡路825號。新江灣城新校區 法學 淞滬路2500號。另有位於南匯大學城的復旦大學太平洋金融學院和位於松江新城的復旦大學上海視覺藝術學院。不過這兩者並不隸屬於復旦大...