请简要描述一下hadoop,spark,mpi三种计算框架的特点以及分别适用于什么...

MapReduce ：是一种离线计算框架，将一个算法抽象成Map和Reduce两个阶段进行处理，非常适合数据密集型计算。

hadoop中的mapreduce运算框架，一个运算job，进行一次map-reduce的过程；而spark的一个job中，可以将多个map-reduce过程级联进行。

Hadoop是google分布式计算框架MapReduce与分布式存储系统GFS的开源实现，由分布式计算框架MapReduce和分布式存储系统HDFS（Hadoop Distributed File System）组成，具有高容错性，高扩展性和编程接口简单等特点，现已被大部分互联网公司采用。

Apache Mesos 代码托管地址： Apache SVN Mesos提供了高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、 MPI、Hypertable、Spark等。Mesos是Apache孵化器中的一个开源项目，使用ZooKeeper实现容错复制，使用Linux Containers来隔离任务，支持多种资源计划分配（内存和CPU）。

Tez On YARN：一个DAG计算框架，直接修改自MapReduce，继承了MapReduce的扩展性好和容错性好等优点 Storm On YARN：实时计算框架Storm运行在YARN上，项目状态：开发进行中，已发布一个版本。 Spark On YARN：实时/内存计算框架Spark运行在YARN上：，项目状态：已可用。

BigData：支持大数据框架Hadoop、Spark、Flink数据仓库等；Computing：支持批量计算，支持MPI；Docker：计算框架&服务完全容器化，One-off-Docker；Flow：跨“ABC”计算框架和服务的融合数据流。

如何搭建大数据分析平台?

一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤：Linux系统安装。分布式计算平台或组件安装，当前分布式系统的大多使用的是Hadoop系列开源系统。数据导入。数据分析。一般包括两个阶段：数据预处理和数据建模分析。数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。

那么具体如何搭建数据分析平台呢？我认为应从一下几个方面：分析价值：明确数据分析的价值，通过大数据的分析，能够快速地发现消费者的需求变化和市场发展趋势，从而帮助企业及时做出正确的决策，从而使企业在市场上拥有更强的竞争力和不断创新的能力。数据源头：有可供数据分析进行数据获取的平台。

一方面它可以汇通企业的各个业务系统，从源头打通数据资源，另一方面也可以实现从数据提取、集成到数据清洗、加工、可视化的一站式分析，帮助企业真正从数据中提取价值，提高企业的经营能力。

要想打造独属于企业的大数据平台，需要做好三件事，其一是搭建基础的企业信息系统；其二是组建专业的技术团队；其三是根据企业的发展规划来建设大数据平台。

精心设计的高性能大数据系统通过对数据的深入分析，能够提供有价值战略指导。这就是可视化的用武之地。良好的可视化帮助用户获取数据的多维度透视视图。需要注意的是传统的BI和报告工具，或用于构建自定义报表系统无法大规模扩展满足大数据系统的可视化需求。同时，许多COTS可视化工具现已上市。

搭建大数据分析平台，看清重点，是搭建分析平台，其次分析的事数据。如果想完成这件事情，主要有4个方面：①确认数据分析方向。比如是分析社交数据，还是电商数据，亦或者是视频数据，或者搜索数据。②确认数据来源。比如来自腾讯，来自百度，来自阿里巴巴，来自实体店。③数据分析师，去分析你获取的数据。

大数据分析一般用什么工具呢?

大数据分析工具有：R-编程 R 编程是对所有人免费的最好的大数据分析工具之一。它是一种领先的统计编程语言，可用于统计分析、科学计算、数据可视化等。R 编程语言还可以扩展自身以执行各种大数据分析操作。

FineReport FineReport是一款纯Java编写的、集数据展示（报表）和数据录入（表单）功能于一身的企业级web报表工具，只需要简单的拖拽操作便可以设计复杂的中国式报表，搭建数据决策分析系统。

- DBOracle：专为企业级应用设计，适合大型企业和对数据存储有高需求的情况。 数据报表层工具帮助企业生成规范的报表，以便进行数据分析。常用工具包括：- Crystal Report（水晶报表）：全球流行的报表工具，强调报表设计的规范性。- Tableau：近年来广受欢迎的数据可视化工具，也用于报表和可视化分析。

大数据安全问题及应对思路研究

1、一是促进技术研究和创新，通过加大财政支持力度，激励关系国家安全和稳定的政府和国有企事业单位采用安全可控的产品，提升我国基础设施关键设备的安全可控水平。

2、近期，一项重量级数据安全指南《数据安全风险评估实务：问题剖析与解决思路》震撼发布，由中国通信标准化协会大数据技术标准推进委员会（CCSA TC601）携手数据安全推进计划（DSI），并联合四十家业界翘楚及百名顶级专家共同编撰完成。

3、大数据的安全问题涉及政府、相关企业、网络运营商、服务提供者，以及数据产生者、使用者等方方面面，必须对各自的安全责任有明晰的政策界定。信息安全风险存在于数据的全生命周期之中，从技术思路、产品开发、用户使用、服务管理，各个环节均要分担相应的安全责任。监管保障基础设施安全问题。

4、也有自己的云安全管理平台。刘洋介绍，该平台将360独有的云安全漏洞挖掘能力输出给广大用户，通过统一管理、安全可见以及网络、主机、应用、数据的分层纵深防御，为用户全面解决云安全问题。“用大数据技术来解决大数据时代的安全问题十分必要。

5、大数据时代的数据安全怎么做？对于这个问题有着不同的理解。有的人认为需要在原有安全的基础上加入新的的网络元素，继续沿用既有的数据安全思路，稳中求进；有的人认为需要重新构建全新的数据安全模式，打破原有的桎梏，重组现有技术构成，建立全新的数据安全模式。

大数据分析软件有哪些?

1、大数据分析工具有很多，主要包括以下几种： Hadoop Hadoop是一个允许在廉价硬件上运行大规模数据集的开源软件框架。它提供了分布式文件系统（HDFS），能够存储大量数据并允许在集群上进行并行处理。此外，Hadoop还提供了MapReduce编程模型，用于处理大规模数据集。

2、《通道大数据》足球是很多年轻人甚至孩子都非常喜欢的一项运动。本软件是一款可以分析足球数据的软件。是目前全球领先、中国唯一的足球数据、实时视频处理服务平台。不过，该软件主要针对的是球员、经纪人、俱乐部、媒体等从事足球运动的人士。

3、国内知名的大数据分析工具Smartbi，作为一个全面的大数据分析平台，能够与多种业务数据库和数据仓库相连接。 通过Smartbi，用户可以进行数据预处理、数据管理、分析挖掘以及可视化展示，满足各种数据分析需求。

4、数据分析：SAS、SPSS和SAS都是经典的数据分析软件，它们提供了丰富的统计分析和数据挖掘功能。R语言也是一种广泛应用于统计分析和数据可视化的编程语言。 数据展示：Tableau和Power BI是两款流行的数据可视化工具，它们可以帮助我们将复杂的数据以图表的形式直观地展示出来。

5、Storm 是一个开源的分布式实时计算系统，它能够可靠地处理大量数据流，常用于补充 Hadoop 在实时数据处理方面的不足。Storm 易于使用，支持多种编程语言，使得实时数据处理变得简单而有趣。 Apache Drill 是 Apache 软件基金会的一个开源项目，旨在提供一种有效的方式来查询 Hadoop 中的数据。

6、Tableau - 情感分析的可视化旗舰 Tableau以直观的界面和强大的性能提升功能著称，免费试用版便于快速上手。然而，它对专业知识的需求和协作功能的易用性之间存在微妙的平衡。 Apache Spark - 高性能计算引擎 Spark是大数据分析的引擎，支持批量和流数据处理，对大规模计算的支持强大无比。

数据分析系统有哪些

Cloudera Manager是一个复杂的应用程序，用于部署、管理、监控CDH部署并诊断问题，Cloudera Manager提供Admin Console，这是一种基于Web的用户界面，是您的企业数据管理简单而直接，它还包括Cloudera Manager API，可用来获取集群运行状况信息和度量以及配置Cloudera Manager。

Apache Hadoop： 开源的分布式系统，用于存储和处理大规模数据集。 Apache Spark： 开源的大数据处理引擎，可以在内存中执行数据分析。 Tableau：基于云计算的数据分析和可视化平台，可以连接各种数据源，包括大型数据集和实时数据流。 Microsoft Power BI： 用于数据可视化和商业的平台。

Cassandra是Facebook开发的NoSQL数据库管理系统。ApacheCassandra是一款优秀的、与操作系统无关的开源大数据软件，它能够为管理存储在各种商业服务器上的大量数据提供高质量的可用性。为简化数据库与其用户之间的交互，它还提供了CQL（CassandraStructureLanguage，Cassandra结构语言）。

大数据可视化系统（一）思迈特软件Smartbi 思迈特软件Smartbi是一款商业智能BI工具，做数据分析和可视化数据展现，以分析为主，提供多种数据接入方式，可视化功能强大，平台更适合掌握分析方法了解分析的思路的用户，其他用户的使用则依赖于分析师的结果输出。

SASSAS由美国NORTH CAROLINA州立大学1966年开发的统计分析软件。SAS把数据存取、管理、分析和展现有机地融为一体。SAS提供了从基本统计数的计算到各种试验设计的方差分析，相关回归分析以及多变数分析的多种统计分析过程，几乎囊括了所有最新分析方法。RR拥有一套完整的数据处理、计算和制图功能。

数据分析平台通常有如下：国家数据： http：//data.stats.gov.cn可以查询到国家统计局调查统计的各专业领域的主要指标时间序列数据。阿里指数： https：//index.168com最权威专业的行业价格、供应、采购趋势分析。