大数据对计算体系带来的挑战以及应对策略

，在芯片上探讨存算一体是一种可能的方向;比如，软件定义可以做很多事情;比如，软件开源+硬件开放有可能产生颠覆式机遇。

他提到了个人对于大数据的理解，谈到了三个现实中的挑战。但在挑战背后，他们的团队已经集结了***的高校和阿里这种巨头企业的技术，做完了三批课题。未来，将追求高时效、低时延，多计算模型的融合，打造出更多核心、关键、原创的技术。

演讲原文如下，雷锋网做了不改变原意的编辑与整理：

大数据导致了一个现象，就是信息技术整个体系进入一个重构前夜，实际上给了我们一个颠覆式发展的一种机遇。因为它和过去的东西确实不太一样了。

个人对大数据的理解

我想分四个方面讲。

***，应用需求。大数据的应用需求，使得我们的计算机体系结构可能面临重构的需要。比如，过去在单机体系结构，我们知道计算机处理的方式是强调I，强调O，所以我们是以CPU的处理能力为核心，数据是围绕处理能力来走的。现在我们又出现了很多新的一些技术，比如新型存储介质、新型运算器件，它使得我们的体系结构可能就会有一定的变革。怎么变革?会不会出现以数据为核心而计算围在周边的一种结构。现在就在芯片上探讨存算一体——这是一种可能的方向。

第二，云计算模式领域化、资源泛载化，资源平台化的大态势。我们希望在服务质量提升、新型硬件管理、***效能的追求方面做很多工作。同时我们也看到从云向边转变，这种云端融合，云边端结合的新型计算也在涌现，还有软件定义对整个世界所形成的影响。我们对数据管理、软件开发运行、数据分析等等都有很多要求，都需要很多新的东西，这与过去是不一样的。

第三，通信。5G能解决的通信问题，所以我们网络通信还需要更好的带宽、移动、泛载的发展。对于带宽的问题，移动、泛载的问题，我们看到整个信息技术体系按照过去的发展套路，实际理论上还有很多值得探讨的空间，在基础器件上也有很多探讨的空间，比如大数据组织、分析等等相关技术理论都有待突破。基础器件，高性能、高时效、高吞吐等极端化的大数据需求，使得我们需要高通量的处理芯片，需要多通道数据化、可视设备等等。

第四，软件开源，硬件开放，正在导致我们产业生态发生一些变化。实际上，颠覆式发展的机遇可能就在这个地方。

观念变化：大数据的管理、处理

管理是数据的存储、组织，而处理就是把数据并行处理为内容。

对于管理而言，比如说传统数据库、关系型数据库，它的目标是什么?应用的通用性、数据的一致性、应用需求的处理方式和响应时间等方面都不同，使得很难有一种通用管理的方式。

由于无法定义一个模式，一致性也没法保持，不能够事先定义数据模式，就没办法保持它的事务性等数据的一致性。从性能上讲，由于单一表格存储、高性能是非常难以实现的，这就使得对大规模、多表关联查询及复杂分析类型的SQL查询性能严重下降，这就是在大数据时代传统数据库做不了的事。

对于处理而言，实际上大体分成三个阶段：前大数据时代，大数据早期、现在。

早期都是关系型数据库再到后来的SQL，这是在管理层面走过的一些路径。从分析上面，比如说面向大数据分析软件、深度学习的一些发展，大体上是把前面的东西再做一个总结。当然，支撑的东西都是在计算里面的分布式处理和实时集散这些相关的概念，都是计算基础的支撑。

传统关系数据库虽然还在广泛使用，结构化数据还是我们很有用的一些东西。但是NoSQL和NewSQL都在快速发展，我们可以看到2011年的NoSQL和NewSQL的比例在增长，市场份额在扩大。也就使得我们数据库管理系统发展观念的转变，传统关系数据库一招通吃天下，变成了我们在一个领域里面个通用的平台。

大数据处理——为什么要谈这件事情?

大数据和HaDoop不管发展如何，单台计算能力都是有限的。所以我们必须要并行处理，没办法做一台计算机满足所有的处理需求。比如最早出现的HaDoop就是批处理，批处理好处是什么?吞吐率高，适用于海量预存数据的处理。其次是流处理，适用于在线型、产生速度快的时延数据处理。还有一种新的数据类型就是图处理，用巨型

（编辑：通化站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!