Tag Archive: AI

浅谈大数据技术与人工智能技术之间的关系

重读吴军博士的“智能时代-技术的拐点”章节有感,以及自己的一些思考。

大家似乎都有这样一个直观的感性认识,人工智能从2015,16年开始似乎又进入了一个快速的发展阶段,各种人工智能的概念性产品纷纷涌现,遍地开花,尤其是创业者,感觉到特别兴奋,纷纷想要打造出革命性的产品,改变世界,这个时候其实我们有一点纳闷,有一点疑惑,为什么一项已经发展了半个多世纪之久的人工智能技术在今天这个时间点能够被大家普遍接纳和采用,大家开始有能力去构建一个人工智能学习系统,呈现一种突破性的发展态势,我们肯定在想这背后发生了什么,是的!

这十几年来,还有一门技术非常火,那就是大数据技术,有人曾经这样形容大数据技术与人工智能技术的关系,说:

人工智能就像潜力无限的婴儿,而大数据是喂养婴儿的奶粉,奶粉的数量和质量决定了婴儿的智力发育水平。

那么这十几年以来,大数据技术取得了哪些突破性的进展,我们分成四个维度来分别看一下,如下图所示:

 

数据采集
数据采集说的是数据源的问题,分以下几点进行说明:
1. 随着全球软件业的蓬勃发展,越来越多的应用系统投入生产运行,系统本身产业的交易,日志等等数据是庞大的,这是第一个来源;
2. 随着各种智能设备以及可穿戴设备的普及,设备中部署的一个个sensor无时无刻不在自发的采集数据,这是其二;
3. 进入web2.0时代,尤其是在社交网络如此发达的今天,用户ugc产生的数据量呈指数级增长。

所以在今天这个时间点看来,数据已经不是多少的问题,而是如何好好利用的问题。

数据存储
数据存储分两点来看:
1. 根据摩尔定律,存储设备每隔18个月存储容量上升,成本下降。越来越多的服务提供商开始铺机器,建设一个个数据中心;
2. 存储设备更新迭代,由磁带过渡到机械硬盘,在发展到现今的固态硬盘,这里体现出来的是存储设备数据存取速度的极大提升。

数据传输
数据传输讨论的是如何把众多的数据源聚合到数据服务器上的问题,随着网络传输技术的发展,各种数据源通过千兆/百兆光纤网络,WiFi,4g网络等等完成数据的传递。

数据处理
这是我个人认为具有深刻意义的突破性进展,出现了并行计算框架,你很难想象Deepmind公司在训练AlphaGo的时候如果只用了一台服务器来跑他们的神经网络算法,那么试想完成一轮神经网络的迭代运算需要多久?一天、一星期、一个月、一年还是直接就趴下了,无论如何,至少我们会达成这样的共识:AlphaGo大胜李世石的局面不会这么早被我们见证,对吗?

所以,总结起来看,围绕大数据技术的这四个维度在各自方向上的突破性进展合力把大数据带到了一个技术拐点,同时再加上更优化的算法模型和更完备的海量数据共同推进了人工智能往前迈出了一大步,取得了突破性进展。