浅谈大数据下的机器学习

大数据和机器学习是目前信息行业快速增长的两大热门领域。从过去的信息闭塞发展到现在数据爆炸,各个领域的数据量和数据规模增长速度都以惊人的速度增长。根据美国国家安全局的统计,互联网每天处理1826PB字节。截止2011年,数字信息在过去五年已经增长了九倍,而到2020年这个数字将会达到35万亿千兆字节[2]。这种数字的数据规模带来了巨大的机遇和变革潜力,可以利用这些数据的完整性等优势在各行各业帮助我们更好的作出决策,在科学研究中转变为数据驱动的研究提供了很好的范例。使我们在进行数据的科学研究时利用搜索引擎的大数据预测能力广泛的用于医学、天文学等领域。

相比传统的机器学习,大数据下的机器学习大大扩充了样本的数量,使很多问题的分类都有丰富的样本作为支撑,这是大数据的优势,但同时也会由此产生很多问题。现在随着硬件技术和编程算法的不断优化,数据的采集和量级已经不再是阻碍大数据研究的主要问题。而数据之间的关系,即数据哪些数据是有用的,哪些是冗余的甚至是对其他数据造成干扰,这些数据之间有时如何作用的才是目前大数据所面临的主要挑战。而大数据在我们社会的各个方面存在着巨大的潜在价值,从大数据中获取有价值的信息却不是一个简单的任务。要从体量巨大、结构繁多的数据中挖掘出潜藏在数据中的规律和我们所需要信息,从而使数据发挥最大化的价值,是大数据技术的一个核心目标。

一般认为传统的机器学习是浅层次的学习架构,与之相反的,深度学习则是指机器学习技术在监督或非监督的情况下自动的学习深层次的架构并且用于分类或进行数据挖掘。受人脑对自然界中信号处理模式的启发,深度学习这一概念被提出来,并且由于其在很多领域中表现出优越的处理性能而受到越来越多的关注。现在很多公司都充分利用大数据的优势将其广泛应用于商业产品,并且取得了很大的成功。这些公司和机构每天都在大量产生数据的基础上,收集海量信息并且对其进行分析,再将分析结果用于深度学习的相关项目。例如,iPhone手机的虚拟个人助理Siri,提供各种各样的服务例如天气预报、体育新闻、回答用户的问题和提醒服务等。谷歌将将海量的零碎混乱数据应用于深度学习算法,这些零碎的数据来源于谷歌翻译、Android的语音识别、谷歌街景和搜索引擎。其他的行业巨头也不远落后。

1.大数据的概念

目前对大数据没有一个统一的规定,通常意义上对大数据的理解为不能装进计算机内存储器的数据,这是一个非正式的定义,因为每台电脑都有一个大到不能装载进内存的数据集。业界对大数据的特征从最开始的3V模型扩展到目前的4V模型,主要包括:数据体量巨大(volume)、数据类型繁多(variety)、数据价值密度低(value)、有很多实时数据要求快速处理(velocity)。针对这些特点,大数据时代知识解析、机器智能与人类智能协调工作及智能分析系统将会起重要作用,人们需要一个智能分析的接口将人类与计算机世界进行连接,否则会迷失在茫茫的数据洪流中。

大数据问题是目前学术界和产业界共同关注的挑战性问题。伴随着大数据的采集、运输、处理和应用的相关技术的成熟,可以使用非传统的工具来处理大量的结构化、半结构化和非结构化的数据,从而获得分析和预测结果的一系列数据处理技术。

2.模式识别、机器学习与深度学习

模式识别、机器学习和深度学习代表三种不同的思想流派。模式识别是最古老的(作为一个术语而言,可以说是很过时的)。机器学习是最基础的(当下初创公司和研究实验室的热点领域之一)。而深度学习是非常崭新和有影响力的前沿领域,我们甚至不会去思考后深度学习时代[3]。三者之间互相关联又各有不同,模式识别在大数据的环境下由于体量巨大、结构繁多的特性,使用机器学习来实现其分类与识别无疑具有很多优势,而机器学习则是深度学习的延续和未来发展方向。

在整个机器学习的发展历程中,一直有两大研究方向:一是研究学习机制,注重探索、模拟人的学习机制;而是研究如何有效利用信息,注重从巨量数据中获取隐藏的、有效的、可理解的知识。学习机制的研究是机器学习产生的源泉,但随着大数据时代各行各业对数据分析需求的持续增加,通过机器学习高效的获取有价值的信息,已经逐渐成为当今机器学习技术发展的主要推动力。