首页 > 科技 >

大规模流数据的机遇与挑战

2018-11-05 17:11:55 网络整理 阅读:158 评论:0

数据流是最近几年才受到广泛关注的前沿科研领域,其兴起主要是源于新时代下移动应用实时产生的大规模复杂数据。

过去十几年,随着智能手机的普及以及移动互联网的发展,移动应用层出不穷。这些应用涉及即时通信、社交网络以及网络购物等各个方面,并实时地产生大量的数据。这些数据本质上是现实世界人、事、物及其交互的一种深入量化。对这些数据的及时分析与挖掘能够产生高价值的信息,进而改进人们生活的多个方面。

大规模流数据的机遇与挑战

例如,微信、微博等社交网络上有庞大的活跃用户,,这些用户对社交网络而言更像是分布在各地的“传感器”,将各自的活动区域内的热点见闻“报告”在社交网络上。如在地震等自然灾害发生时,人们可以通过社交网络实时传递和获取相关的灾情。因此,这些应用数据具有极大的分析研究价值。

尽管移动应用数据蕴含着高价值的信息,但这些数据却具有结构复杂、规模庞大、高速增长等特点。人们对不同应用有不同的需求,这决定了移动应用数据是复杂多样的,而针对同一应用产生的数据,不同的数据分析方也会有不同的数据需求。

例如,针对社交网络的数据,研究社交心理的人更关注用户以及用户间的好友关系与交互行为,而广告媒体的从业人员则更关心..上发文内容中的产品或话题信息。人们对数据的多样化的需求决定了移动应用数据的复杂性。

数量众多的软件及其庞大的用户量决定了相关数据的海量规模。例如,微信的月活跃用户数已超过了10亿,而用户之间的交互则会带来更大规模的数据,包括语音、视频、图片以及相关的文本等。这些大规模的复杂数据还在实时地高速增长,如社交网络每天以亿级别的发文、轨道交通应用形成的大规模定位与轨迹信息以及网络通信中的数据传播等。

相关文章