-
大数据
大数据概念是怎么产生?
1.“大数据”的名称来自于未来学家托夫勒所著的《第三次浪潮》
尽管“大数据”这个词直到最近才受到人们的高度关注,但早在1980年,著名未来学家托夫勒在其所著的《第三次浪潮》中就热情地将“大数据”称颂为 “第三次浪潮的华彩乐章”。《自然》杂志在2008年9月推出了名为“大数据”的封面专栏。从2009年开始“大数据”才成为互联网技术行业中的热门词汇。
2.最早应用“大数据”的是麦肯锡公司(McKinsey)
对“大数据”进行收集和分析的设想,来自于世界著名的管理咨询公司麦肯锡公司。麦肯锡公司看到了各种网络平台记录的个人海量信息具备潜在的商业价值,于是投入大量人力物力进行调研,在2011年6月发布了关于“大数据”的报告,该报告对“大数据”的影响、关键技术和应用领域等都进行了详尽的分析。麦肯锡的报告得到了金融界的高度重视,而后逐渐受到了各行各业关注。
3.“大数据”的特点由维克托·迈尔-舍恩伯格和肯尼斯·库克耶在《“大数据”时代》中提出
维克托·迈尔-舍恩伯格和肯尼斯·克耶编写的《大数据时代》中提出:“大数据”的4V特点:Volume(数据量大)、Velocity(输入和处理速度快)、Variety(数据多样性)、Value(价值密度低)。这些特点基本上得到了大家的认可,凡提到“大数据”特点的文章,基本上采用了这4 个特点。
4.在云计算出现之后“大数据”才凸显其真正价值
自从有了云计算服务器,“大数据”才有了可以运行的轨道,才可以实现其真正的价值。有人就形象地将各种“大数据”的应用比作一辆辆“汽车”,支撑起这些“汽车”运行的“高速公路”就是云计算。最著名的实例就是Google搜索引擎。面对海量Web数据,Google于2006年首先提出云计算的概念。支撑Google内部各种“大数据”应用的,正是Google公司自行研发的云计算服务器。
众说纷纭的表达
《大数据时代》的作者维克托·迈尔·舍恩伯格解释:了解什么是“大数据”的定义非常关键。首先要明确的是,“大数据”并不是很大或者很多数据。根据维克托在书中的描述,“大数据”并不是一部分数据样本,而是关于某个现象的所有数据。第二点,由于掌握了关于某个现象的所有数据,那么在统计时就能接受更多不准确的信息。第三,“大数据”的分析着重在了解“什么”而不是“为什么”。比如人们可以通过各种相关数据来了解未来将会发生什么,而不是这些事情发生的原因。要探寻原因会更难,很多时候,知道会发生什么已经足够了。以上这些就是“大数据”的核心,有足够多的数据,允许数据中存在不准确的信息和不去探寻事件发生的原因而是探寻会发生什么事件。
维基百科对“大数据”的解读是:“大数据”(Bigdata),或称巨量数据、海量数据、大资料,指的是所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。
百度百科对“大数据”的定义为:“大数据”(bigdata),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
传媒专家刘建明教授认为:“大数据”同信息是不可分离的,是指信息浩大数量的统计与技术运作。作为人类认知社会方法的一次飞跃,“大数据”技术将给企业运营、政府管理和媒体传播的科学化创造有效机制。
“大数据”的基本判断标准
什么样的数据才是“大数据”?透过层层的迷雾和众说纷纭,可以讲:有了云计算服务器才有了“大数据”应用的价值。
维克托曾说过:“假设你要测量一个葡萄园的温度,但是整个葡萄园只有一个温度测量仪,那你就必须确保这个测试仪是精确的而且能够一直工作。反过来,如果每100棵葡萄树就有一个测量仪,有些测试的数据可能会是错误的,也可能会更加混乱,但众多的读数合起来就可以提供一个更加准确的结果。因为这里面包含了更多的数据,而它提供的价值不仅能抵消掉错误数据造成的影响,还能提供更多的额外价值。现在想想增加读数频率的这个事情。如果每隔一分钟就测量一下温度,十次甚至百次的话,不仅读数可能出错,连时间先后都可能搞混。试想,如果信息在网络中流动,那么一条记录很可能在传输过程中被延迟,在其到达的时候已经没有意义了,甚至干脆在奔涌的信息洪流中彻底迷失。虽然得到的信息不再准确,但收集到的数量庞大的信息让我们放弃严格精确的选择变得更为划算……为了高频率而放弃了精确性,结果观察到了一些本可能被错过的变化。虽然如果能够下足够多的工夫,这些错误是可以避免的,但在很多情况下,与致力于避免错误相比,对错误的包容会带来更多好处。为了规模的扩大,我们接受适量错误的存在。”其中描述葡萄园测量仪采集的数据就是大数据。
大数据实质上是全面、混杂的并且具有数据量大、输入和处理速度快、数据多样性、价值密度低特点的数据。
【文章来源:199it】
-
大数据
企业管理大数据分析方法罗列
作者:杨冰
实际上,站在企业管理角度看问题比站在管理角度看HR本身更有挑战,商业环境的复杂性超乎我们的想象,抽丝剥茧归纳出的静态结论往往仅体现了高超的归纳整合能力,缺乏预测性的理解是战略家们转型的命门所在。
前几天有一则新闻,谈到是十三五规划的启动,公开招标研究25个关键课题。第一个是国际环境变化对我国发展的影响。之后分别是经济、创新、教育、消费...,其中逻辑值得多一层思考。HR的转型突破,避免静态,需要了解从公司的动向的一阶分析中找二阶动力,企业战略的制定要从社会与经济发展中找一阶目标差距和二阶竞争力,国家亦如是。
说到二阶动向,不得不谈数据分析信息处理,科技进步推动思想进步,科技变革推动思维变革,带来管理转型。体现在商业管理中,数据与信息的价值深不可测,大数据带来的商业变化已在近两年内受到前所未有的重视,只是,从认知到行动,到结论,到商业转化,我们没有迈开步子。
数据分析的方法决定了信息本身是否有价值,分析方法的理论主要包括五个基本方面,我用通俗的语言做一个解释:
DataQualityandMasterDataManagement(数据质量和数据管理):通过过程管理,类似考核与改进,确保好的结果,控制对最佳实践的偏离。
AnalyticVisualizations(可视化分析):直观的展示数据,让数据自己说话,让观众自己看到结果,看所关注的信息。
SemanticEngines(语义引擎):非结构化数据的多样性带来了数据分析的新的挑战,语义引擎需要被设计成能够从“文档”中智能提取数据和信息。
DataMiningAlgorithms(数据挖掘算法):可视化是给人看的,数据挖掘就是给机器看的,深入数据内部挖掘价值,要有足够的数据,还有足够的数据处理速度。
PredictiveAnalyticCapabilities(预测性分析能力):在可视化和数据挖掘基础上,作出判断和预测。
大数据处理数据时代理念有三个转变:要全体不要抽样,要效率不要绝对精确,要相关不要因果。
根据一个显而易见的流程,我们可以将大数据分析和商业能力发挥归纳为四个核心要素:
来源:从哪来很重要,会遇到诸多问题甚至是很大的难度。从那里获取以及获取的流程,这需要一个设计的过程,这样的一个转变往往要比想象的复杂,很多企业花了一到两年的时间,就是在解决数据来源的问题。我的理解是,要有广泛的来源,不能全部从定义框架中抓取,如企业内部制定50个关键数据指标,但实际上,问题往往处在你关注的内容之外。
技术:技术手段推动数据的分析能力和运算速度,必须要利用数据平台,这是企业管理信息系统产品的竞争力之一,企业在选择供应商时,需要重点注意数据分析模块以及功能,包括可定制性,或系统之外的顾问服务等增值服务。
挖掘:借助技术手段,就可以整理、提炼、分析和总结数据内容,展开价值挖掘,定义框架是很有必要的,数据和信息此时要靠边,让管理的专业人员提出数据的要求或参与数据分析,因为真正的管理结论才是重要的。
应用:这是数据价值转化的关键,我们需要将前面数据分析的三个过程,融入管理行动与改进循环。
-
大数据
注意!大数据的九个大教训
【文章作者:Dink】
昨天和今天我参加了俄亥俄州立大学的“大数据未来研讨会”。俄亥俄州正在与IBM公司合作在当地创建一个大数据中心,逐渐成为该领域的一个重要学术力量。本次研讨会汇聚了来自全国各地的专家和一名来自英国的专家,就该领域当前的成就、趋势和话题进行一次卓有成效的探讨。很遗憾我没能参加今天下午的展示会,但大家可以在会议官网和即将出版的《信息社会的法律和政策》杂志(AJournalofLawandPolicyfortheInformationSociety)上了解更多详情。
大数据和开放数据不是一回事,但他们有着密切的联系(正如我在主题发言稿“未来的大数据将会开放到什么程度?”上写到的)。我们正在关注的大数据一些趋势和话题与开放数据也有关系。按照这样的脉络,就出炉了这篇我在去哥伦布的路上学到的《了解大数据的九件事》。在研讨会的官网上可以看到我用黑体标注的人们的名字。
为大数据的激烈反应做好准备。很多演讲者提到了“大数据过分渲染宣传”的话题,认为大数据被讨论得如此热烈,以至于我们现在可以进入一个反应性的循环。MikeNelson对他在公开场合看到的逐渐出现的“垃圾数据”提出了责难,甚至建议我们应该重新命名大数据,它可以有一个“大兄弟”–就像很多人一样。他建议改名为:BFFMUDD,是大(Big)、肥(Fat)、快(Fast)、乱(Messy)、非结构化(Unstructured)、分布式数据(DistributedData)的缩写。
意识到“大数据的狂妄自大”。好几位演讲者引用了一份新报告,报告显示,“Google流感趋势”–大数据预测价值的首批大范例之一–被证明非常不准确。显然,Google可能自作聪明地以一种错误的方式调整了其算法。不管什么样的错误,这都是个教训,表明如果不着眼于更广阔的图景,而只是试图通过碾碎数据来发现真相,通常情况下无法获得预期效果。
数据不能代替判断。数据,尤其大数据是可以帮助人类做出决策的工具,但不能起到代替的作用。RayHarishankar是这样说的:“数据加上分析是信息,信息加上语境可以提供洞察力,洞察力必定能导向正确的行动,正确的行动则带来提升价值的结果”。
相关关系不能强过理论。一些大数据的倡导者认为大数据几乎让理论变得多余:他们说,有了足够的数据,即使没有理论说明其原因,我们也可以发现很多重要和有益的模式和趋势。确实,简单的相关关系在一定程度上就可以驱动精确的预测。但即便是具备预测分析的能力,也并不意味着你就能真正地理解你正在研习的系统是如何运行的。EytanAdar建议我们审视大数据范围从预测性到解释性的所有相关努力,并且更多地关注如何理解我们所看到的东西,而不是仅仅关注可预测未来的模式。
大数据正在-冒着风险–追踪一个“移动” 社会。在全球范围,移动设备都已经成为人类的首选在线连接工具。FarnamJahanian指出到2015年全球移动设备的数量将是人口数量的两倍,所有的设备都可以发送位置信息和其它数据给能够收集这些数据的公司。这将成为未来社会大数据的主要来源之一。但KateCrawford?指出了这里的隐私风险:由于人类移动行为模式的独特性,你可以仅用3-4个手机生成的数据点就能识别一个人。
大数据能帮助–或者损害城市的民主体制。正如HarveyMiller所说,通过手机数据、远程环境感应器、激光生成的航空地图和更多工具来追踪城市活动的能力,可以给我们创造拥有更高代谢功能的超级协调城市。(遗憾的是,我不得不在MichaelBatty关于城市分析的主题演讲之前离开,不过他在个人网站上提供了演讲内容)但是,KateCrawford在这里再次提出了警告。如果我们不小心,城市数据收集就会不对称地帮助富人而伤害穷人。
比如,波士顿的StreetBumpAPP应用通过追踪智能手机的摆动状态来收集坑洼里的数据,用志愿者的数据来反映一条道路的颠簸不平。但大多数智能手机的拥有者都属于生活富裕的人群,以至于最初是在更富有的地区监测和修复坑洼–这是StreetBump目前正在致力于修正的难题。在相反的另一面,“预测监控”正在被用于将警察管制实施于预测将会有高犯罪率的地区,这将导致歧视性的执法。
隐私仍然事关要紧。忘掉那些宣称公众,尤其是年轻人已经放弃隐私的报告吧。我们仍然关心隐私问题,只是不知道该怎么做。这里有两个考虑因素:我们想知道政府机构或数据跟踪公司收集到了哪些关于我们的数据信息,以及如果我们不喜欢,则想让他们停止收集。关于如何解决这些考虑因素还不是很清晰。会上的一些发言者建议采用简单的解决方案:让政府和公司对它们正在收集的数据更公开透明,这是一些人称之为“互相确认的公开”的方法。但是一个长期的透明度倡导者GaryBass说,这个建议的解决方案“不是真实的世界。在过去的30年里,我拼命地斗争让数据变得可获取,而政府和公司则拼命地让数据不可获取……这是一场旷日持久的斗争”。正如其他人所说,这里的风险在于我们可能增强了数据收集者和被收集者之间的力量不对称性。
大数据应当展现数据之美。数据可视化方面的迅速进步正在创造一些美轮美奂的效果。比如,看一看这部“体验自行车人流”的视频,逐渐解析伦敦自行车交通的数据,展示俄亥俄州超级计算机中心最清晰的模式和部分已经完成的可视化作品。类似这样的数据可视化并不仅仅关乎美学,而是与理解息息相关。IBM公司的一位数据可视化专家AngelaShen-Hsieh谈到人们需要使数据更加“适合人类消费”,以及关注从计算机屏幕到人脑的信息传递旅程中的“最后18英寸”。
大数据将(很有可能)产生大价值。抛开所有的警告不管,大数据中有很多社会价值和经济价值可以发掘。麦肯锡几年前一份具有里程碑意义的大数据报告预测它将撬动数万亿美元的经济价值。这项研究的联合作者,微软公司的AngelaByers?今天说到,也许仍需要5-10年时间才能产生这样的价值,部分原因是我们仍然面临一个重要的技能鸿沟:即可获得的数据数量和清楚如何利用这些数据的人的数量之间存在的差距。但是经济价值正在逐步显现,并且以某种令人惊异的方式呈现。JohanBollen和他的团队成员运用Twitter上的大数据情感分析来预测股票市场:他们计算Twitter上的“镇静”情绪来预测道琼斯指数三天后的收盘点位。
文章来源:199it
-
大数据
大数据:传统教育和在线教育的分水岭
[36氪原创文章,作者: 苑伶]
不论是 Coursera 创始人 Andrew Ng(吴恩达),还是 Duolingo 全球发展及公关副总裁 Gina、学大教育 CEO 金鑫,都在今天的演讲里提到了一点,即“大数据”(big data)是在线教育区别于传统教育很关键的一点。
Andrew Ng 举了个例子,传统的教育没有办法数据化,而 Cousera 却可以了解人们学习的机制,比如他们发现,如果老师向他在 Coursera 上的学生们发一封邮件,提醒大家:“亲爱的同学们,今天是周六,你要交作业咯!”,这么说的话,可能就没什么人会听老师的话按时交作业,但是如果你发邮件给某个同学,说她上周看了五个视频,还称赞她在社区里回答了几个问题很棒,最后顺带提醒一下:别忘了交作业哦,这样很多学生就会被鼓励而按时交作业。为什么 Cousera 可以发现这个呢?因为他们可以监测整个 Cousera 上的学生学习行为,了解每一封教师发出的邮件带来的学生们的反馈。
Duolingo 全球发展及公关副总裁 Gina 也举了类似的例子,比如 Duolingo 可以监测到有成千上万的人在学习语言,有一部分人是先学习了动物类词汇,再学习颜色类词汇,另一部分人反之,他们可以发现第一种顺序带来的学习效果比第二种顺序好,因此可以实时调整 app 内的教学内容。据 Gina 说,基于科学(base on science)的 Duolingo 可以做到“everyday it takes less time to study more”。
最后,学大教育 CEO 金鑫把移动互联网对传统教育带来的改变作了总结:
1. 从批量到个性。移动互联网时代,知识的获取变得以学生为中心,因为每个学生的智力特点和吸收水平都是不一样的,有了移动互联网,才有了以学生为中心的学习,不再是所有人在统一的课堂上在规定的四十五分钟内听相同的内容。
2. 从封闭到开放。传统教育是大家在一个封闭的客厅里,规定每节课 45 分钟,而现在移动互联网可以让学生和全世界各个地方的学习者交流。
3. 固化到碎片。移动互联网给了我们这样的机会,可以充分利用碎片化的时间。不仅如此,我们每一次对碎片化时间的利用都还可以是非常高效的,因为学习系统了解你的学习情况,知道怎么让你更高效地学习。
4. 从围墙到跨界。原来只有枯燥的纸和书本,现在有视频、甚至 3D 的教学内容,跨界的技术让学习越来越丰富。
5. 自我到社交。现在有班级圈 、学校圈甚至全国各地的同好圈。
6. 单中心到多中心。现在学生获取的信息一点都不亚于老师,未来的师生关系应该是从传道授业变成解惑的角色,传道授业由互联网上高质量的老师资源来替代。
总而言之,未来的学习会变成以需求为中心,动态的教与学关系,每个人都能达到自己最大的学习潜能 。
-
大数据
创业公司想招人?试试大数据
【文章来源:雷锋网】
大数据这个词你一定听过,也有可能用过一些工具分析数据。但不论你是否用过,大数据都能帮你做出更准确的分析。那它能预测创业公司成功的可能性吗?或更准确地说,预测招聘的员工能否为公司发展作出贡献?答案是:可以。Xerox早已利用大数据节省了约一半的员工成本,并使用认知与个性测量工具雇佣了不少优秀的人才。
无论创业公司处于什么阶段,都可以像Xerox一样利用大数据对公司的各方面作出预测。以下是几种大数据利用方式。
更好的筛选工具
如果从一开始就利用更好的筛选工具,创业公司就能更好地衡量候选人未来的工作表现。例如,仅仅假设换过很多工作的人不会是一个好员工并不够。事实上,大数据研究的结果与此相反,频繁换工作的人并不比长期在一个岗位的人表现得更好或更差。
创业公司可以考虑用一些更好的筛选工具,对与公司相关的特质进行分析。旧金山的一家小型公司Evolv开发出了一些测试工具,可以根据预先设定的因素对候选人的合适程度作出测量。例如,零售业者需要具备果断、空间定向、说服力等特质,客服则要能够与客户建立良好的关系。筛选结果能为招聘、管理及绩效评估提供不少帮助。
社交化分析
一家创业公司可能无法承担昂贵的测试和评估费用,那么利用社交网络是一个不错的选择。现在几乎每个求职者都会使用社交网络。社交平台在最开始被认为会影响工作,但现在已经成了大数据的宝箱,它提供了候选人的交际范围及分享内容等信息,可以帮助对其作出进一步了解。
目前不少创业公司会利用Entelo这样的平台,挖掘Facebook、Google+、LinkedIn、Twitter上的社交数据。它们被称为“人才搜索引擎”,可根据公司认为重要及被证明为有用的的特质,寻找合适的候选人。
分析推荐程序
虽然人才评估与测试很重要,但最有效的招聘途径还是员工推荐。事实上,获推荐员工一年后的留职率达46%,两年后为45%。
有研究发现,LinkedIn用户在换工作前,会更新其自我介绍、关注更多公司、与招聘人员进行更多互动、添加推荐信息。大数据显示,专业社交网络用户更倾向于接受推荐信息。
如果利用大数据分析推荐网络,创业公司可以了解分布推荐信息的最佳来源,而这些人往往对公司来说十分重要。一般而言,最初的推荐人数可能只有数百人,但社交网络的扩大效应会让人数呈几何指数增长。
如果利用得当,大数据可以在公司组织与人才招聘上预测公司的成功与否。如果你想成立一家公司,那可以考虑试试大数据。
-
大数据
大数据调查,趋势将会如何?——信息图
【图片来自:云图网】
查:据国外商业智能软件开发公司Jaspersoft调查,投资在大数据上的规划和资金都在逐年上升,36%的人有投资大数据的计划,大数据前景大好,最受欢迎的大数据类型是CRM,金融领域和电子商务。
-
大数据
大数据销售管理服务提供商InsideSales获得1亿美元C轮融资,估值近10亿美元
【文章来源:36氪,作者: 暮山】
专注于提高销售效率的大数据销售分析服务提供商InsideSales今日获得来自包括 SaleForce 在内的八家机构的 1 亿美金 C 轮融资,使其估值接近 10 亿美元。
InsideSales 为 SaleForce 等 CRM 软件提供销售行为记录、大数据分析、游戏化管理三项服务。
InsideSales 能让销售人员通过 PC 给客户打电话,发短信,留语音短讯等,并能记录打电话的频率和时间等内容,让销售管理人员可以知道员工的工作情况。并且,销售人员每天发了多少邮件,打了多少电话,完成了多少的销售目标等都会游戏化的排名呈现,并设立目标奖励机制。
除此之外,InsideSales 的当家卖点是通过大数据预测客户行为。利用大数据,InsideSales 会告诉销售人员某个客户应该什么时候给其打去电话,何时回复他,一共给他打几次电话等,从而提高销售效率。
-
大数据
大数据时代的用户信息安全三原则
作者:周鸿祎
随着智能设备越来越多,厂商手收集的数据越来越多,一个人变得越来越透明,这时候个人安全问题就变得越来越突出。大家应该抛弃门户之间,携手共同制定用户信息安全原则:一,用户所有权原则;二、平等交换的原则;三、安全处理原则。
几年前,雷·库兹韦尔写过一本书叫做《奇点临近》。他说,人类文明经过这么多年发展,在本世纪的中叶会经过一个点,这个点,就是奇点。奇点是一个拐点,也就是说人类文明可能会进入一个分岔,可能会进入一个新的文明高度,也可能会急转直下,人类就此灭亡。所以奇点有双重的含义,有可能变得更好,也有可能变得更糟糕。
我认为随着大数据时代的到来,互联网也将走到一个奇点,而安全将决定互联网走过这个奇点之后,到底是向上走到一个新高度,还是向下走到一个坏局面。大数据时代,有两个事情无法避免。首先,现在用户产生的数据都会存在云端,都会存在各个厂商的服务器上。第二,数据采集能力更强大,采集范围更广阔。
现在不仅有移动互联网,未来还会有物联网、车联网,会有更多的可穿戴智能设备,这些硬件普及之后,你会发现用户使用这些设备产生的数据规模将是空前的。在移动互联网上,厂商对用户了解之深入,是PC互联网完全不能比的。
比如,原来在PC互联网里,所谓用户信息,就用户存下来的那点艳照,而且很可能是还存在本地目录里。但有了智能手机以后,手机变成了你的钱包,而且手机里有太多私密的东西。一旦你丢了手机,就会产生很多问题。
一个行业大佬跟我讲过他的智能冰箱梦想。冰箱按成本价卖,一分钱不赚。我问那你最终靠什么赚钱呢?他回答说,我在冰箱里设置了好多摄像头,而且冰箱接入互联网。以后中国13亿人民买多少鸡蛋,买了多少青菜,放在里面有没有过期,我全都知道。这些数据里面就有很大的商业机会呀。
我想,那也是,现在的智能手环可以随时记录你的运动数据,你半夜干点什么厂商通过分析数据就能知道。以后很可能灯泡都要连上Wifi,插座都要连Wifi,最近我看到的一条新闻是,连城管都戴智能眼镜来执法了。
中国已经有10亿互联网用户,但是将来连接互联网的设备不只是10亿台,因为每个人可能同时有多种智能设备联网,可能50亿台,可能是100亿台,这么多设备产生的数据会让一个人变得越来越透明。当大数据时代来临,这些用户信息能不能保证足够的安全,这将是一个奇点,决定这个拐点何去何从。
最近,互联网行业出了很多安全事故,例如曝出SSL心脏流血漏洞,还有电商公司存储了用户信用卡里不该存储的信息。
在未来两三年里,这个情况会变得特别严重。你会发现,安全问题已经不是说在你的电脑、手机上杀病毒,清理插件。汽车现在正向智能化发展,无人驾驶汽车已经开发出来,软件是汽车智能化的基础。任何软件都有漏洞,软件功能越多,就越复杂;软件越复杂,出现漏洞的可能性就越大。如果黑客发现了漏洞,攻破这个软件,黑客就有可能通过远程云数据交换,从云端控制这个汽车。这就不是一个电脑重新格式化的问题,而是生命安全的问题。
如果在大数据时代,安全不能得到保障,那么或者用户不再信任你,不敢选择你。就像今天曝出心脏流血漏洞,很多人立刻就把手机和网银解绑,有的电商存储了用户信用卡的CVV码,有的用户就选择抵制这家公司。另一种可能,是消费者都无知无觉,但完全不知道自己把什么数据交给了厂商,也不知道厂商如何处理。一旦再出重大安全事故,那甚至将导致一定程度的社会混乱。如果没有足够强大的安全保障,云计算和大数据向未来发展,必将付出惨重的代价。
我们所有的互联网从业者都要考虑一下,如何在憧憬大数据产生商业效益的时候,也考虑一下如何更好的保护用户信息这个问题。当年阿西莫夫在很多科幻小中提出了著名的机器人三原则,就是为了防范机器人取代人类等安全问题。
那么现在,我认为也需要在大数据来临的时候,大家一起抛弃门户之间,携手共同制定一个用户信息安全三原则,来自我约束,自我监督。
第一,用户的信息是用户的个人资产。很多互联网大公司可能比较抵制我这个观点,因为互联网大公司在用户协议里说:因为用户号码是我给的,所以用户是我的,用户的好友列表也是我的,用户产生的内容也是我的。但是,它又发表一个免责声明,说用户产生的任何法律问题,都与自己无关。先不说这种自相矛盾的逻辑,我的观点是,用户使用厂商的服务产生的信息,是属于用户自己的个人资产。用户使用各种设备、各种软件产生的数据,虽然存储在厂商的服务器上,但是从所有权方面讲,它应该明确地属于用户,是用户的财产。
二是平等交换的原则。在大数据时代,通过云端的数据交换,厂商为用户提供服务。只要用户使用了厂商的服务,就会有相关的数据产生。你用微信的时候,为了匹配朋友,你的地址本自然要上传。为了与朋友聊天,你的聊天记录自然会保存在厂商的服务器上。但是,用户的信息和厂商之间,应该遵循平等交换的原则。什么叫平等交换?用户享受服务,厂商获取信息,但在这个过程中,用户要有知情权,厂商要得到用户授权才能使用用户信息,也就是说,用户要有选择权,有拒绝权。
举个例子,如果是一个类似大众点评这样的应用,因为要根据用户的地点给他找饭馆,自然它需要用户的位置信息,我认为这是合理的。这就是平等交换。但如果是一个小说阅读软件,也要获取用户的位置信息,我认为这个服务就不再是一个平等的交换,实际上它要了不该要的东西。平等交换原则也符合《消费者权益保护法》的基本原则,就是消费者要有知情权、选择权。
三是安全处理原则。有的人认为安全就是互联网安全公司干的事,就是杀毒软件的事,我觉得这个观点是错的。任何一家互联网公司,包括现在做可穿戴硬件的公司,都会变成一个互联网服务公司,用户会使用这些硬件产生大量的数据。所以,任何一家互联网公司都有责任保护用户信息的安全,要在云端对用户数据进行足够强度的加密,包括安全存储和安全传输。
只有用户觉得自己的信息是安全的,用户放心,他们才会更大胆地去尝试各种新的互联网服务。如果像大家每天在网上看到的,都是你说我的支付不安全,我说你的红包有危险。最后的结果是什么?很多人会说,反正在网上用手机支付不安全,那我就不用了。如果是这样,互联网想繁荣,我觉得是不可能的。
所以,这个三原则不是我们一家公司的问题,也不是几家安全公司的问题,而是从巨头到各位创业公司,大家要共同推动的事情。我们这些互联网行业里的人有责任给用户建立一个安全的基础。所以是时候抛弃门户之见了!将三原则推行起来,让用户对互联网建立真正的信心。
-
大数据
百度今日正式发布全球首个大数据引擎
新浪科技讯
百度第四届技术开放日今天在京举行。会上,百度正式宣布对外开放“大数据引擎”,将开放云、数据工厂和百度大脑等核心大数据能力开放,向外界提供大数据存储、分析和挖掘技术。
百度“大数据引擎”包括开放云、数据工厂和百度大脑三个核心组件。百度将通过平台化和接口化的方式,对外开放其大数据存储、分析和智能化处理等核心能力,这也是全球首个开放大数据引擎。
据悉,百度的合作机构和传统企业,将能够在线使用百度的大数据架构,处理自身积累的大数据,同时融合百度大数据技术进行挖掘处理,改造传统行业的企业管理、商业模式等环节。
百度大数据引擎将经历逐步开放的过程,目前采取邀请制和免费模式,与政府、非政府组织、制造、医疗、金融、零售和教育等传统领域率先展开合作。
百度CEO李彦宏表示:“技术改变互联网。很多人已经感受到互联网对生活的改变,但较少感受到技术对互联网的改变。“他认为,并行计算能力的提升和云存储技术产品成本的降低,使大数据走到了技术变革的临界点。
据悉,国家交通运输管理部门的部分应用计划迁移至百度开放云平台;中国疾病高预防控制中心也将结合疾控大数据和百度大数据,建成中国首个流感预测系统。
目前,传统企业普遍面临大数据应用困境,数据存储管理和分析挖掘的能力存在瓶颈。百度已推出百度指数、百度商情和百度司南等大数据商业化应用,此次则选择将自身处理大数据的技术能力对外开放。(娜拉)
-
大数据
大数据云安全策略4大窍门
【文章来源:网界网】
云计算与大数据的结合可以说是天作之合。大数据需要灵活的计算环境,而后者可以快速、自动地进行扩展以支持海量数据。基础设施云可以精准地提供这些需求。但是无论什么时候对云计算展开讨论,我们都无法回避以下问题:
针对大数据的云安全策略是什么?
当在大数据使用案例中提及云安全策略时,我们希望任何安全解决方案都能够在不影响部署安全性的情况下提供与云一样的灵活性。在将大数据转移至云上时,以下四个小贴士可以让用户既能享受到云计算的灵活性又能获得严格的云安全策略。
1、将敏感数据加密(强烈推荐)
数据加密将会为你的云基础设施建起一堵“虚拟的墙”。部署云加密措施被认为是首要步骤,但是它们并不适合所有的解决方案。一些加密解决方案需要本地网关加密,这种方案在云大数据环境下无法很好的工作。还有一些解决方案(例如,由云服务提供商对数据进行加密)会迫使终端用户信任那些拥有密钥的人,而这些本身就蕴藏着危险和弱点。
近期的一些加密技术,如分裂密钥加密,都非常适合云计算。用户在享受基础设施云解决方案提供的优势的同时又可以将密钥保存在自己手中,让密钥处于安全状态下。为了能够让你的大数据环境获得最佳的加密解决方案,建议使用分裂密钥加密。
2、寻找在结构上能够扩展的云安全解决方案
在大数据当中,结构的每一个组件都应该能够扩展,云安全解决方案也不例外。在选择云安全解决方案时,用户需要确保它们在所有跨地区云部署点中都能够发挥作用。此外,它们在大数据基础设施当中必须要能够高效地扩展。表面上,这并不涉及硬件问题。但是由于硬件安全模块(HSM)不具扩展能力并且无法灵活适应云模式,因此它们不适合大数据使用案例。
为了获得必要的扩展性,建议使用专门针对云计算设计的云安全解决方案,它们的安全性可以等效(甚至是超过)基于硬件的解决方案。
3、实现最大程度的自动化
云安全架构无法轻易扩展这一因素导致大数据云计算机的研发受挫。传统加密解决方案需要HSM(硬件)单元。勿庸置疑,硬件部署无法实现自动化。
为了让云安全策略尽可能地实现自动化,用户应当选择虚拟工具解决方案,而不是硬件解决方案。用户需要明白可用的API(最好是闲置的API)也是云安全解决方案的一部分。虚拟工具加上闲置的API能够在云大数据使用案例中提供所需要的灵活性和自动化。
4、对数据安全永不妥协
虽然云安全通常十分复杂,但是用户在大数据部署当中还是会发现一些“安全捷径”。这些“安全捷径”通常貌似能够回避一些复杂设置,同时保持大数据结构“不受伤害”。
一些客户可能会使用免费的加密工具,并将密钥存储在硬盘(这种做法非常不安全,可能会导致加密数据被暴露在任何有访问虚拟硬盘权限的人面前),有些客户甚至不采取加密措施。这些捷径肯定并不复杂,但是很明显,它们并不安全。
在涉及大数据安全性时,用户应当根据数据的敏感程度进行分类,然后对它们采取相应的保护措施。在一些案例当中,结果往往是戏剧性的。并不是所有的大数据基础设施是安全的,如果处于风险当中的数据非常敏感或是属于管制数据,那么用户可能需要寻找替代方案。
针对大数据的云安全策略
只有为数据建立了最为严格的安全标准,大数据才能够不断地享受着由云计算提供的可扩展性、灵活性和自动化。加密被认为是保护云(大)数据的首要步骤。分裂密钥加密和同态密钥管理等新技术应当投入到保护敏感数据当中,同时用户还需要严格遵守HIPAA、PCI等规章制度。
扫一扫 加微信
hrtechchina