希腊哲学家赫拉克利特说,“人不可能两次踏入同一条河流。” 当然,他指的不是高速流动的数据流。
当今的数据传输速度快、流量大,从数据流中提取数据并了解它们的含义是很困难的。但是,这正是 IBM 新的 InfoSphere Streams 技术的目标 —— 在以传统的方式存储数据流之前,实时探查它并分析其内容。
InfoSphere Streams 可以在数据 “运动” 过程中捕捉并分析关键信息,并把结果立即发送给某人或另一台计算机。这种技术背后的核心业务思想是:及时的信息有巨大的价值。例如,“沙特阿拉伯的输油管道遭到袭击” 这样的消息会对石油贸易造成重大影响。但是,流计算的作用不仅仅是提取各种新闻:它可以把来自多个数据流的信息组合起来,执行复杂的预测性分析。
IBM 把这些功能称为流计算,流计算功能是业务事件处理 (BEP) 功能的一个具有预测性质的特殊子集。不管如何称呼它,一些行业观察家认为这种技术意义重大。
机会和需求
自从数据流一出现,就有分析数据流并从中获取有用信息的需求;但是,直到几年前,仍然只有那些非常大的银行和政府机构能够通过昂贵的定制系统满足这种计算需求。 IBM 正在致力于为广泛的业务应用程序提供通用的事件处理功能 —— InfoSphere Streams 是重要的一步。
流计算的研究尚处在起步阶段,这是一个新兴的产品开发领域。这个技术领域的出现是因为客户面对的信息量急剧增加,而且他们需要更快地解释信息并根据信息采取措施。 IBM 多年的一个研究项目(当前称为 “ System S ”)致力于开发一种难度较大的硬件和软件组合,以满足业务事件处理的速度和分析需求。 InfoSphere Streams 当前属于 IBM 的 BEP 技术和产品组合,其中包含 InfoDyne(用于低延迟信息分析)、AptSoft(用于复杂事件处理的软件)、Solid Information Technology(高速内存数据缓存和分析)和 Cognos Now!(事件驱动的 BI 技术)。
InfoSphere Streams 的目标是提供一个完整的独特的产品系列,让金融服务、公共卫生、安全、制造、科学研究等领域的许多不同客户都能够使用它。
包含许多部分的平台
IBM 把实时事件处理分解为六种操作 —— 筛选、关联、分类、转换、注解和决策,这些操作可以组合成一个连续的处理流。通过使用适当的硬件和软件,InfoSphere Streams 可以捕捉数据流、筛选内容并调用复杂的分布式事件计算,从而在几毫秒内把数据关联、分类和转换为有价值的信息。
数据流本身可以来自几乎任何数据源,包括 RSS feed、Internet 新闻和公司内 / 公司间数据。这种数据的性质各异 —— 尽管还不算是 “非结构化数据”。 WebSphere Business Monitor、IBM InfoDyne、WebSphere Message Broker、Tivoli Netcool/Impact、IBM Mashup Center、WebSphere MQ Low Latency Messaging 和特殊用途的适配器都可以与 InfoSphere Streams 结合使用,从而帮助收集和排序流数据。然后,把数据交给各种事件处理操作器。
InfoSphere Streams 的特色之一是可以以多种方式扩展:从处理简单的业务规则和单一信息项扩展为处理复杂的任意的连续信息;从每秒处理 10,000 条消息扩展为在几毫秒内处理数百万条消息;从使用单一处理器扩展为使用数百(或数千)个节点。很自然,这种系统的硬件最好是刀片服务器组,或者 IBM System p 等其他并行处理系统,或者大规模并行的 IBM Blue Gene/P 。但是,InfoSphere Streams 并没有限制使用的硬件;因此,它也可以在并行度比较低的系统上运行。
通过由 WebSphere Business Events、IBM Data Studio、IBM solidDB 和 InfoSphere Warehouse 提供的软件系统组织巨大的计算。
把信息发送到哪里?
流计算的价值就在于它能够产生预测性信息。一场飓风会对石油贸易造成什么影响?将正确的信息及时地交付给适当的人(或者系统)帮助其做出决策,这个过程的价值是不可估量的。
InfoSphere Streams 为人和计算机提供了各种工具。例如,商人要应对各种困难的局面,这需要经验和人工评估。 IBM Cognos Now!、IBM Mashup Center 和 IBM WebSphere MQ 等产品要以适当的形式(比如 dashboard)向用户显示信息。有时候,需要把信息交付给自动交易系统。
如果您注意到上面这些场景都涉及许多不同的产品,就会明白流计算的困难之处 —— 必须仔细地完成许多集成任务。
InfoSphere Streams 分析通常是在传统的数据管理系统之外执行的。 IBM 把这称为 “运动过程中的” 数据分析,它与事后对存储数据库中数据进行分析相对。但是,这种分析的结果也可以保存在传统数据库中,比如 DB2 。因为处理的毕竟是数据,在一般情况下 DBA 最终可能会负责管理事件处理。
流计算的影响
IBM 用 “超级计算” 来描述实时事件处理。在某些情况下,确实如此。
先不说体育比赛直播回放,当前的趋势表明事件处理将成为常见甚至主流的计算形式。借用 IBM 的另一个说法:“能够感知真实世界” 的计算。系统能够感知来自各种传感器的信息(视频、热量、音频等等),并把大量实时数据发送给各种系统(医疗、制造、科学研究、司法等等)。在不远的将来,廉价的传感器将无处不在;流计算对于发挥这些设备的作用是必不可少的。这将开启一个全新的计算时代。
IBM 的许多业务事件处理形式(包括 InfoSphere Streams)正在逐渐成熟起来。目前,让每个企业都实现流计算还不容易或不适合,但是这种情况很快就会改变了。在不远的将来,我们将以赫拉克利特不曾想像的速度处理信息流。
分享到:
相关推荐
⑤一般即时信息格式必须允许对信息有效负载的编码和鉴别(非ASCII内容); ⑥一般即时信息格式必须反映当前最好的国际化实践; ⑦一般即时信息格式必须反映当前最好的可用性实践; ⑧必须存在方法,在扩展一般即时消息...
全球最流行的十大即时通讯软件.doc
分析了网络即时通信工具的特点,结合了现在校园局域网的的发展规模,提出了基于J2SE的即时通信工具的设计,分析了该系统的功能模型和主要技术,论述在C/S体系结构下,设计一种局域网即时通信工具。主要功能为在线即时...
Java是当前比较流行的开发语言之一,它有着自己的易用特点与性能优势,比如跨平台、安全性、多线程、网络Socket编程、数据流概念等方面,因此通过对开源即时通讯LinuxQQ的研究和分析,基于Java语言和J2EE规范设计了...
用户注册,登录,信息设置等; 会议室管理; 视频回看; 会议记录; 演示 网页版: :airplane:更多视频解决方案资源汇总 流媒体技术: :copyright:EasyDarwin开源流媒体服务器: :copyright:TSINGSEE视频开放平台:...
3.4 语音通讯系统数据流图 15 第四章 语音通讯系统的设计 17 4.1 系统结构 17 4.2 开发工具 17 4.3 流程设计 18 4.4 语音通讯系统总体设计 19 4.5 语音通讯系统详细设计 19 4.5.1 登录模块 19 4.5.2 建立连接模块 20...
开发一个简单的P2P即时聊天系统,实现功能如下: 1) 点对点的单人聊天 2) 多人同时聊天 3) 用户可以自由加入和退出。 本次系统开发主要涉及到socket编程技术和多线程技术。为了保证数据收发的可靠性,本系统选择的...
系统可以提供信息显示和相应服务,总之,即时空教室查询小程序集中管理信息,有着保密性强,效率高,存储空间大,成本低等诸多优点。它可以降低信息管理成本,实现信息管理计算机化。 关键词:即时空教室查询小程序...
即时通讯(IM)系统源码+项目说明(免费IM系统(含单聊,群聊,聊天室,文件传输),免费一对一视频聊天,VOIP,语音对讲(回音消除),直播连麦,视频直播,RTSP拉流,RTMP推流,webRTC服务端,在线教育,白板,小班...
Java是当前比较流行的开发语言之一,它有着自己的易用特点与性能优势,比如跨平台、安全性、多线程、网络Socket编程、数据流概念等方面,因此通过对开源即时通讯LinuxQQ的研究和分析,基于Java语言和J2EE规范设计了...
即时通讯(IM)系统源码+项目说明(免费IM系统(含单聊,群聊,聊天室,文件传输),免费一对一视频聊天,VOIP,语音对讲(回音消除),直播连麦,视频直播,RTSP拉流,RTMP推流,webRTC服务端,在线教育,白板,小班...
Java是当前比较流行的开发语言之一,它有着自己的易用特点与性能优势,比如跨平台、安全性、多线程、网络Socket编程、数据流概念等方面,因此通过对开源即时通讯LinuxQQ的研究和分析,基于Java语言和J2EE规范设计了...
桌面即时通讯软件是一个潜力巨 大的支付窗口,它拥有能够把眼球转化成信息流乃至现金流的魔力。目前的即时通讯软件 已经向游戏、音乐、社区,甚至门户等领域的发展,人们已经更乐于用这些即时通讯软件 来交朋结友,发送...
当用户点击网站上在线客服按钮后,系统通过用户IP或者Cokie,或者与网后台结合,判断用户所在地区、用户类型等相关信息,通过智能分拣技术,分配到提前设定好的相关客服进行接待。 5、智能机器人技术 系统可以...
XXX学院信息商务学院 毕业论文(设计)开题报告 "论文(设计)题目 "即时通信软件的设计与开发---客户端 " "姓名 "XXX "系别"信息技术系 "专业 "ZB计131 "学号"XXXXXXXX " " " " " "班级 " " " " "1.选题目的和意义...
分布式即时聊天系统分为用户信息子系统、长连接管理子系统、聊天信息子系统共三个子系统,API 网关负责将请求路由至各个子系统。 * 用户信息子系统包含权限校验模块、用户登录模块、好友管理模块,其中好友管理模块...
Java是当前比较流行的开发语言之一,它有着自己的易用特点与性能优势,比如跨平台、安全性、多线程、网络Socket编程、数据流概念等方面,因此通过对开源即时通讯LinuxQQ的研究和分析,基于Java语言和J2EE规范设计了...
IM即时通信消息系统源码+项目说明(含一对一文字聊天,群聊,聊天室)免费一对一voip实时通话,录屏,webrtc服务端,免费直播连麦,互动直播,视频直播,RTSP拉流,RTMP推流,语音对讲,免费在线会议,视频会议等...
Java是当前比较流行的开发语言之一,它有着自己的易用特点与性能优势,比如跨平台、安全性、多线程、网络Socket编程、数据流概念等方面,因此通过对开源即时通讯LinuxQQ的研究和分析,基于Java语言和J2EE规范设计了...
Filemon: 即时监视文件系统的活动 (监视文件读写,常配合RegMon判断某软件对电脑做了什么手脚) Handle: 小巧的命令行工具,显示呢哪些文件被哪些进程打开,及相关更多信息。 Hex2dec: 16进制-10进制互换. ...