基于Hadoop的海量网格数据建模

２０１　０年第１　９卷第１　０期　计算机系统应用　基于Ｈ　ａｄ　ｏｏ　ｐ的海量网格数据建模①　胡志刚　梁晓扬（中南大学信息科学与工程学院湖南长沙４１　００８３）　摘要：针对网格实验的实际需要和现有网格仿真工具存在的不足，提出了一种结合Ｈａｄｏｏｐ技术进行海量网　格数据建模的方法。利用提出的建模方法，研究人员可以从海量数据中挖掘出实验所需核心数据，并建　立这些数据所满足的数学模型。在网格仿真实验中使用这些数学模型生成网格负载，将会提高网格仿真　实验的准确性和可信度。　关键词：网格仿真：Ｈａｄｏｏｐ；数学模型　Ｍａｓｓｉｖｅ　Ｇｒｉｄ—Ｄａｔａ　Ｍｏｄｅｌｉｎｇ　Ｕｓｉｎｇ　Ｈａｄｏｏｐ　ＨＵ　Ｚｈｉ—Ｇａｎｇ．ＬＩＡＮＧ　Ｘｉａｏ—Ｙａｎｇ　（Ｓｃｈｏｏｌ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｃｅｎｔｒａｌ　Ｓｏｕｔｈ　Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｓｈａ　４　１　００８３，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｄｕｅ　ｔｏ　ｔｈｅ　ｎｅｅｄｓ　ｏｆ　ｇｒｉｄ　ｅｘｐｅｒｉｍｅｎｔｓ　ａｎｄ　ｔｈｅ　ｓｈｏｒｔｃｏｍｉｎｇｓ　ｅｘｉｓｔｅｄ　ｉｎ　ｔｈｅ　ｇｒｉｄ　ｓｉｍｕｌａｔｉｏｎ　ｔｏｏｌｓ，ｔｈｉｓ　ｐａｐｅｒ　ｐｒｅｓｅｎｔｓ　ａｎ　ａｐｐｒｏａｃｈ　ｆｏｒ　ｍａｓｓｉｖｅ　ｇｒｉｄ　ｄａｔａ　ｍｏｄｅｌｉｎｇ　ｕｓｉｎｇ　Ｈａｄｏｏｐ　ｔｅｃｈｎｏｌｏｇｙ．Ｂｙ　ｕｓｉｎｇ　ｔｈｅ　ｍｏｄｅｌｉｎｇ　ｍｅｔｈｏｄ　ｉｎ　ｔｈｉｓ　ｐａｐｅｒ，ｒｅｓｅａｒｃｈｅｒｓ　ｃａｎ　ｄｉｇ　ｏｕｔ　ｔｈｅ　ｃｏｒｅ　ｄａｔａ，ｗｈｉｃｈ　ｉｓ　ｒｅｑｕｉｒｅｄ　ｉｎ　ｔｈｅ　ｇｒｉｄ　ｅｘｐｅｒｉｍｅｎｔ，ｆｒｏｍ　ｈｔｅ　ｍａｓｓ　ｏｆ　ｄａｔａ　ａｎｄ　ｔｈｅｎ　ｅｓｔａｂｌｉｓｈ　ｔｈｅ　ｍａｔｈｅｍａｔｉｃａｌ　ｍｏｄｅｌ　ｔｈａｔ　ｔｈｅ　ｄａｔａ　ｎｅｅｄｓ．Ｂｙ　ｕｓｉｎｇ　ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｄａｔａ　ｇｅｎｅｒａｔｅｄ　ｂｙ　ｔｈｉｓ　ｍｏｄｅｌ，ｔｈｅ　ａｃｃｕｒａｃｙ　ａｎｄ　ｃｒｅｄｉｂｉｌｉｔｙ　ｏｆ　ｇｒｉｄ　ｓｉｍｕｌａｔｉｏｎ　ｅｘｐｅｒｉｍｅｎｔｓ　ｗｉｌｌ　ｉｎｃｒｅａｓｅ．　Ｋｅｙｗｏｒｄｓ：ｇｒｉｄ　ｓｉｍｕｌａｔｉｏｎ；Ｈａｄｏｏｐ；ｍａｔｈｅｍａｔｉｃａｌ　ｍｏｄｅｌ　１　引言　结果显示：网格仿真实验结果与在实际网格环境中产　网格计算是分布式计算领域的一个重要分支。近　生的实验结果相差较大，甚至与实际完全不符【３】。造　些年来，在国内外研究人员的共同努力下，网格计算　成这一现象的主要原因是：实验人员采用的仿真实验　相关研究取得了长足的进展。由于网格计算本身所具　数据（网格任务到达时间，作业长度等）大多是通过程序　有的高度复杂性（网格资源的动态性，不确定性，网格　随机生成或者是某个网格节点一个时间段内的数据，　任务的异构性等），网格计算理论的验证试验难度比较　而这些数据并不能很好的反映网格节点的实际情况。　高［１１。此外，网格资源大都比较珍贵，网格研究人员　因此，如何选取符合实际情况的网格仿真实验数据成　在实际网格资源中进行理论验证的代价较高且周期较　为网格研究领域亟待解决的问题。　长，不利于研究的进行。因此，网格计算理论的验证　试验成为研究网格计算的主要掣肘之一。　２　Ｈａｄｏｏｐ技术简介　鉴于上述原因，众多研究机构都开发了自己的网　Ｈａｄｏｏｐ是一个实现了Ｇｏｏｇｌｅ的ＭａｐＲｅｄｕｃｅ　格模拟工具对网格实验进行仿真。目前，几大主流网　计算模型的开源分布式并行编程框架，借助于　格模拟器有：ＧｒｉｄＮｅｔ、ＯｐｔｏｒＳｉｍ、ＳｉｍＧｒｉｄ、　Ｈａｄｏｏｐ，程序员可以轻松地编写分布式并行程序，　ＧｒｉｄＳｉｍ、ＣｈｉｃＳｉｍ、ＥＤＧＳｉｍ等Ｉ２】。这些模拟器通过　将其运行于计算机集群上，完成海量数据的计算【４】。　对网格资源，网格任务，网格用户等网格参与者的模　目前，企业界和研究机构都对Ｈａｄｏｏｐ进行了深入的　拟以达到对真实网格环境的仿真。然而，大量实验　研究和应用。中科院高能物理研究所使用Ｈａｄｏｏｐ技　①基金项目：国家自然科学基金（６０６７３１　６５，６０９７００３８）　收稿时间：２０１　０—０２—２６；收到修改稿时间：２０１　０－０３—２６　Ａｐｐｌｉｅｄ　Ｔｅｃｈｎｉｑｕｅ应用技术１　９　１　计算机系统应用　术构建了集群进行海量数据处理：国内外各大公司如　ＦａｃｅＢｏｏｋ、Ｙａｈｏｏ！、百度、淘宝等公司都使用　Ｈａｄｏｏｐ技术部署了自己的集群进行海量数据处理。　Ｈａｄｏｏｐ技术已经成为海量数据处理研究方向的热门。　由于分布式存储对于分布式编程来说必不可少，　Ｈａｄｏｏｐ框架中还包含了一个分布式文件系统　ＨＤＦＳ（Ｈａｄｏｏｐ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｆｉｌｅ　Ｓｙｓｔｅｍ），类似于　Ｇｏｏｇｌｅ的文件系统ＧＦＳ（Ｇｏｏｇｌｅ　Ｆｉｌｅ　Ｓｙｓｔｅｍ）。　ＨＤＦＳ架构如图１所示：　中间数据　数据分块规则　据节点　｛旦ｌ　图１　ＨＤＦＳ架构图　ＨＤＦＳ主要由Ｃｌｉｅｎｔ、Ｄａｔａｎｏｄｅ和Ｎａｍｅｎｏｄｅ　组成。一个使用Ｈａｄｏｏｐ技术架构的集群中，一般有　一台主机作为Ｎａｍｅｎｏｄｅ，若干台主机作为　Ｄａｔａｎｏｄｅ。Ｃｌｉｅｎｔ代表使用ＨＤＦＳ的客户程序；　Ｎａｍｅｎｏｄｅ是Ｈａｄｏｏｐ集群中的一台主机，负责保　存数据节点的信息、计算任务的分发以及最终规约等　任务：Ｄａｔａｎｏｄｅ负责数据存储与处理。为保证数据　的安全性，ＨＤＦＳ适度增加了冗余数据。具体的做法　是在不同的Ｄａｔａｎｏｄｅ中保存同一数据的三份拷贝，　如图２所示：　图２　Ｄａｔａｎｏｄｅ示意图　图２所示的Ｈａｄｏｏｐ集群中有８个Ｄａｔａｎｏｄｅ　（ＤＮ１一ＤＮ８），用于存储标号为ｄ１＿ｄ５的５份数据。　当数据节点ＤＮ１由于某种原因失效的时候，由于存储　１９２应用技术Ａｐｐｌｉｅｄ　Ｔｅｃｈｎｉｑｕｅ　２０１　０年第１　９卷第１　０期　于该节点上的数据在其他节点上还存在备份，这样就　保证了数据的安全性。　在数据处理过程中，Ｈａｄｏｏｐ采用ＭａｐＲｅｄｕｃｅ　技术。如图３所示，ＭａｐＲｅｄｕｃｅ分为Ｍａｐ和Ｒｅｄｕｃｅ　两个阶段。Ｍａｐ阶段将要处理的任务依据某种规则划　分为若干个阶段，Ｒｅｄｕｃｅ阶段将各个数据阶段的处　理结果按照映射时候产生的键值进行规约。　　Ｉ｝　ｆ　ｌ　＠　ｋｌⅣ　ｋ２：ｖ　ｋｌ　Ｉ　　ｌｋｌ：ｖ　ｋ２：ｖ　ｋ３：ｖｋ２　ｌｌ　　ｋ２：ｖ　ｆｌ　　ｌ【３　ｋ２　ｖ　Ｉ　Ｉ　ｋ３：　　Ｉ————±—一、　【　按键值分组　）　—广　分组结粜Ｊ　ｋ】：ｖｖｖ　Ｉ　ｋ２：ｖｖｖｖｖ　ｌ　ｋ３　ｖｖｖｖ　输｛ｉ；Ｊ　『　ｌ　图３　ＭａｐＲｅｄｕｃｅ示意图　３网格数据建模　在实际网格环境中，网格作业到达时间、本地负　载等数据呈现一定的统计规律【５ｌ。如果能够对这些数　据服从的统计规律进行建模，然后根据建模产生的数　学模型生成网格实验数据，即可提高网格仿真实验的　准确性和可信度。然而，大型的网格节点每天都要处　理大量的网格作业，生成的网格数据是海量级的。普通　的ＰＣ机根本无法在短时间内处理这些数据，而使用大　型计算机的代价较为昂贵，一般研究人员难以承受。　采用Ｈａｄｏｏｐ技术，可以使用廉价的ＰＣ机搭建　运算性能可观的集群系统在较短的时间内处理和分析　海量数据。Ｈａｄｏｏｐ处理数据分为Ｍａｐ和Ｒｅｄｕｃｅ两　个阶段，因此使用Ｈａｄｏｏｐ处理的数据必须易于分块　且在逻辑上关联性较弱。网格数据正具备上述特性。　结合网格数据的特性和Ｈａｄｏｏｐ的架构，本文提　出的建模方法分为以下几个步骤：　（１）选取统计数据，确定统计变量　在网格实验数据中，网格作业的到达时间、作业长　度、完成时间以及网格资源预留率等因素对整个网格实　验的最终结果影响较为明显。根据研究需要，选取其中　之一作为统计变量，记为ｅ。统计变量的集合记为Ｅ。　（２）根据问题特征选择网格数据映射规则和归约　规则　定义１．选取统计变量后，需要对统计变量代表　２０１　０年第１　９卷第１　０期　计算机系统应用　的数据按照一定规则进行处理，这种处理规则在本文　中定义为映射规则，记为　。　任务执行完毕，得到结果集ｓ：｛＜ｆ，　，，ｉ为统计　变量子集的标号，＿，为ｆ号子集中元素个数。　（６）建模　根据选取的映射规则可将统计变量集合Ｅ划分为　ｒ／个相互独立的子集　～　。　定义２．实验数据按照映射规则进行处理后，将　生成～系列中间结果，处理这些中间结果的方法在本　文中定义为归约规则，记为Ｒ。　第５步得到的结果集是建模需要的核心数据。建　模算法如图５所示：　对于统计变量集Ｅ中的两个值ｅｌ和ｅ，，如果　Ｍ（ｅ１）∈目，Ｍ（ｅ２）∈Ｅ，，且ｆ＝　，则将Ｍ（ｅ１），Ｍ（ｅ２）归为一　类，用归约规则Ｒ对二者进行归约处理。　（３）实现Ｍａｐｐｅｒ　按照映射规则实现Ｈａｄｏｏｐ的Ｍａｐｐｅｒ接口，即　覆写ｍａｐ方法。核心算法如图４所示：　图４　Ｍａｐｐｅｒ实现算法　如图４所示，ｍａｐ方法按照映射规则Ｍ生成用　＜ｋｅｙ，ｖａｌｕｅ＞形式存储的二元组结果集。如果映射值　（ｅ）属于某个统计变量子集，则将二元组的ｋｅｙ值记　为该子集的标号，ｖａｌｕｅ值记为１：反之，ｋｅｙ值不变，　ｖａｌｕｅ值记为０。　（４）实现Ｒｅｄｕｃｅｒ，对中间结果进行归约　按照归约规则实现Ｈａｄｏｏｐ的Ｒｅｄｕｃｅｒ接口，　即覆写ｒｅｄｕｃｅ方法。将第３步产生的中间结果进行　归约。归约函数为：　尺（＜ｋｅｙｍ，ｖａｌｕｅ　＞，＜ｋｅｙ　，ｖａｌｕｅ　＞）　＝＜ｋｅｙ　，ｖａｌｕｅ　＋ｖａｌｕｅ　＞，ｉｆ　ｅｋｙ　＝ｋｅｙ．　即将结果集中ｋｅｙ值相同的二元组的ｖａｌｕｅ值进　行求和，生成新的二元组结果集。　（５）定义Ｈａｄｏｏｐ任务实例，启动运行　定义Ｈａｄｏｏｐ任务后，将实现后的Ｍａｐｐｅｒ和　Ｒｅｄｕｃｅｒ类实例作为参数传递给该任务进行执行。　图５建模算法　在图Ｓ的第４步中，以集合Ｐ中数据作为自变量　值，集合Ｑ中数据作为因变量值，选择适当的随机分　布曲线进行拟合，最终得出概率分布密度ｆｏ（ｘ）。　（７）假设检验　对第６步得到分布密度做如下假设检验：　Ｈｏ：ｆ（　）＝ｆｏ（　）Ｈｉ：，（　）≠ｆｏ（　）　如果风成立，则接受该分布密度；反之，重复第　６步，直到假设检验成立。　整个建模流程如图６所示：　是　接受模型　（，＿—　图６建模流程图　Ａｐｐｌｉｅｄ　Ｔｅｃｈｎｉｑｕｅ应用技术１９３　计算机系统应用　２０１　０年第１　９卷第１　０期　４实验与分析　在本节中给出了一个使用Ｈａｄｏｏｐ技术搭建的集群　进行海量网格数据处理，并最终生成随机事件模型的实　本实例采用实际网格系统中产生的网格日志作为　实验数据。网格节点在不同时刻可以提供的计算能力　相差很大，所以网格任务的到达时间就成为影响整个　例来介绍使用Ｈａｄｏｏｐ技术进行网格数据建模的示例。　本实验的软硬件环境如表１和表２所示　表１　实验硬件环境　其中，０号主机的综合性能最佳。在采用Ｈａｄｏｏｐ　技术搭建的集群系统中，Ｎａｍｅｎｏｄｅ的性能对整个集　群的运算性能影响较大，因此选取该主机作为　Ｎａｍｅｎｏｄｅ，其他主机作为Ｄａｔａｎｏｄｅ。主机之间采　用１　０００Ｍ交换机进行连接。　表２实验软件环境　进行实验的四台主机都安装Ｕｂｕｎｔｕ９．１　０操作系　统。为了简化实验，采用统一的用户名和ＳＳＨ密码。　Ｈａｄｏｏｐ版本采用目前性能最为稳定的０．１　９．０版本，　并安装在四台主机统一的系统目录下。搭建Ｈａｄｏｏｐ　集群，需要在ｈａｄｏｏｐ—ｓｉｔｅ．ｘｍＩ文件中加入如下内　容，将本地文件系统配置成ＨＤＦＳ，如图７所示：　图７　ＨＤＦＳ配置　１９４应用技术Ａｐｐｌｉｅｄ　Ｔｅｃｈｎｉｑｕｅ　网格节点性能的重要因素之一。使用本文提出的建模　方法结合Ｍａｔｌａｂ的曲线拟合工具，得出网格任务到　达时间服从的概率分布密度为：　ｙ＝ｆ（ｘｌ口，６）＝ａ　ｅｘｐ（ｂ　），其中，　ａ＝３．８６＊１０－Ｓ　ｂ＝ｌ。７２　１０一，拟合结果如图８所示：　图８逼近结果图　对所得结果进行分布假设检验（本例采用卡方检　验法，检验过程略），经检验知，可以接受该模型作为　任务到达时间的随机事件模型。　通常情况下，研究人员采用随机函数生成仿真实　验数据。使用随机函数生成的网格任务到达时间大致　上服从均匀分布。本例采用的实验数据中，不同时间　段内到达的网格任务数相差很大，显然不服从均匀分　布。可见，使用本文提出的建模方法生成的随机事件　模型与实际情况更为接近。　５结束语　本文介绍了一种结合Ｈａｄｏｏｐ技术对海量网格数　据建模的方法，并详细的阐述了该建模方法的各个步　骤。最后，结合一个实例展示了如何使用本文提出的　方法进行海量网格数据建模。　本文提出的建模过程分为利用Ｈａｄｏｏｐ技术提取　数据和利用Ｍａｔｌａｂ分析数据两个过程，将Ｈａｄｏｏｐ　的海量数据分析功能和Ｍａｔｌａｂ的数值计算和图像处　理功能结合在一起为研究人员提供更为方便的仿真环　境，将是下一步的主要工作。　（下转１　７页）　２０１　０年第１　９卷第１　０期　计算机系统应用　架能够良好的支持寓线消息业务，在此框架基础上可　４　Ｃａｍｐｂｅｌｌ　Ｂ，Ｍａｈｙ　Ｊｅｎｎｉｎｇｓ　Ｃ．１１１ｅ　Ｍｅｓｓａｇｅ　Ｓｅｓｓｉｏｎ　扩展群组消息和聊天机器人的业务。　Ｒｅｌａｙ　Ｐｒｏｔｏｃｏｌ（ＭＳＲＰ），ＲＦＣ　４９７５，Ｓｅｐｔｅｍｂｅｒ　２００７．　ＭＳＲＰ作为一种新的媒体传输协议，虽然在某些　５　Ｒｏｓｅｎｂｅｒｇ　Ｊ，Ｓｃｈｕｌｚｒｉｎｎｅ　Ｈ．Ａｎ　Ｏｆｆｅｒ／Ａｎｓｗｅｒ　Ｍｏｄｅｌ　方面有它的优势，但仍有不足之处，需要学者们补充　ｗｉｔｈ　ｔｈｅ　Ｓｅｓｓｉｏｎ　Ｄｅｓｃｒｉｐｔｉｏｎ　Ｐｒｏｔｏｃｏｌ（ＳＤＰ），ＲＦＣ　和完善。　３２６４，Ｊｕｎｅ　２００２．　６　Ｈａｎｄｌｅｙ　Ｍ．Ｊａｃｏｂｓｏｎ　Ｖ．ＳＤＰ：Ｓｅｓｓｉｏｎ　Ｄｅｓｃｒｉｐｔｉｏｎ　参考，＝，献　Ｐｒｏｔｏｃｏｌ，ＲＦＣ　２３２７，Ａｐｒｉｌ　１９９８．　１关琳，杨维忠，张琳峰．即时消息——网络融合中的　７　Ｒｏｓｅｎｂｅｒｇ　Ｊ，Ｐｅｔｅｒｓｏｎ　Ｊ，Ｓｃｈｕｌｚｒｉｎｎｅ　Ｈ．Ｂｅｓｔ　Ｃｕｒｒｅｎｔ　亮点业务．移动通信，２００８，３２（１４）：３７—４Ｉ．　Ｐｒａｃｔｉｃｅｓ　ｆｏｒ　Ｔｈ们Ｐａｒｔｙ　Ｃａｌｌ　Ｃｏｎｔｒｏｌ（３ｐｃｃ）ｉｎ　ｔｈｅ　２　Ｒｏｓｅｎｂｅｒｇ　Ｊ，Ｓｃｈｕｌｚｒｉｎｎｅ　Ｈ，Ｃａｍａｒｉｌｌｏ　Ｇ　ＳＩＰ：Ｓｅｓｓｉｏｎ　Ｓｅｓｓｉｏｎ　Ｉｎｉｔｉａｔｉｏｎ　Ｐｒｏｔｏｃｏｌ（ｓｉｎ），ＲＦＣ　３７２５，Ａｐｒｉｌ　Ｉｎｉｔｉａｔｉｏｎ　Ｐｒｏｔｏｃｏｌ，Ｉ　Ｃ　３２６　１，Ｊｕｎｅ　２００２．　２００４．　３　Ｃａｍｐｂｅｌｌ　Ｂ，Ｒｏｓｅｎｂｅｒｇ　Ｊ，Ｓｃｈｕｌｚｒｉｎｎｅ　Ｈ．Ｓｅｓｓｉｏｎ　８　ＭｃＧｌａｓｈａｎ　Ｓ，Ａｕｂｕｒｎ　Ｂｕｒｋｅ　Ｄ．Ｍｅｄｉａ　Ｓｅｒｖｅｒ　Ｉｎｉｔｉａｔｉｏｎ　Ｐｒｏｔｏｃｏｌ（ＳＩＰ）Ｅｘｔｅｎｓｉｏｎ　ｆｏｒ　Ｉｎｓｔａｎｔ　Ｃｏｎｔｒｏｌ　Ｐｒｏｔｏｃｏｌ（ＭＳＣＰ）ｄｒａｆｔ—ｍｃｇｌａｓｈａｎ－ｍｓｃｐ－０２，　Ｍｅｓｓａｇｉｎｇ，ＲＦＣ　３４２８，Ｄｅｃｅｍｂｅｒ　２００２．　Ｉｎｔｅｒｎｅｔ－Ｄｒａｆｔ，Ｊｕｎｅ　２００６．　（上接１　９４页）　参考，－Ｊ妖　３　Ｊｉｎ　Ｈ，Ｈｕａｎｇ　Ｊ．ＪＦｒｅｅＳｉｍ：Ａ　Ｇｒｉｄ　Ｓｉｍｕｌ￣ｉｏｎ　Ｔｏｏｌ　１　Ｓｕｌｉｓｔｉｏ　Ａ，Ｂｕｙｙａ　Ａ．Ａ　Ｇｒｉｄ　Ｓｉｍｕｌａｔｉｏｎ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ　Ｂａｓｅｄ　ｏｎ　ＭＴ】ⅥＳＭＲ　Ｍｏｄｅ１．Ａｄｖａｎｃｅｄ　Ｐａｒａｌｌｅｌ　ｒＰｏｃｅｓｓｉｎｇ　Ｔｅｃｈｎｏｌｏｇｉｅｓ－Ｌｅｃｔｕｒｅ　Ｎｏｔｅｓ　ｉｎ　Ｃｏｍｐｕｔｅｒ　Ｓｕｐｐｏｒｔｉｎｇ　Ａｄｖａｎｃｅ　Ｒｅｓｅｒｖａｔｉｏｎ．Ｐｒｏｃ．ｏｆ　ｔｈｅ　１　６ｔｈ　Ｓｃｉｅｎｃｅ，２００５，３７５６（１３）：３３２—３４１．　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｐａｒａｌｌｅｌ　ａｎｄ　Ｄｉｓｔｒｉｂｕｔｅｄ　４　Ａｐａｃｈｅ　Ｈａｄｏｏｐ．Ｍａｐ／Ｒｅｄｕｃｅ　Ｔｕｔｏｒｉａ１．ｈｔｔｐ：／／ｈａｄｏｏｐ．　Ｃｏｍｐｕｔｎｉｇ　ａｎｄ　Ｓｙｓｔｅｍｓ（ＰＤＣＳ）．Ｃａｍｂｒｉｄｇｅ　ＵＳＡ：　Ａｐａｃｈｅ．ｏｒｇ／ｃｏｍｍｏｎ／ｄｏｃｓ／ｃｕｒｒｅｎｔ／ｍａｐｒｅｄｔｕｔｏｒｉａ１．ｈｔｍ　＿ＡＣＴＡＰｒｅｓｓ，２００４．１—７．　ｌ，２００９．９—０１．　２　Ｓｕｌｉｓｔｉｏ　Ａ，Ｃｉｂｃｊ　Ｕ，Ｖｅｎｕｇｏｐａｌ　Ｓ．Ａ　Ｔｏｏｌｋｉｔ　ｆｏｒ　５　Ｌｉ　Ｈ，Ｍｕｓｋｕｌｕｓ　Ｍ，Ｗｏｌｔｅｒｓ　Ｌ．Ｍｏｄｅｌｉｎｇｊｏｂ　ａｒｒｉｖａｌｓ　ｎｉ　ａ　ｄａｔａ・ｉｎｔｅｎｓｉｖｅ　ｄ．Ｆｒａｃｈｔｅｎｂｅｒｇ　Ｅ，Ｓｃｈｗｉｅｇｅｌｓｈｏｈｎ　Ｍｏｄｅｌｌｉｎｇ　ａｎｄ　Ｓｉｍｕｌａｔｉｎｇ　Ｄａｔａ　Ｇｒｉｄｓ：Ａｎ　Ｅｘｔｅｎｓｉｏｎ　ｔｏ　Ｕ．Ｉｎｔ’１．Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｊｏｂ　Ｓｃｈｅｄｕｌｉｎｇ　Ｓｔｒａｔｅｇｉｅｓ　ｆｏｒ　ＧｒｉｄＳｉｍ．Ｃｏｎｃｕｒｒｅｎｃｙ＆Ｃｏｍｐｕｔａｔｉｏｎ：Ｐｒａｃｔｉｃｅ　ａｎｄ　Ｐａｒａｌｌｅｌ　Ｐｒｏｃｅｓｓｉｎｇ（ＪＳＳＰＰ）．Ｓｅａｔｔｌｅ，ＷＡ，ＵＳＡ：　Ｅｘｐｅｒｉｅｎｃｅ，２００８，２０（１３）：１５９１—１６０９．　Ｓｐｄｎｇｅ￣２００７．２　１　０—２３０．　Ｓｙｓｔｅｍ　Ｃｏｎｓｔｒｕｃｔｉｏｎ系统建设ｌ　７