作业调度系统condor.ppt

作业调度系统—— Condor Condor 的简介以及利用脚本提交作业 Introduction ? Condor 是一个用来管理大强度计算任务的专用批处理系统。像大多数批处理系统一样, Condor 提供了队列机制,时序安排策略,优先级方案,以及资源分类。用户把他们的计算任务提交给 Condor ,而 Condor 会把这些任务放入一个队列,运行它们,然后向用户通报结果。 Introduction ?然而不同于传统的批量处理系统, Condor 还被设计成能够有效利用非专用机来运行任务。通过把计算任务交付给未被使用的机器(没有键盘动作,没有系统负载,没有正在工作的 用户,等等)来运行, Condor 能有效利用机群中的空闲机器。这一点很重要,因为大多数时候一个机构里办公桌上所有的非专用台式工作站所拥有的总体运算能力远远大于一台专用中央服务器的计算能力。使用 ClassAd 创建匹配?在学****如何提交一个任务之前,先要了解 Condor 究竟如何分配资源。理解 Condor 在提交的任务与机器间建立匹配的独特架构是掌握大多数 Condor 调度算法的关键。? Condor 通过扮演 ClassAd 中间人的方式来简化任务提交。 Condor 的 ClassAd 类似于报纸上的分类广告专栏。卖家有针对性地宣传所售商品, 希望打动某位买家。而买家也可以明确的申明自己希望购买的物品。买卖双方都会列出各自需要满足的条件。使用 ClassAd 创建匹配?一个 Condor 机群中的所有机器都要申明各自的性能,比如可用的 RAM 内存, CPU 类型和速度, 虚拟内存大小,当前系统平均负载,还有其它静态或动态特性。机器的 ClassAd 还会申明在什么条件下才愿意运行 Condor 任务以及优先运行什么类型的任务。这些方针属性都能通过相关的术语和参数加以表述,由此所有机器拥有者都以一种优雅的方式将自己的机器纳入到整个 Condor 机群之中。比如你可以申明自己的机器只打算在晚间且没有键盘动作的情况下才能运行任务。此外,你还可以把自己或者工作伙伴提交的任务设定成优先运行的对象。使用 ClassAd 创建匹配?一个 Condor 机群中的所有机器都要申明各自的性能,比如可用的 RAM 内存, CPU 类型和速度, 虚拟内存大小,当前系统平均负载,还有其它静态或动态特性。机器的 ClassAd 还会申明在什么条件下才愿意运行 Condor 任务以及优先运行什么类型的任务。这些方针属性都能通过相关的术语和参数加以表述,由此所有机器拥有者都以一种优雅的方式将自己的机器纳入到整个 Condor 机群之中。比如你可以申明自己的机器只打算在晚间且没有键盘动作的情况下才能运行任务。此外,你还可以把自己或者工作伙伴提交的任务设定成优先运行的对象。使用 ClassAd 创建匹配?同样,当提交一件任务时,也会指定一个 ClassAd 表明你的需求和偏好。这个 ClassAd 包括你希望使用的机器类型。例如,或许你想寻求最快的浮点运算性能。那你就会希望 Condor 能根据浮点性能来选择可用的机器。或者,也许你仅仅在意这台机器是否具有不少于 128 Mb 的 RAM 。又比如,你愿意接受任何所能找到的机器!任务的这些属性和需求都可被封装到一条任务 ClassAd 当中。使用 ClassAd 创建匹配? Condor 通过持续不断的读取所有的任务 ClassAd 和所有的机器 ClassAd ,然后对任务广告和机器广告进行匹配与排列,承担了媒人的角色。 Condor 确保两类 ClassAd 中的所有需求都被满足。利用 condor_status 检视机器 ClassAd ?一旦安装好 Condor ,通过键入 condor_status 命令你就可以对机器 ClassAd 究竟做了些什么有一个感性认识。键入 codor_status 命令能从 ClassAd 中得到所在机群中可用资源的一份信息该要。键入 condor_status 然后回车可以看到类似下面的一份概要: 利用 condor_status 检视机器 ClassAd