网站资源抽象层的情况如何

网站建设和推广


浏览:1032 次

源抽象层主要将下层的物理硬件资源抽象为与单个物理硬件无关的资源集合。上层不需要关心物理机器的模型,而只关注特定的资源。

资源抽象层需要关注以下三点。第一,收集和管理特定的物质资源;

第二,重新封装抽象硬件资源属性,使其成为上层可以使用的实体,可以是容器、虚拟机或资源集合;

第三,数据存储。要做生意,需要在本地存储数据,这样机器就变得“有状态”,这不利于全局资源调度。要实现全局调度,需要解决三个场景:数据不需要永久存储在本地,而是将实时写入本地,例如app日志;第二,需要永久存储的DB数据;第三,在分布式存储场景中,存储和计算应该分开。

资源的收集和管理

资源收集是收集物理机器的资源。例如,对于当前型号的机器,有多少CPU、内存、磁盘和其他信息可用。它可以分为四个方面。

第一,资源的信息管理。多少,多少,多少;

第二,大量物理机器的集群管理。除了数十万台机器的管理功能外,还有一部分任务管理,例如接收master创建容器的任务。

第三,资源的合理配置策略和算法。上层资源请求最终将分配给每个物理机器。我们怎么能?有合理的分配策略和算法支持。

第四,资源的信息管理是实现一个CMDB,它可以管理物理机器和vhost I之间的关联,并且必须能够管理数万甚至数十万的机器集群。目前,这种机器集群管理框架的选项很少。我们选择Mesos,主要基于以下两个考虑。第一,Mesos目前比较成熟,被主流大公司广泛使用,实际场景使用规模达到5万台左右;其次,Mesos具有良好的可扩展性。它是轻量级的,可以灵活地定制各种框架以满足业务需求。

让我们分析一下为什么Msos可以管理这么大的集群,它的资源分配策略,以及它如何灵活地创建各种容器和配置网络。Mesos的集群架构。

Mesos的模块化设计使其集群管理本身几乎无能为力:主机只将从Save收集的资源数据报告给框架;主设备和从设备通过消息相互交互。没有必要一直保持长时间的联系。随着从设备的扩展,主设备上的压力不会显著增加。通过ZK(Zookeeper)保证了主机本身的高可用性。整个集群的架构设计非常清晰。

当集群规模较大时,资源管理和分配策略将非常重要。分配策略对于最大限度地利用物理资源至关重要,因此您需要定制框架以更精细地分配资源。目前,我们设计了四种分配策略。

(1) 最大剩余内存优先级分配策略。也就是说,集群中剩余大部分内存的优先级分配是

(2) 最大CPU剩余优先级分配策略。与内存分配类似,根据剩余CPU的数量,优先考虑需要大量CPU资源的任务;

3) 最大和最小资源公平分配政策。此分配基于当前任务请求的资源。需要检查当前集群中每台机器和资源的使用情况是否饱和,并首先将任务分配给当前空闲的机器;

(4) 指定基于资源分配的分配策略。这种方法是灵活的,即可以根据用户的需要将任务分配给特定的机器执行。例如,可以对某些机器进行标记,以便在这些标记的机器上执行某些任务。

从上面的介绍中,我们可以知道,网站生产框架的修改需要更灵活的支持,当前Mesos框架的更新仍然很麻烦。如果要更新框架代码,则需要重新启动每个从属服务器的执行,然后可能必须停止从属服务器上的任务,这很难接受