容量预测

近年来,全球云计算支出以及云服务的需求出现了爆发式增长。除了使用更先进的计算和存储技术,云服务的容量预测变得日益重要。互联网服务的容量预估根据已有的工作负载和资源使用情况下,对未来负载变化和资源使用情况做规划。而不断增长的云服务需求即负载给云服务器的容量预测带来了巨大的挑战。比如云服务提供商的服务器购买规划问题就面临着两难的局面。一方面,考虑到生产和交货周期以及折扣因素,较早和较大的采购可能有助于降低购买成本;另一方面,设备的保修有限,需要维护资源,后期和较小的采购可以减少折旧和维护成本。因此,做好容量预估,以适当的数量和频率购买服务器是理想的解决方案。

云服务器的容量预测是对工作负载核心指标的预测,即CPU,内存,磁盘,网络带宽等的使用。Stokely等研究表明单个云计算用户和组的使用是难以预测的,因为它们经常有时间变化的趋势,但是总体使用相对更容易预测[1]。可以尝试预测云计算总体的工作负载。工作负载进入到基于自相关的特征选择模块,之后所选择的特征被输入到集成了传统线性预测方法的训练模块中,也设计了基于非线性学习的神经网络预测方法。直觉上,有的特征能可靠地捕获周期行为,变化趋势和频繁模式。为了确定这些特征,可以采用自相关,因为自相关可以提供上述因素的定性和定量的信息。如果有高正自相关滞后值[2],表明存在几个代表短期到长期相关模式的良好候选特征。为了自动化过程,我们使用局部最大值检测算法来识别自相关中的峰值点,并使用相应的滞后值作为综合训练的特征。这样,从短期到长期的不同相关范围都可以被捕获,这提高了集体训练的有效性。

现在的公有云服务公司通常在不同地区部署他们的数据中心,他们要对数据中心进行容量预测[2]。因此,应该预测不同数据中心的工作负载。考虑到大量不同的数据中心,很难找到一个统计模型来捕获复杂环境中所有不同类型的增长。传统的统计预测方法需要针对每种情况下的增长模式进行调整。例如,一些时间序列呈现线性增长,其他时间序列呈指数增长,其他时间序列可能具有季节性成分。可以通过综合预测方法来应对这一挑战,使我们能够通过最少的手动参数调整在大量时间序列中构建一个稳健的模型。该系列结合了以下方法:

  • 基于线性回归的方法。经典时间序列模型如自回归积分移动平均值(ARMA /ARIMA)[3]和Holt-Winters指数平滑[4]可用于在线预测。这些模型首先需要使用过去观察结果进行训练,并可以预测即将到来的工作量。
  • 神经网络模型。人工神经网络受生物神经网络的启发[5],由许多相互关联的神经元组成。与神经元相关联的权重用于近似输入的非线性函数,并在训练过程中进行调整。发现适当的特征是构建精确神经网络模型的关键。为了训练神经网络,输入数据集分成为三个子集:训练,验证和测试。神经网络使用训练集来调整其权重并利用验证集确定收敛点并防止过度拟合,测试集用于评估训练精度。

参考文献

[1] Stokely M, Mehrabian A, Albrecht C, et al. Projecting disk usage based on historical trends in a cloud environment[C]//Proceedings of the 3rd workshop on Scientific Cloud Computing. ACM, 2012: 63-70.

[2] Xue J, Yan F, Birke R, et al. Practise: Robust prediction of data center time series[C]//Network and Service Management (CNSM), 2015 11th International Conference on. IEEE, 2015: 126-134.

[3] B. George, Time Series Analysis: Forecasting & Control, 3rd ed. Pearson Education India, 1994.

[4] P. Goodwin, “The holt-winters approach to exponential smoothing: 50 years old and going strong,” Foresight, pp. 30–34, 2010.

[5] M. H. Hassoun, Fundamentals of Artificial Neural Networks, 1st ed. Cambridge, MA, USA: MIT Press, 1995.

注册

请输入正确的邮件格式

密码长度6-20位

两次输入密码不匹配,请重新输入

昵称已被占用,请重新输入

点击[注册],即代表你同意 《iOps注册协议》
注册

注册协议

【首部及导言】

为有效利用QQ号码资源,维护用户合法权益,特制订《QQ号码规则》(以下简称“本规则”)。请您务必审慎阅读、充分理解各条款内容,特别是免除或者限制责任的条款,以及开通或使用某项服务的单独协议,并选择接受或不接受。限制、免责条款可能以加粗形式提示您注意。

除非您已阅读并接受本规则所有条款,否则您无权申请或使用QQ号码。您申请或使用QQ号码的行为即视为您已阅读并同意受本规则的约束

一、【规则的范围】

1.1 本规则是腾讯制定的关于获取和使用QQ号码的相关规则。本规则适用于腾讯提供的需要注册或使用QQ号码的全部软件和服务。

1.2 本规则属于腾讯的业务规则,是《腾讯服务协议》不可分割的组成部分。

1.3 您通过QQ号码使用腾讯的软件和服务时,须同时遵守各项服务的单独协议。

二、【QQ号码的性质】

QQ号码是腾讯创设的用于识别用户身份的数字标识。QQ号码的所有权属于腾讯。

三、【QQ号码的获取】