简介:提出了一种新的多数据流聚类算法.该算法可以有效地对有相似行为但存在一定时间延迟的多数据流进行聚类.算法采用自回归模型技术度量数据流间的延迟相关,利用频谱估计来抽取数据流的特征.每一个数据流用其谱分量的和来表示,从而来计算每对数据流间的相关关系.每个谱分量用振幅、相位、衰减率、频率4个参数来描述.算法计算谱分量对之间的ε-延时相关关系,并以此为基础来得到聚类分析中数据流间距离的度量.此外,算法采用滑动窗口技术对多数据流进行聚类,实时地得出聚类结果且动态地调节聚类的个数.在人工数据集和实际数据集上的实验结果表明,所提出的算法比其他类似的算法具有更快的速度和更好的聚类效果.
简介:云计算中的群集计算应用程序(例如MapReduce和面向用户的应用程序)具有应用程序级别的需求,因此需要有高级别的抽象来表示这些应用程序的需求.协流(coflow)是一个网络级别的抽象,用来表达数据并行编程范例的通信要求.协流使应用程序更容易地将其通信语义传达给网络,从而使网络能够优化常见的通信模式.然而,现有的协流识别方案依赖于修改应用程序,并不适用于多数实际场景.提出了基于增量聚类的协流识别策略,采用增量聚类算法来执行快速、透明的协流识别,实现了协流识别的自动化,同时无需对应用进行修改.仿真实验结果显示,本文的识别算法具有超过90%的准确率,具有一定的鲁棒性.
简介:不确定性是数据的固有属性,在实验过程中由于仪器的限制或者收集过程中的误差都会造成数据的不确定性。数据挖掘算法在处理不确定数据的相关研究尚处于初级阶段,不确定数据聚类是不确定数据研究中的典型问题,已有一些聚类算法被应用到处理不确定数据,如UK-means等。无论是UK-means还是FDBSCAN都仅仅考虑了不确定数据之间的几何距离,而没有考虑到不确定数据之间的概率分布差异。然而,概率分布特征是不确定数据的本质特征,考虑不确定数据的概率分布能够更准确度量不确定数据间的距离,从而提高聚类算法的性能,本文使用核函数度量不确定数据与类中心的距离,然后使用UK-means算法聚类不确定数据,通过大量实验验证了本文提出的距离函数优于使用欧式距离期望的UK-means方法。
简介:摘要:本文旨在通过k-means文本聚类了解国内大数据岗位需求特点,帮助企业和员工识别大数据人才,推动大数据相关研究的进一步发展。首先利用爬虫软件对招聘网“大数据”的招聘信息进行爬取招聘网站。然后利用解霸分词和K-means文本聚类对大数据招聘岗位进行聚类,聚类数由组内平均平方和确定。最后,将大数据岗位划分为10类,从整体数据集和聚类结果的角度对大数据岗位的城市分布、薪资水平、学历要求、经验要求等进行讨论和分析,明确大数据岗位的特点。大数据工作需求。分析结果表明,大数据的工作需求主要分布在一线城市和新一线城市。企业更倾向于大专或本科学历及一年以上相关工作经验的求职者。不同类型的工作之间存在工资差异。职位越高,对学历和经验的要求就越高。
简介:本文提出一种基于聚类的电网运行监控信息辨识分类方法,其特征在于,以大量的电网运行监控信息为基础,按照监控信息发出时间为依据进行分段,将原本连续的监控信息切分成多个文本,而后采用统计学的方法对文本进行预处理形成对应特征向量,并通过数据挖掘的方法对特征向量集合进行聚类分析得出聚类规则。最终实现对监控信息的自动辨识分类功能,辅助电网监控人员及时发现设备发出的告警信号,维护电网安全稳定运行的目的。