“大数据技术”的版本间的差异

2015年7月15日 (三) 04:43的版本

数据

• 文献阅读
  • 文献一（Unique in the shopping mall:On the reidentifiability of credit card metadata）
    • 1）数据范围：110万信用卡用户在10000个商店中3个月的匿名信用卡交易数据。
    • 2）数据描述：匿名信用卡数据包括交易的时间，地点，交易金额三方面的信息。

• 大数据实验

算法

• 文献阅读
  • 文献一（Unique in the shopping mall:On the reidentifiability of credit card metadata）
    • 1）单位区域的商店数量根据人口密度（r2=0.51,P<0.001）来估算。
    • 2）用唯一性来定量信用卡重新识别的风险，文章给出了唯一性估算的具体算法。
    • 3）从时间，空间，价格三方面降低数据的分辨率，比较单一性的变化情况。

• 大数据实验

领域需求

• 文献阅读
  • 文献一（Unique in the shopping mall:On the reidentifiability of credit card metadata）
    • 1）对于智慧安全领域，在较高单一性元数据中，用匿名的方法不能够保护个人的隐私的。在政策角度来说，需要改革数据保护的机制。意识到元数据潜力的同时，找出隐私与单一性之间的平衡是非常关键的

• 大数据实验
  • 电厂实验
    • 1）卡尔曼滤波（初步思想）
      • 线性卡尔曼滤波方法：根据给定的缺陷数据往前推一定时间范围（例如3个小时），确定异常产生的时间区间，然后根据正常数据使用线性卡尔曼滤波方法预测异常区间传感器的正常数据，并与实际数据做对比，看是否存在较大差异，如果存在，说明判定正确，并可用训练得到的线性卡尔曼滤波模型对后续数据进行预测
      • 非线性卡尔曼滤波方法：

研究

• 复杂网络社区检测
• 人类行为动力学
• 刘超超主页