大数据存储解决方案

八斗魔方是一款数据产品。通过实时的全市场数据和丰富的历史数据,帮助企业分析历史的数据、把握当前的动态、预测未来趋势,实现横向的竞 争对手监控分析及纵向的代理人监控分析,为企业整体的收益管理和产品设计提供数据支撑和决策依据。

  • 支持灵活扩展
  • 互联网数据采集
  • 大数据存储
  • 数据快速查询与统计
  • 数据监控预警

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。

  • Hbase
  • Hive
  • Sqoop
  • 集群管理平台(Ambari)
  • 集群预(Nagios)
  • 集群监控(ganglia)

功能特性

  • HDFS提供底层数据存储
  • HIVE提供数据挖掘工具
  • HBase提供实时查询服务
  • earch API 、Hive QLPig 提供查询服务
  • JasperReports提供报表展现
  • MAPREDUCE提供分布式算法
  • Katta/lucene提供索引服务
  • Mahout提供人工智能算法
  • Kerberos 提供权限认证
  • Ganglia、Nagios提供监控