阿里云平台提供成熟的Elasticsearch及E-MapReduce服务,相较于使用开源Elasticsearch和分布式计算平台来自建搜索和计算环境,使用阿里云服务有以下优势:

基于阿里云E-MapReduce和阿里云Elasticsearch,通过ES-Hadoop连通Hadoop生态系统和Elasticsearch,典型架构如下所示。

架构说明
  • 阿里云E-MapReduce通过ES-Hadoop将数据直接写入阿里云Elasticsearch,无需落盘存储,并在Kibana中可视化分析呈现。
  • 阿里云Elasticsearch通过ES-Hadoop直接使用E-MapReduce进行数据计算。
  • 阿里云Elasticsearch可通过快照的方式,将冷数据存储至Hadoop中的HDFS,节约实时存储空间。

核心部件

基于阿里云服务的本解决方案,使用阿里云Elasticsearch、E-MapReduce、OSS、VPC,与部分开源产品搭配使用。其中:
  • 阿里云Elasticsearch:

    阿里云Elasticsearch提供开源Elasticsearch 5.5.3版本及商业版X-pack插件服务,致力于数据分析、数据搜索等场景服务。在开源Elasticsearch基础上提供企业级权限管控、安全监控告警、自动报表生成等功能。阿里云Elasticsearch架构图如下,详细Elasticsearch产品介绍请参考阿里云Elasticsearch文档

  • 阿里云E-MapReduce:

    阿里云E-MapReduce基于开源的 Apache Hadoop 和 Apache Spark,让用户可以方便地使用Hadoop和Spark生态系统中的其他周边系统(如 Apache Hive、Apache Pig、HBase 等)来分析和处理自己的数据。用户还可以通过E-MapReduce将数据非常方便的导入和导出到阿里云其他的云数据存储系统和数据库系统中,如阿里云 OSS、阿里云 RDS 等。本示例架构中使用OSS配合E-MapReduce,将阿里云OSS作为日志存储。详细E-MapReduce产品介绍请参考阿里云E-MapReduce文档