哈啰出行

公司简介

哈啰出行是本地出行及生活服务平台，致力于应用数字技术的红利，为人们提供更便捷的出行以及更好的普惠生活服务。更多信息，请参见哈啰出行。

业务场景

哈啰出行为用户提供哈啰单车、哈啰助力车分时租赁的服务。共享单车服务致力于解决最后一公里的出行难题。哈啰出行以技术创新赋能智能终端，推动运维高效执行与自营管理体系相结合，依托搭载定位芯片的智能锁，辅以后台智能规划调度、运维人员智能端口精细化运营。哈啰单车累积注册4亿多用户，入驻400多座城市，累积骑行237亿公里。依托于智能锁，赋能了在线的实时调度。单车数据、APP数据无缝打通，因而催生了数据的实时采集、分析、存储需求。

业务痛点

哈啰出行原有架构是将数据采集到Kafka，然后将日志写入ELK做查询，同时写入ClickHouse做分析。由于每天增量数据在TB级别，对ES稳定性压力比较大。当查询数据操作，会影响ES的写入延时。由于写入量大，查询基本处于不可用状态。因此，当天数据采用单副本，隔天再生成多副本。这种方式对数据的可靠性带来很大的挑战。此外，自建Kafka、ES、ClickHouse成本较高，急需降低成本。

解决方案

日志服务为哈啰出行提供了TB级别日志的实时采集、弹性扩容、实时查询的能力。

• 实时采集

  日志服务原生支持Kafka协议。哈啰出行的各个客户端只需把Kafka的地址设置成日志服务的Kafka协议地址即实现了无缝迁移。

• 弹性扩容

  日志服务采用Shard模型，当流量发生上涨时，可以手动分裂Shard，实现写入带宽的扩容，也可以设置成自动分裂，当流量达到上限时，自动扩容出新的Shard。

• 查询与分析

  日志服务同时提供了查询和分析能力。在查询方面，日志服务支持关键字检索、数值范围查询、JSON字段的递归查询、多条件组合查询。在分析方面，日志服务支持以SQL 92语法分析日志，秒级分析数百亿条日志。SQL语法支持200多种函数，以及支持join计算，可与OSS、MySQL数据源做关联分析。