日志服务 Log Analysis
日志服务(SLS)
提供数据收集、清洗、分析、可视化和告警功能。
全面提升海量日志处理能力,实时挖掘数据价值,智能助力研发/运维/运营/安全等场景。
智能日志处理、分析服务
实时数据采集消费LogHub
数据实时采集与消费
- 30+采集方式,10+SDK支持
- PB级流量,百万QPS弹性伸缩
- 与开源主流软件社区完美兼容
- 完善监控信息,管理百万设
查询分析 Search/Analytics
实时索引、查询、分析、可视化与报警
- 秒级分析亿级数据/写入即可查询
- 完整SQL92支持,所见即所得
- 交互式仪表盘/告警/报表,支持开源对接(Grafana等)
- AIOps分析支持
数据投递与仓储 LogShipper
实时数据ETL数据仓库
- 全托管服务,稳定、可靠、弹性
- 支持压缩、自定义Partition、行列等格式
- 完美支持生态/自研大数据系统
特点与优势
企业级服务
稳定可靠、安全、企业级日志分析平台
开放灵活
与开源/商业软件打通,无缝结合
实时性强
实时采集、消费,性能优异,专为关键业务监控与分析设计
低成本
全托管、免运维,无感弹性伸缩,按使用量付费
常见场景
数据实时采集
智能查询分析
实时计算与数据清洗
对接数据仓库
数据实时采集方式
数据采集/中心化汇集
通过日志服务LogHub功能,可以大规模低成本接入各种实时日志数据(包括Metric、Event、BinLog、TextLog、Click等)
日志系统优化思路
基础优化
- 内存:如何分配内存、垃圾回收、增加缓存和锁
- 网络:网络传输序列化、增加压缩、策略、散列、不同协议与格式
- CPU:用多线程提高利用率和负载
- 磁盘:尝试通过文件合并,减少碎片文件的产生,并减少寻道次数。同时在系统级别,通过修改设置,关闭各种无用的服务
平台扩展
- 做加减法:增加了分布式缓存,以有效提升查询的效率;不被平台使用到的地方直接关闭或去除
- 纵向扩展:如增加扩展磁盘和内存
- 横向扩展:加减/平行扩展,使用分布式集群
数据分治
根据数据的不同维度,对数据进行分类、分级和根据数据热点情况将它们取出来单独处理,以打散热点。
系统降级
对整体业务进行有效区分的基础上,通过制定一些降级方案,将部分不重要的功能停掉,以满足核心业务。