减少 50% 的存储需求
借助 Elastic Observability，Discover 部署了热层-冷层-冻结层架构，将存储成本降低了 50%。
将数据检索时间从几天缩短至数分钟
Discover 使用 Elastic Observability 将检索历史数据的时间从 24 小时以上缩短到仅需几分钟。
加快平均修复时间
借助 Elastic Observability，Discover 可以最大限度地减少误报，并优先处理警报，从而减少修复所需的平均时间。
领先的在线银行部署 Elastic Observability 来构建集中式日志平台，从而降低存储成本并加快长期数据检索。
Discover Financial Services (Discover) 拥有并运营 Discover 银行，为美国数百万用户提供支票和储蓄账户、个人贷款和信用卡等在线服务。
在竞争激烈的市场中，银行必须不断更新产品和服务，才能留住客户并吸引新客户。这些举措导致应用程序日志数据呈指数级增长，给现有的 IT 基础设施带来压力。Discover Financial Services 新兴技术高级经理 Sunny Singh 表示：“我们一直面临平衡平台可扩展性与成本优化的挑战。”
为了克服这些问题，该银行采用了基于 Elastic Cloud Enterprise 运行的 Elastic Observability 的集中式日志平台。日志记录管道从 Filebeat 数据收集代理开始，该代理捕获数据并将其转发到银行的 Kafka 平台，在该平台上数据被分类到不同的 Kafka 主题中。Logstash 随后从 Kafka 拉取数据，执行额外的处理，并将其推送到两个用于日志数据存储和检索的终端之一，每个终端都有自己的保留期。
主终端基于 Elasticsearch 构建，由 10 个独立的集群组成，以确保用户只能访问与其业务角色相关的日志。Kibana 作为可视化和分析工具，使团队能够创建仪表板并查看日志。
第二个终端是 Amazon S3 存储桶。这用于长期日志存储，通常为 13 个月，尽管部分数据已有七年历史。
“Elastic 立即理解了我们希望在保持高效数据检索的同时，大幅增加数据存储容量的需求。”
管理日志数据量
该银行还希望改进日志数据管理，因为在三小时窗口时间内，事件量可能从 500 万波动到 5,000 万。Discover Financial Services 的专家级应用程序工程师 Matt Keelan 表示：“一天中的时间、一周中的哪一天以及应用程序活动等因素会导致数据量激增。开发环境中不可预测的性能测试也可能导致数据量激增。”
Keelan 及其团队基于 Elastic Observability 实施了多项解决方案。一种方法是根据 Kafka 分区的消费者延迟自动扩展 Logstash。“通过将消费者延迟推送到 CloudWatch 指标，我们可以触发 AWS 中 Logstash 实例的自动扩展。这可以通过根据实时数据流动态调整 Logstash 容量，以确保资源的最佳利用，”Keelan 表示。
另一种解决方案可以解决因行为异常的应用程序而导致的日志记录过度的问题。“我们在 Filebeat 中实现了速率限制，限定了每个文件每秒接收的日志消息数量。这样可以防止单个应用程序用不必要的日志数据淹没系统。”
Keelan 还选择迁移到数据流，从而实现自动创建索引，消除了手动维护索引、轮换和别名列表等通常繁琐且耗时的任务。这一举措使 Discover 能够实施索引生命周期管理 (ILM) 策略，从而进一步简化和改进索引管理。
另一个挑战是对日志事件进行告警。“我们需要为这些告警提供两种输出方式：电子邮件和连接到我们寻呼网络的 Moogsoft 告警系统，”Keelan 表示。
他通过部署 Elastic Watcher（一种高级告警和通知功能）实现了这一目标。“我们已经与 Watcher 集成，可以创建警报、发送电子邮件，并与 Moogsoft 集成，以便在用户的应用程序出现问题时可以通知用户。”Keelan 表示。
利用热层/冷层/冻结层架构降低成本
Discover 还从全热节点架构过渡到其 Elasticsearch 集群的热层-冷层-冻结层架构。热节点在 AWS Graviton 服务器上运行，用于快速处理大量数据。冷节点和冻结节点在 i3en 附加存储上运行，以返回查询数据。
以前，该银行最多只能存储 30 天的实时数据。历史数据检索涉及人工重新索引，通常需要 24 小时或更长时间才能满足用户请求。新的热层-冷层-冻结层架构使用户能够直接访问所有三个层级的数据。它还消除了重新索引的需求，并显著缩短了检索时间。
冻结层级搜索现在仅需几分钟。“除了提高性能，我们还减少了 50% 的存储需求，”Keelan 表示。“此外，团队可以将更多时间用于开发新功能，而不是重新索引数据。”
Elastic Observability 在帮助向客户提供不间断的服务方面也发挥着关键作用。“通过更高效的日志记录，分析师可以快速发现问题，消除误报，并联系工程师来解决这些问题。”Keelan 表示。“自从部署了 Elastic Observability 的统一全栈解决方案后，我们的平均修复时间已有所降低。”
Elastic Observability：面向未来的基石
该项目带来的最大益处之一，是建立了 Discover 与 Elastic 利益相关者之间的信任与信心。Singh 表示：“我们与 Elastic 及其工程团队建立的关系非常有价值，我们从他们的专业知识中学到了很多。这确实增强了我们的工程师对这项技术的信心。”
这也让 Singh 和 Discover 团队对未来充满信心。“Elastic 一路以来都给予了我们帮助，使我们的平台得以扩展并迈上新的台阶，”Singh 说。“他们还为我们提供了有关新产品和功能的宝贵见解，以及如何将它们应用到我们自己的部署中。”
Singh 还将 Elastic Observability 视为该组织 AI 战略的关键组成部分，助力其为客户开发日益个性化的服务。“Discover 正在积极探索将生成式 AI 模型整合到其平台中。通过利用 Elasticsearch 的可扩展性和集成能力，我们能够继续为客户提供尖端的在线体验。”
“Elastic 确实对我们的工作产生了积极的影响。我们不断推出新功能，使我们能够加快为客户开发新产品和服务的速度。”
借助 Elastic 和 Equinox，解锁可观测性的未来。立即观看，带来变革性见解！
加入 Equinox 平台工程总监 Joel Miller 和 Elastic 解决方案架构师 Thaddeus Walsh 的讨论，一起探讨如何利用统一可观测性来变革您的组织。
