在最近与 Mercari, Inc. 客户可靠性平台工程主管 Mohan Bhatkar 的炉边谈话中,与 Blameless 联合创始人 Ashar Rizqi 坐了下来。他们谈到了在避免孤岛的同时进行扩展、令人兴奋的日常挑战、灌输赋权文化等等。以下是他们的主要见解和经过轻微编辑的谈话记录。

主要亮点

• 即使公司规模扩大了许多倍,Mercari 如何调整他们的组织: Mercari 创建了一个阵营团队结构,使业务端、产品和工程与客户满意度相关的关键业务目标保持一致。

• Mercari 面临的激动人心的挑战: Mohan 通过提出可扩展的解决方案而不是变通方法来授权他的团队,这让他感到最兴奋。

• 灌输赋权文化: Mercari 采用独特的团队结构,称为营地。每个阵营都是由经验丰富的软件工程师、产品经理和工程经理组成的自治团体,他们致力于公司愿景的特定部分。这种结构有助于平衡可靠性和创新,同时推动一致性,使团队能够更快地交付价值和创新。

• 架构团队如何发挥作用以限制孤岛: 每个阵营都委派一名重点人员与架构团队定期会面,让他们保持密切的步调。

• 保持团队成员的快乐和敬业度: Mercari 通过将员工体验与客户体验同等重视来关注保留。此外,Mercari 认为所有员工都应享有平等的机会。

• Blameless 如何融入 Mercari 的愿景、流程和文化: Blameless 帮助 Mercari 围绕 SRE 最佳实践(例如事件响应)构建可扩展、可重复的流程,并汇总可用指标以实现持续改进。

Ashar: Mohan,很高兴与您联系。你有一个引人入胜的故事:你从印度搬到日本,学习了日语并进入了技术领域,并建立了一段非常了不起的旅程和职业生涯。你能带我们过去吗?

**Mohan:**今年我将在这个领域完成 10 年。这是一段漫长的旅程。过去,我在大学里做电子工程,而不是计算机科学工程。当我在大学期间开始从事工程学时,我总是对编码部分很着迷。

它比电子部分更让我感兴趣。我实际上想在大学本身内改变我的领域。但是一旦你选择了分支或专业,你就不能轻易改变。我继续我的电子工程,但与此同时,我努力学习编程的基础知识——C++,数据库。在我大学的最后一年,我只知道印度的软件公司或者美国的软件公司在印度成立,但我不知道有日本的软件公司。

但是,一些日本软件公司来我大学招聘。我的大学是马哈拉施特拉邦的顶尖大学之一。这就是我了解乐天和日本本身的方式。在我完全不知道之前。在招聘期间,他们想聘请软件工程师,我很感兴趣,因为乐天是日本所有平台的主要网络巨头之一。

我不确定我能做到这一点,因为我来自电子背景,并且只具备基本编程知识。我做了测试,然后被选中。这是发生在我身上最好的事情,因为这是一次非常独特的经历。

选择后我必须学习日语,因为大多数软件服务都是用日语提供的。我开始学习日语并从事软件工程工作。然后我为乐天旅游部门开发了服务。乐天旅游是日本领先的在线旅游服务之一。他们主要为日本客户提供酒店、巴士交通、汽车租赁、航班预订等服务。同时,我们能够以 10 多种语言推出我们的入境网站,以便日本以外的人可以来日本探索。

我做了四年的软件工程师,开发了几个预订平台,然后在旅游部门担任技术主管。后来我担任工程经理一职。在乐天旅游工作了相当长的时间,超过八年。然后我搬到了梅尔卡里。

我搬到 Mercari 的主要原因是用一种全新的方式挑战自己,走出自己的舒适区。这是一个不断发展的环境,不断发展,而乐天是一家非常成熟的公司。

如果你看看 Mercari 的历史,它是日本最早的独角兽创业公司之一。它在很短的时间内以非常大的规模增长。我一直对此感到好奇,并想看看我如何在那种环境中挑战自己和学习。在加入 Mercari 担任工程领导一年后,他们并没有让我失望。每天你都为自己、为我们的客户、为我们公司做一些新的、更好的事情而兴奋不已。

我在 Mercari 的客户可靠性团队担任工程经理。过去两年在 Mercari 工作的人数迅速增长。公司规模扩大了许多倍。以前工作的流程或结构现在不再以这样的规模工作。从今年年初开始,该公司决定不再采用孤立的结构,而是在业务、产品和工程之间建立更多的一致性。

我们提出了营地的组织制度。 Camp 基本上是一个由所有经验丰富的软件工程师、产品经理和工程经理组成的自治团体,他们致力于公司愿景的特定部分。我有机会担任其中一个营地的工程主管。

我负责客户可靠性工程阵营。 Mercari 是一个客户对客户 (C2C) 的买卖平台市场。它不是 B2C。显然,我们无法控制客户的行为方式。我们基本上相信每个人都是公平的,他们不会做任何坏事,但同时,我们必须确保平台本身对每个人都是安全的。这就是我对客户可靠性工程的看法。人们在销售物品和人们之间进行交易,但他们是否违反了任何条款和条件?他们是否在我们的平台上放了任何非法的东西?他们是以安全的方式进行操作还是伤害他人?

我们有一个基于规则和人工智能技术的审核平台,在这里我们可以审核并支持我们的客户支持团队,以便他们可以纠正或减少对用户的查询或投诉的数量。

另一方面是我们如何为客户提供用户友好的安全性。如果你想实现安全性,我们可以实现很多东西,比如多因素身份验证。无论他们走到哪里,我们都可以限制他们做某些事情。但这不是用户友好的。我们必须在这两者之间取得平衡。我认为我们也为客户提供良好的体验,让他们向我们的客户支持咨询。

** Ashar:** 感谢您的分享,Mohan。你说的有一些非常棒的东西。就个人而言,我讨厌编程。创立 C++ 的人是我大学时的教授。他很糟糕。我在大学时和你相反。我想做硬件和电子产品。对你追随你的激情的主要荣誉。对我来说,我有点被迫进入软件,但我现在喜欢它。

我很想听到更多关于文化和价值观的信息。当您谈论 Mercari 时,您谈到了这一点。你描述你的工作的方式有一些非常独特的地方。你说:“我们决定围绕价值观组织自己的营地,以便更好地为客户服务。”你能多谈谈吗?对于一家发展如此迅速的公司来说,能够组织好自己并坚持自己的价值观,这是一项非常了不起的成就。

Mohan: 当我看到 Mercari 时,让我着迷的是,它们具有三个真正与您保持一致的关键价值观。一是成为专业人士。他们希望他们的每一位员工在你的行为上都是专业的。你努力达到专业水平或提高你的水平,使你成为一名专业人士。

另一个是 Go Bold,这是最有趣的价值观之一。 Go Bold 的意思是尝试新事物。就算失败了也没关系。如果你回顾一下 Mercari 的历史,他们在过去六年里尝试了很多事情。我们已经为日本和美国推出了 Mercari 市场,效果很好。我们也为英国推出了产品,但效果并不理想。

这是产品工程、业务和高层管理人员共同努力的结果,但有时事情并不顺利。同时,这并不意味着您需要停止。你必须尝试更好。去年,我们还推出了与我们的 C2 市场集成的支付平台。结果很好。我认为 Go Bold 的价值告诉我们,失败是不可避免的。你无法避免它们,但它也不应该阻止你重试某些东西。

第三个值是 All for One。您需要该单位在团队中工作。你一个人可能是专家,但如果你一个人工作,你无法完成大事。你不知道一切。我认为他们真正关注所有这些价值观。

这就是营地系统的灵感来源。以前,我们有业务、产品、工程、移动、Web、后端和平台。它们是孤立的,结构本身没有对齐。他们试图创建自己的季度 OKR,但他们并不一致。就在那时,我们以 All for One 的形式聚在一起,思考我们应该为客户提供什么。

我们有超过八个产品开发营,涵盖所有市场应用程序的业务功能。然而,他们作为一个团队行动。

**阿沙尔:**我真的很感激。我认为这真的很独特。我喜欢听到关于价值观以及团队如何组织自己的信息。无论规模有多大,如何改变,价值观才是指路明灯和北极星。

这就是价值观的美妙之处。一旦你拥有它们并且人们将它们内化,那么人们就会感到有权做出决定并承担风险以快速行动但仍保持在特定框架内。

作为客户可靠性工程阵营的工程主管,您在日常工作中最让您兴奋的是什么?您看到的最大挑战是什么? Mercari 的系统很复杂。您如何缓和这些潜在违反条款和条件的人的无限可能性?它不像 Facebook,你可以雇佣成千上万的版主来浏览和审核帖子。

Mohan: 作为客户可靠性工程阵营的工程主管,我的主要职责是确保我的团队的努力与公司的愿景和使命保持一致。我们营地的愿景是创建一个值得信赖的市场,让每个人都感到安全和有保障。每个营地都有自己的愿景。我们也有年度路线图,我们会努力坚持下去并为客户提供价值。

我的职责基本上是确保我们保持一致并正在交付。我的工作方法是为所有团队设定明确的目标和方向,然后为他们提供尽可能多的资源,以便他们能够实现这一价值。但是,并非所有事情都按计划进行。我需要深入研究这些事情,想想出了什么问题。然后我会深入思考我们可以吸取哪些教训,并在下次做得更好。

让我兴奋的是思考日常问题的解决方案和改进。最令人兴奋的部分是我不能简单地考虑解决方法。我需要考虑可以大规模工作但又具有成本效益的解决方案。从本质上讲,这是我的主要职责,也是最让我兴奋的事情。

关键挑战......我们都同意这并不容易。你尽力做到最好。我需要了解我的团队的情况。为了提供真正好的东西,我们需要记住,人是关键方面。人员、流程和技术。这三个一起去。作为一名工程主管,当我们尝试完成日常工作时,我需要平衡这三者。

Mercari 的发展速度非常快。去年或以前可以工作的东西不再工作了。同样,我们需要考虑能够以具有成本效益的方式大规模运作的解决方案。我面临的最大挑战之一是平衡开发速度和可靠性。这是所有管理者或领导者共同面临的挑战。如果您尝试做一个,则需要权衡另一个。

所以我想了很多关于我们如何能够高速交付,而且质量也很好。自去年以来,Mercari 一直试图在组织的各个方面进行扩展,无论是招聘、入职、产品开发、调整,还是发展他们的会员系统。我建议的实践之一是所有团队都采用敏捷。

以前,在交付方面,它是截止日期驱动的方法或瀑布方法。但是我们发生了变化,因为组织本身正在发生变化。在可靠性方面,就事件管理、SLO 管理等而言,我们还没有做到。但我们正在尽力而为。我们正在向某些团队介绍这些东西,以确保我们为客户提供价值,但质量。

**Ashar:**您考虑或灌输给团队的一些文化原则是什么?假设没有工具可以帮助实现这一目标。你谈到了深入思考。这对你来说是什么样的?作为工程主管,您尝试灌输哪些文化原则和实践,以使团队能够做出正确的决定?你见过什么效果很好,你见过什么效果不好?

**莫汉:**从2018年开始,公司开始发生很多变化,不仅是技术方面,还有组织方面。技术方面的变化之一是转向微服务架构,许多公司正在这样做。

在此之前,整个 C2C 市场都在开发一个单一的单体应用程序。我们的 CTO 和一些工程成员决定转向微服务,因此我们开始转变。我们开始从我们的单体应用程序中取出组件并构建微服务。但是,当您尝试这样做时,每个人都试图重新发明轮子。这不是最可行或可扩展的解决方案。

一段时间后,我们意识到有些东西不起作用。我们需要在每个阶段进行回顾。通过去年,我们建立了平台团队。这个平台团队让所有的产品开发团队都可以使用这个平台,所以你不必重新发明一些东西,或者从头开始构建一些东西。

平台团队负责软件开发生命周期的所有阶段。它提供了所有工具和套件,因此您可以构建您的应用程序。我们有幸创建了这个平台。否则,我们最终会一遍又一遍地犯同样的错误。

这是一个很好的决定,到目前为止对我们来说效果很好。它拥有所有底层基础设施团队、基于云的团队和所有可观察性平台。最重要的是,他们有专门的团队,为构建、测试、部署和运营提供支持。

我们还在工程部门内部建立了这种架构。架构师团队的工作是提供最好的技术解决方案,或者与产品开发团队讨论如何根据业务或客户的特定需求开发系统。

同时,他们应该争取什么样的可靠性目标?这项特殊服务对客户来说非常重要。这些可靠性目标确保团队以一致、安全和可靠的方式实施他们的系统。

最重要的是,我们有产品开发团队,他们与他们协调并交付产品。

Ashar: 这是我们最近在 Blameless 所做的事情;我们也在内部建立了一个平台团队。我们很早就看到了使其他开发团队能够快速有效地大规模运营以及具备可靠性技能的重要性。

我对架构团队很好奇。架构团队有时会变得非常孤立。然后信息只是以一种方式流动:坐在顶部并告诉其他产品开发团队做什么的架构师。您的团队在合作方面有何不同?秘方是什么?

Mohan: 每家公司都有一个可能发生这种情况的阶段。架构团队变得孤立,其他团队不知道他们在做什么。我认为 Mercari 的某个阶段可能就是这种情况。

但在 Mercari 的文化中,我们有一个自动化流程,所有系统都经过架构审查。建筑师会给出建议。当我们在生产中交付新系统时,我们会确保团队不会强迫任何人这样做或那样做。这是我们需要的一种协作方法,以便针对特定服务实现一定程度的可靠性。这些是特定关键服务的列表以及我们如何一起完成它。

在组织层面上,我们有架构师团队,但我们在每个营地或每个团队中都有一个联络点,可以与架构师团队分担这些职责。我们称之为建筑师冠军。这个人将营地与架构师团队联系起来,他们定期开会。架构师冠军向他们的团队传达架构指南或新的更新。

**Ashar:**这真的很强大。你说你有一个可靠性目标。在系统级别,您让产品工程师提供他们的观点,然后项目经理进行组织和协调。专注于可靠性目标是消除传统架构团队孤立性质的原因。

Mercari 如何让团队保持敬业度?告诉我们更多关于团队参与、保留和职业发展的信息。

**Mohan:**这是关于为公司中的每个人提供平等的机会。如果您的员工感到高兴,那么您将继续前进。 Mercari 将员工体验与客户体验同等重视。如果公司规模扩大,就会出现问题。

将会出现像 COVID-19 这样的情况,我们不知道我们要去哪里。那时我们基本上关注的是我们的员工是我们最好的资产这一事实。我们需要为所有员工平等地提供机会。

我们相信每个人都是软件工程师。我们所说的软件工程师并不是说我们希望每个人都导出软件中的所有内容。不是每个人都可以开发 iOS、Android 或后端。这是不可能的。但我们的意思是,如果有人想在工程领域尝试某些东西,我们不应该告诉他们,因为他们没有经验或专业知识,所以无法尝试。

每个人都有机会尝试一些东西。最终目标是对客户和公司产生一定的影响。你如何做,你接近它的方式,是不同的部分。这是公司或工程部门如何看待它的文化方面。

当谈到团队参与时,对我来说真正令人着迷的事情之一就是团队视角和使命。我们有一个愿景和使命,不仅是对公司,不仅是部门级别或营地级别,而是团队级别。即使是一个团队,比如说五六个人,他们都有团队愿景或使命。他们有实现这一目标的路线图。

例如,我们有一个团队正在为客户支持人员开发内部工具。他们不是为真正的客户开发任何产品,而是为我们作为客户支持的同事开发任何产品。他们的愿景和使命是通过自动化提高这些人的效率或生产力。

同时,所有团队在营地级别都有特定的任务。如果您在营地级别结合所有内容,则所有内容都在公司级别连接。我们正在努力使所有这些个人愿景与公司或客户的实际最终目标保持一致。

然而,这很困难。不是每个人都会感到联系。您的员工不可能 100% 感到有联系。有挑战。有些人可能不会被他们所做的工作所激励。作为该人的工程经理或经理,我们需要研究细节问题。团队中发生了什么?有没有动机问题?是否存在任何技术挑战或流程挑战?然后我们尝试解决这些问题。

在为每个人提供成长机会方面,公司真的非常非常开放。如果有人想尝试某事,我们从不拒绝。我们总是说,让我们弄清楚我们能做些什么。如果我们说不,那么这个人就会失去动力。这就是我们参与团队的方式;试着让他们朝着更大的使命前进,而不是考虑更小的问题。

**阿沙尔:**感谢您分享。这真的引起了共鸣。随着您快速成长和扩展,愿景和使命很容易扩散。采取更加分门别类的方法至关重要。每个团队都应该有一个使命宣言。这确实有助于创造归属感和一致性。在领导角色中,它确实为您提供了可见性和做出决策的机会。

我们也很想更多地了解您与 Blameless 的旅程。您如何看待 Blameless 适合您作为技术领导者的使命以及您的团队迄今为止的经验如何?

Mohan: 与 Blameless 的旅程非常精彩。 Blameless 这个词本身就代表了我们文化的一个非常关键的部分。我们的 CTO 和高级管理层总是说我们不应该责怪别人。我们应该责怪系统和流程。

就在一年前,我们被介绍给 Blameless。我试图通过与公司内部的不同利益相关者(如客户支持、我们的支付平台人员、移动工程师、后端工程师和基础设施)交谈来收集与事件管理相关的所有问题。我们试图总结问题所在。

我们的 CTO 向我们介绍了 Blameless,我要求进行演示并与 Morgan(Blameless 客户主管)联系。在 2019 年最后一个季度,我们进行了概念验证。我们进行了入职培训,包括我们的 CTO、VP 和我自己,然后我们进行了演示,我们看到 Blameless 可以解决我们的大部分问题。

然后,我们在整个季度与来自安全、支付平台、客户端和移动团队的不同团队进行了 POC。下个季度,我们进行了正式试验。 Blameless团队实际上来到了东京,亲自为10多个团队和100多名成员进行了培训。

上个季度,我们决定采用 Blameless 作为整个 Mercari 的事件管理工具。然后从本季度开始,我们已经开始采用。将 Blameless 介绍给 600 多人需要时间,到目前为止,旅程进展顺利。

但是,由于 COVID-19,我们无法为公司范围内的推广进行现场培训。所以,我们想到了我们将准备基于视频的培训内容,这是自给自足的,非常容易理解。我们还提供了沙盒环境供人们试用。到目前为止,这是一种非常好的方法来培训团队和建立我们的流程。

Blameless 为我们提供的最大价值是拥有正确的结构来组织我们的整个事件管理流程。以前,我认为我们使用的是 Google Forms、Google Docs 和 JIRA。我们无法从我们的工具中推出任何指标,因为这很困难。

Blameless 为我们提供了一个工具来衡量有关事件的一切。如果我们不能衡量某件事,我们就无法改进。有了 Blameless,我们就可以开始衡量与事件相关的指标或重要事项。我们可以了解我们的 MTTA、MTTR、我们花费了多少时间来完成事后分析、后续行动,以及我们如何减少对客户的影响时间。我们真的很期待在这条线上实施更多。

如果您喜欢这篇博文,请查看以下资源:

• 检查 Mercari Inc. 的各种工程职业工作。

• Instacart 基础设施副总裁的领导力和创新

• Iterable 发现 Blameless的严重事件减少了 43%

• 行业专家解释如何在后 COVID 世界中茁壮成长