DLAI 数据分析基础笔记（一）
001：欢迎学习数据分析 📊
在本节课中，我们将要学习数据分析的重要性、应用场景以及它在当今数字化世界中的核心价值。数据分析能帮助我们做出更明智的决策，并在众多领域创造职业机会。
数据非常重要，因为世界已经变得更加数字化。现在许多活动都会产生数据，例如发送电子邮件、访问网站、点击某些内容而非其他内容、购买商品，以及决定观看某部电影而非另一部。世界充满了数据。这意味着，能够查看、分析和理解数据的人可以做出更好的决策。
这一点也体现在数据相关职位空缺的数量上。美国劳工统计局估计，到2033年，数据科学类职位的增长将达到36%。这远高于职业的平均增长速度。
因此，通过学习数据分析，你可以在个人生活和职业生活中做出更好的决策，并且，如果你愿意，还能建立一份出色的职业生涯。
我很高兴向大家介绍肖恩·博斯。肖恩是Netflix的数据科学与工程负责人，他为Netflix及其客户提供了大量关于观看各种娱乐节目的数据洞察。肖恩也曾是马里兰大学商学院的前任教授，因此对数据在商业、学术界和政府中的应用有着深刻见解。我期待他与大家分享所有这些见解。
欢迎，肖恩。谢谢你，吴恩达。很高兴来到这里。我最初从事航空航天工程，并在此过程中学到了许多有趣的东西，但我确实非常享受使用计算机和数据来帮助做出更好的决策。现在，我在Netflix从事完全不同的工作，我们利用数据分析来为内容的制作、发行和推广提供信息。
我有一位朋友也在电影娱乐行业工作，他告诉我一些故事，例如可能对一部剧集投入1亿美元，然后数据驱动的洞察会影响其定位、营销或对剧集进行微调，从而使这项非常昂贵的投资产生正回报，而非负回报。确实如此。
我将分析视为一种调查活动。它既是分析性的，也是创造性的。这正是我们设计本课程的方式，课程将使用从酒店预订到婴儿名字、产品销售、房价等众多真实世界的实际案例。
我很好奇，是否有过某个时刻，你使用了数据，并且它实际上改变了你即将做出的决定？在我于AI Fund工作时，有一个令我惊讶的例子。作为一个风险工作室，我们为不同的业务引进了许多创业公司CEO。长期以来，很多招聘都凭直觉进行，你面试某人，喜欢他们，用大脑进行模式匹配，然后据此雇佣某人。
因此，很长一段时间里，我们认为CEO需要融资经验。我们查看了他们合作过的交易数量的数据，结果发现我们错了，事实并非如此。因此，这些数据改变了我们的流程，改变了我们现在寻找创始人的标准。
在我的经验中，有一个令人惊讶的洞察，来自我过去所做的医院运营研究。这项工作涉及预测患者何时出院，其中一个信号是患者是否接受了物理治疗师的探视。通常，这实际上是一个信号，表明患者离出院回家还远。这是一个非常令人惊讶的结果和洞察，它确实可以影响医院运营和资源分配。这些影响有时非常重大。没错，医院床位是极其宝贵的资源，因此你希望能够让患者出院，以便腾出空间。
我真的很喜欢你带来了这个魔法球。我发现，如今许多使用流程做决策的组织，有时只比这好一点。当公司面临决策时，如果会议桌旁有人能接触到数据，那么就去获取事实，展示他们的分析，这样你就能在几分钟或几十分钟内，获得比没有数据时深刻得多的效果。确实如此。
你并不总是需要应用最复杂的分析。在许多情况下，一个简单的数据故事最终可以帮助你做出最佳决策。你并不总是需要跳到最复杂的方法。
如今，许多人对人工智能感到兴奋。随着人工智能的兴起，像大多数职业一样，生成式人工智能正在改变数据分析师的工作。你在该领域看到了什么？我认为这很有趣，基础可能永远不会改变，但我们确实找到了创造性或创新性的方法，以更好、更高效、更可靠的方式做同样的事情。
无论是使用生成式人工智能作为思维伙伴来解释可视化，让你作为分析师不再孤单，我认为我们在如何引入生成式人工智能方面采取了一种非常创造性的方法。你可能希望它帮助你构建你试图解决的问题，或者你实际上可以利用它来帮助解释洞察，或将洞察传达给你的利益相关者。
如果你有一位经验稍浅但愿意努力工作的实习生，以很低的成本帮助你完成一些任务，你可以从高层次思考，并请他们“请绘制这些数据”、“帮我理解这些数据”。因此，在生成式人工智能的帮助下进行数据分析确实非常棒。
我自豪地说，本课程提供了非常实践性的体验，定义了从基础数据分析（如描述性统计、在电子表格中工作）到探索数据分析生命周期的精细使用技术。本课程包括对大型语言模型的介绍，以及每个模块中的实践实验。无论你是想开始数据分析的职业生涯，还是想在当前职位上提升技能，我认为你都会从中获得很多价值。
这些技能对于任何对数据职业感兴趣的人确实非常有用，但坦率地说，由于计算机和数字资产在经济中众多角色中的首要地位，可能对许多其他角色也很有用。
在本课程中，你将学习到许多重要且令人兴奋的主题。让我们继续观看下一个视频，开始学习吧。
本节课总结
本节课中，我们一起学习了数据分析在数字化时代的基础重要性、其广泛的职业应用前景，以及数据分析如何结合创造性与分析性来驱动关键决策。我们还探讨了生成式人工智能等新技术如何赋能数据分析工作，并了解了本实践课程的核心内容与目标。
002：生成式AI在数据分析中的应用 🚀
在本节课中，我们将学习生成式AI（特别是大型语言模型，LLMs）如何融入数据分析师的工作流程。我们将探讨其核心能力、关键限制以及未来发展趋势，并建立使用这一新兴技术的基本原则。
生成式AI的核心作用
本课程的一个关键要素是学习使用生成式AI，特别是像ChatGPT、Claude、Gemini等大型语言模型（LLMs）。
我迫不及待地想与大家分享这些工具如何融入你作为数据分析师的工作。有时它们的感觉就像魔法一样。
上一节我们提到了生成式AI的重要性，本节中我们来看看它的具体应用场景。你将学习如何使用LLMs来完成以下任务：
以下是LLMs在数据分析中的主要应用方向：
-
综合来自利益相关者的信息。
-
探索数据集及其元数据。
-
通过为你编写代码来自动运行数据分析。
-
解释数据可视化的图像。
-
创建数据可视化图表。
认识LLMs的关键限制
然而，你同样需要了解LLMs的关键局限性，包括它们无法为你完成的任务。
LLMs是一种极其有用的工具，但它们不能替代你的技能和判断力。它们无法在复杂情况下复制你的决策能力，尤其是在需要经验、直觉和适应性思维的场景中。
课程的教学理念与挑战
教授如此新兴的技术有其挑战。我想花点时间分享我们团队关于在本课程中使用生成式AI的理念。
首先，本课程展示了截至2025年的最新技术能力，我们预计在未来数月和数年内还会发生变化。
我们的团队设计本课程是为了传授长青的原则：即如何思考并在你的工作中使用生成式AI，无论你最终使用哪种具体产品。
最重要的是，你将培养一种迭代和实验的心态。自2022年底推出以来，LLM产品的进展令人震惊。它们的能力迅速提升，新功能不断发布。
未来的发展趋势
了解其核心原则后，我们有必要展望一下未来。以下是你近期可以预期的一些变化：
以下是生成式AI工具可能的发展方向：
-
出现具有更先进和专业化功能的Gen AI工具，例如为你使用应用程序的能力。
-
工具变得更便宜、更快速，输出质量更高。
在这个快速发展的领域，要跟上所有变化可能很困难。但别担心，在本课程中，你将培养必要的元认知技能，以便在自己的工作中驾驭这些进步。
关于工具使用的说明
本课程也展示了一些LLMs的付费功能，但你无需购买任何额外的产品即可完成作业。
让你了解可用的选项（包括付费选项）非常重要，这样你才能有信心在自己的数据分析工作中进行实验并选择最佳工具。
本课程不推荐任何单一工具，你将在各个模块中看到多种工具。请记住，你将学到的核心原则将使你准备好使用现在和未来的LLMs，无论是免费还是付费版本。
实践与总结
你将在本模块的第4课首次体验使用生成式AI进行数据分析，其中包括一个动手实验。
现在，请和我一起进入下一个视频，了解本模块所有令人兴奋的主题。我们那里见。
本节课中我们一起学习了生成式AI在数据分析中的潜力与局限，建立了使用它的核心原则与迭代心态，并展望了其未来发展趋势。记住，LLMs是强大的辅助工具，但数据分析师的专业判断与决策能力始终不可替代。
003：数据分析基础 - 模块1 简介 🧭
在本节课中，我们将要学习数据分析的基本概念、其历史渊源、核心组成部分以及现代工具的应用。我们将了解数据分析如何融合数学、技术与商业思维，并初步认识数据生态系统中的不同角色。
想象一个每个决策都有坚实证据支持的世界，一个企业能够利用数据的力量来驱动效率、成功与创新的世界。欢迎来到数据分析的世界。
你将看到这个多学科领域如何结合数学的解题能力、技术的计算能力以及商业的战略思维，从而创造出一门极具价值的学科。
从古代文明追踪农业周期，到现代企业优化其决策制定，数据分析的原则已经塑造我们的世界数千年。
在上一节我们介绍了数据分析的愿景，本节中我们来看看本模块的具体学习内容。
在本模块中，你将全面了解不同类型的数据以及它们如何在组织中流动。你将认识构成数据生态系统的多样化角色，每个角色都拥有其独特的技能组合。
最后，你将学习利用一个强大的工具——像 ChatGPT 这样的大型语言模型。这些人工智能工具可以作为思考伙伴，帮助你进行头脑风暴、完善想法，甚至运行分析。
无论你是准备开启数据领域的职业生涯，还是希望在当前职位中利用分析技术，本模块都将为你提供一个坚实的基础。
以下是本模块涵盖的核心概念列表：
-
数据类型与流动：理解结构化与非结构化数据，以及数据在组织中的生命周期。
-
数据生态系统角色：认识如数据工程师、数据分析师、数据科学家等不同职位及其职责。
-
AI 工具的应用：学习如何将大型语言模型作为
分析助手来提升工作效率。
接下来，我们将一窥数据分析师角色的日常。数据分析师的一天是怎样的？一年呢？整个职业生涯又如何？请跟随我到下一个视频去了解一下。
本节课中我们一起学习了数据分析的广泛定义及其悠久历史，明确了本模块的学习目标，包括理解数据分类、认识数据生态系统中的关键角色，以及掌握如何运用现代 AI 工具辅助分析。这些知识为我们后续深入具体技能打下了坚实的基础。
004：数据分析师的工作日常 📊
在本节课中，我们将深入了解数据分析师典型的工作日常、职业的长期发展路径以及这个领域带来的独特乐趣与满足感。通过一个模拟的日程安排和职业发展轨迹，你将清晰地看到数据分析师如何度过充实的一天，以及这个职业如何随着时间推移提供丰富的成长机会。
在我认识的所有数据分析师中，每一个人都对这份工作充满热情。只要你在一个公平对待你的公司，这份工作将成为你的乐趣之一。它充满趣味，节奏快，并且始终保持新鲜感。我想与你分享我在日常工作中、中期发展以及整个职业生涯中热爱数据分析的原因。
首先，我的同事们和我都热爱数据分析，因为你总是在发现新事物，这让工作保持新鲜感。它与众多不同领域紧密相连，几乎每个行业都需要数据分析师，从科技巨头和初创公司到政府机构和非营利组织。
市场对你技能的高需求转化为有竞争力的薪资和职业安全感。它吸引了来自各种背景的人才。你可能会与曾是物理学家、心理学家或商科专业的人并肩工作，他们都找到了进入数据领域的道路。
由于这个领域发展迅速，你将不断学习新的技术技能。如果你是那种热爱学习、解决问题和发现新事物的人，你会非常适合这里。
典型一日模拟日程 📅
以下是一个典型工作日的模拟日程安排，展示了数据分析师一天中可能进行的各种活动。
-
上午9点：开始一天的工作，探索需要解决的新问题。
-
上午10点：与数据团队开会。了解公司的新优先事项，并获取你所需的数据。
-
上午11点：专注工作时间。深入处理电子表格、数据库和代码，进行新的发现，甚至可能经历一两个“顿悟”时刻。
-
下午2点：创建仪表板。找出如何讲述数据中隐藏的故事，并以美观且实用的方式将这些故事可视化。
-
下午3点：展示你在仪表板上的进展。分享你的辛勤工作感觉很好，可以直接从队友那里获得关于这个仪表板将如何帮助他们创造价值的反馈。
-
下午3点30分：庆祝你的演示和仪表板进展。用一杯下午茶和短暂的休息来犒劳自己。我有时会去喝杯茶。
-
下午4点：学习一项新的技术技能。参加高级统计课程或学习一门新的编程语言。在工作中学习非常有收获。
-
下午6点：与数据团队的欢乐时光。与你的分析师和数据科学家同事社交，了解新趋势，并讨论即将开展的项目。
你的每一天都会安排得满满当当。我鼓励你花时间庆祝并记录你的成功。
中期发展与职业满足感 🚀
上一节我们看了一天的具体安排，本节中我们来看看在几年的时间跨度里，数据分析工作能带来哪些成长和成就感。
在几年的时间里，你可能会完成几个大型项目。看到你的工作在现实世界中产生影响是极其令人满足的。你将能够创建自己的工作作品集。作品集不仅能展示你的技能，还能帮助你为未来的成长机会做好准备。
你还将发展你的行业专业知识，从专业术语到不成文的规则。你的技术技能将显著提高，因为不同的项目要求你提升技能。通过领导成功的项目，你将赢得队友的信任。建立牢固的关系会带来处理引人入胜问题的机会。
数据分析的每一个方面本身都很有回报。这可能看起来还很遥远，但在你意识到之前，你就会庆祝巨大的成功并掌握全新的技能。
数据分析师的职业发展路径 🧭
日复一日，年复一年，构成了职业生涯。数据分析师的职业生涯是什么样的？你可能会发现自己转换行业，在不同领域（如科技、医疗保健、时尚、供应链等）获得广泛的经验。
或者，你可以在特定的技术领域发展深厚的专业知识，成为该领域的专家。随着你的进步，你将成为一个领导者。领导力有多种形式，可以是管理者、高技能的个人贡献者，也可以是教育者。
你还可以与年轻同事建立导师关系，帮助他们提升技能。随着你获得专业知识，你可能会决定创办自己的企业或咨询公司，利用这些专业知识帮助他人成功。
你在工作中每一天、每个项目、每次对话所付出的努力，都会为你在数据分析领域打开丰富多样的职业发展轨迹。
对我来说，数据分析不仅仅是一份工作。它是一种乐趣。我珍惜我获得的每一个学习机会，以及与我才华横溢的同事的每一次对话。我知道你也会像我一样享受这个领域。怀着这个目标，请加入下一节课，了解更多关于数据分析及其历史的知识。我很高兴你能迈出数据分析职业生涯中这重要的第一步。我们下节课见。
005：什么是数据分析 📊
在本节课中，我们将要学习数据分析的核心概念，了解它是什么、如何运作，以及它与相关领域的区别。我们将从数据分析的普遍应用开始，逐步深入到其定义、特点、历史演变和职业应用。
数据分析几乎无处不在，它以通常不可见的方式对我们的生活产生有意义的影响。
我们观看此视频所使用的设备、你现在穿着的衣服，甚至你今天早上制作的早餐，都可能以某种方式受到数据分析的影响。
数据分析的核心是一套多样化的技能和工具，使企业能够做出更好的决策。它完全关乎利用数据来获取洞察并支持决策，而不是仅仅依赖运气或经验。
数据分析是一个多学科领域，它结合了数学、编程和商业直觉。你不仅仅是为了数学理解而做数学（例如推导几何证明），也不仅仅是为了编程本身而编程（例如开发排序数字列表的算法）。数据分析将数学和编程结合在一起，以实现特定的商业目标。
数据分析与科学家、侦探或记者等调查性角色有很多共同之处。
科学家从一个特定的假设开始，然后收集数据来评估这个假设。
侦探收集证据并将其拼凑起来以理解犯罪。
记者综合信息并为特定主题创造引人入胜的叙述。
上一节我们探讨了数据分析的跨学科性质及其与调查工作的相似性。接下来，我们来区分两个容易混淆的概念：数据分析与数据分析。
数据分析听起来很像数据分析，但这两个概念在三个关键方面有所不同：范围、技术和商业集成。
以下是具体的区别：
-
范围：数据分析的范围更广，包括实时分析和预测建模，超越了回顾性分析。
-
技术：数据分析需要更复杂的技术，包括高级编程、可视化软件和大数据技术。此外，它通常涉及更复杂的迭代过程。
-
商业集成：数据分析通常深度集成到商业决策系统中，而不是用于回答一次性问题。它旨在预测趋势、指导决策，并解释过去的数据。
当一个公司在电子表格中跟踪其随时间变化的预算时，那是数据分析。
当他们使用复杂的统计建模技术来分析来自多个来源的大型数据集，创建可视化图表以识别最有前景的收入流，并将这些洞察集成到实时决策系统中时，那就是数据分析。
了解了数据分析的现代定义后，你可能会认为它是一个全新的领域，仅仅因为科技行业的近期加速发展而出现。这只是一部分原因。实际上，数据分析已经存在一段时间了。
以下是关于数据分析，哪些是新的，哪些不是新的：
-
不是新的：统计学家、科学家和工程师分析数据已有很长时间。数据可视化已经存在了数千年。有记载的第一个数据可视化可以追溯到公元前1150年，那是一张名为“都灵纸莎草地图”的古埃及金矿地图。古埃及人在数据方面相当精明。
-
什么是新的：数据分析的新颖之处在于数据本身的爆炸式增长。我们收集的数据比以往任何时候都更加详细。同时，计算技术也在同步发展，为我们提供了更强大的工具来分析这些数据。古埃及人肯定没有处理过9.6万名泰勒·斯威夫特粉丝挤在体育场里使用移动设备产生的数据，也没有分析过6.15亿月活跃的Spotify用户。我也怀疑他们是否用Python编程。
这些趋势催生了现代数据分析，使其具有更广的范围、更复杂的技术和更深度的商业集成。
既然我们知道了数据分析是什么以及它是如何演变的，那么它可以在哪些地方发挥作用呢？
数据分析的应用范围几乎是无限的。
如果你查看一些招聘信息，你会发现数据分析师在科技公司、医院、运动队、制造工厂，甚至在学术机构进行研究（这也是我进入该领域的起点）都有需求。
在你寻找工作机会时，你会看到商业智能分析师、数据科学家等与数据分析师交替使用的类似职位发布。
诚然，这些职位有很多重叠之处，但我将分享一些细微差别：
-
数据科学家通常更侧重于复杂的建模技术。
-
数据分析则更广泛地包含基础统计技术和数据可视化。
-
商业智能分析师倾向于使用商业软件（如电子表格），对编程的重视程度较轻。
最终，这些区别有些随意。相同的头衔在不同公司可能对应不同的任务。作为一名数据分析师，你可能会发现自己更倾向于某些方法，因此你的工作可能属于其中一个或几个领域。
数据分析奖励好奇心、解决问题的能力和影响他人的能力。当然，在现实世界中看到你工作的影响是非常有回报的。
在本课程中，你将探索开始利用数据推动更好决策所需的工具和技术。
让我们直接进入一个基础概念：基于证据的决策。
本节课中我们一起学习了数据分析的定义、其多学科性质、与数据分析的区别、历史演变以及广泛的职业应用场景。我们了解到，数据分析的核心是利用数据、数学和编程工具来获取商业洞察并支持决策，其价值在于将信息转化为实际行动。
006：基于证据的决策 📊
在本节课中，我们将学习决策的不同方法，并重点探讨如何结合直觉与数据，进行基于证据的决策，以最大程度地提高决策成功的可能性。
当涉及做决策时，存在许多可能的方法。你可以即兴发挥。可以抛硬币。可以询问朋友。甚至可以摇晃魔法八号球。
与这种明显糟糕的方法相反，数据分析完全关乎证据和一致性。在本视频中，我们将讨论凭运气决策、凭直觉决策，以及最有可能结合直觉和数据取得持续成功的方法。
你可以通过三种基本方式做出决策：可以听天由命；可以凭直觉（这也称为直觉决策）；或者可以实践基于证据的决策，这正是数据分析的用武之地。
这些不同的方法位于信息利用程度的光谱上：凭运气决策完全不依赖任何信息；基于证据的决策位于高信息利用端；而直觉决策则处于中间位置。
直觉由你的个人经验所塑造，因此它是一项宝贵的资产。但还有其他重要的信息类别需要考虑，例如数据和他人提供的知情观点。
决策为何需要信息
虽然做出明智的决策对你可能很重要，但在日常生活中，你通常不会正式地定义问题并收集证据。
然而，你可能做过类似以下的决策：我应该选择哪所大学？搬到新城市还是留在原地，哪个选择更明智？我应该如何投资我的储蓄？
思考一下，为了回答上述每个问题，你可能会收集哪些类型的信息。我怀疑你不会为其中任何一个抛硬币。你可能会列出每所大学的优缺点，与住在新城市的朋友讨论，或者追踪不同投资的表现来决定哪个最佳。
收集证据所需的努力程度与决策的影响成正比。在刑事司法、医学或新闻等领域，决策可能产生严重后果，仅依赖意见或个人经验是不够的。
如果你因感冒症状去看医生，你不会希望她只是随机猜测你得了流感。风险越高，你就需要越多的证据来支持你的决策。
同时，如果你在决定是向顾客推荐连指手套而不是分指手套，你不需要那么多信息，因为做出错误决策的成本很低。没有人的健康受到威胁，只是手指的舒适度机会而已。
直觉与数据的结合
有时，凭直觉做决策是合理的。有时，看起来像流感的确实是流感。直觉并非无用。
事实上，一种思考方式是，你本质上是在依赖有限的历史数据点。但有些直觉比其他直觉更有价值。你更信任治疗过5名流感患者的医生的直觉，还是治疗过500名或5000名患者的医生的直觉？
最有效的方法是当直觉与数据相结合时。这就是为什么我们说基于证据的决策，因为数据和某种程度上的直觉都可以成为你证据的一部分。
直觉帮助你做出快速、低风险的决策，并避免在毫无头绪的情况下搜索海量数据。但你也不想一直依赖直觉。
案例分析：异宠店决策
让我们看一个例子。假设你想增加你的小型异宠店的收入。如果你能做到这一点，你可能就能在你的城市开一家新店，改善员工福利，或者提供更多种类的鱼。
你有几个正在考虑的选项来增加收入：增加更多爬行动物品种；每天延长营业时间两小时；或者提高动物饲料的价格。但你如何选择最佳方案？你可以使用什么信息来做选择？
这是一个高风险决策。一种选择是听天由命，抓起旧的魔法八号球摇一摇，或者抛一枚三面硬币。你基本上是在没有额外信息的情况下做决定。但这里有后果，我打赌你能做得比那更好。
基于直觉的决策会是什么样子？也许祖母从1987年就开始经营这家异宠店，她记得类似的情况，并且她绝对确信提供更多爬行动物品种是正确的方法。
这种直觉比魔法八号球使用了多一点的信息，因为它基于一些有限的历史背景。但你能做得比那更好吗？
基于证据的决策路径
让我们走基于证据的路线，这包括：明确定义问题和期望的结果；收集相关信息；综合这些信息以确定最佳决策。
这一切都是为了使用正确的信息做出正确的决策，并希望实现正确的结果。收集关于爬行动物品种的数据；尝试延长商店营业时间；进行调查，看看更高的价格是否会困扰你的顾客。
也许你可以首先基于祖母的直觉尝试爬行动物品种方案，如果那行不通，再调查其他两个选项。
有时你可能做出错误的决策却仍然得到正确的结果，反之亦然。每个决策中都有一点运气。基于证据的决策的目标是通过积累最佳证据，来最大化你获得正确结果的机会。
从直觉到证据的转变
想到祖母在87年经济衰退中凭直觉经营她的爬行动物生意很有趣，但很多企业都是这样决策的，基于诸如“感觉对了”、“我以前见过这样做”或“现在大型语言模型很流行，我们用一个大模型吧”之类的直觉。
这是做决策的最佳方式吗？绝对不是。
作为一名数据分析师，当你将这种思维方式转变为基于证据的决策时，你将为企业增加真正的价值，并且老实说，也会获得最大的乐趣。
总结
在本节课中，我们一起学习了决策的三种基本方法：凭运气、凭直觉和基于证据。我们探讨了信息在决策中的重要性，以及如何根据决策的风险高低来决定所需信息的多少。我们通过一个异宠店的案例，具体分析了如何结合直觉与数据，通过定义问题、收集信息和综合分析来进行基于证据的决策，从而最大化成功的可能性。记住，最有效的决策往往是直觉与数据证据的结合。
007：数据分析发展史 📊
在本节课中，我们将学习数据分析的现代发展历程。我们将从两次世界大战期间的军事应用开始，探讨数据分析如何演变，并最终成为当今商业和科技领域不可或缺的一部分。课程将重点介绍两个核心概念：持续改进和数据驱动决策。
现代数据分析的历史与古埃及人使用数据可视化的历史同样引人入胜。
从军事到棒球，再到科技行业，这段历史将帮助你理解为何数据分析师的需求如此旺盛。
我们将探讨转化为数据分析思维模式的两个关键趋势：持续改进和数据驱动决策。
现代数据分析的起源 🏛️
现代数据分析大约在100年前出现，并在世纪之交加速发展。
数据分析史的核心植根于持续改进的概念。这是一个持续的过程，旨在改进你的产品、服务和业务流程。作为一个公司，你必须适应周围不断变化的竞争环境，就像进化一样，保持不变很少能带来长期的生存。
现代数据分析的根源可以追溯到第一次世界大战期间的军事运筹学，大约在20世纪40年代初。
调动、补给和装备一整支军队是一项庞大的行动，每一个决策都可能产生重大后果。
最早有记录的运筹资源问题之一，涉及如何以最优配置部署雷达设备，以保护英国免受德国空袭。盟军本可以通过试错来放置设备，但他们没有时间进行实验，因为空袭已经发生。
通过使用诸如地理信息、敌机飞行模式、雷达范围和战略等数据，团队制定了一个部署雷达设备以探测敌机的最优策略。这种部署被认为是盟军在不列颠战役中获胜的一个主要因素。
虽然这可能看起来与当今的数据分析不完全一样——他们当时肯定没有处理大数据或强大的计算机——但这仍然是一种数据驱动决策的形式，对今天的数据分析领域产生了深远影响。
从战场到球场：棒球中的数据革命 ⚾
上一节我们介绍了数据分析在军事中的起源，本节中我们来看看数据分析如何进入体育领域。
美国棒球是历史上另一个数据驱动创新的温床。
在20世纪70年代之前，顶级球员的选拔通常严重依赖直觉。当时大多数寻找球员的球探都依赖所谓的“目测”。基本上，他们只是观看球员比赛。他们看起来好吗？他们有运动天赋吗？他们似乎有潜力吗？球探也使用一些基本统计数据，但他们的主观判断主导了决策过程。这种方法旨在打造获胜的队伍，同时保持这项运动的美感。
然后在20世纪70年代，三个因素逐渐优化了球员招募：更细致的分析、可用计算能力的增加以及对直觉依赖的减少。
统计学家比尔·詹姆斯开始发布创新的新统计数据。这些统计数据不再仅仅追踪得分（在棒球中称为“跑垒”），而是提供了更详细的证据，说明一个球员对整体胜利的贡献有多大。这可能意味着帮助队友得分，甚至阻止对方球队得分。
使用这些统计数据，预算有限的奥克兰运动家队能够招募到被低估的球员，即那些表现出色但价格较低的优秀球员。这一策略帮助他们获得了相对于一些最富有球队的竞争优势。他们的球员看起来不像典型的球员，但他们的球员更常获胜。这就是数据分析的力量。
关键趋势与行业普及 📈
棒球的故事与几个关键趋势同时发生：可用数据的爆炸式增长、计算能力的快速进步，以及各行各业对基于证据的决策日益增长的兴趣。
如果一个棒球队可以使用数据来与预算大得多的对手竞争，那么这对于其他行业的企业意味着什么？
以下是数据分析普及的关键驱动因素：
-
数据爆炸：可收集和分析的数据量呈指数级增长。
-
计算能力：硬件和软件的发展使得处理海量数据成为可能。
-
决策文化：企业越来越倾向于用证据而非直觉来支持决策。
今天，数据分析无处不在。
-
科技公司用它来推荐产品和优化用户体验。
-
零售商用它来管理库存和定价。
-
医疗保健提供者用它来改善患者治疗效果并降低成本。
这个列表还在继续。数据分析的普遍性推动了对该领域专家的全球需求。在美国，预计到2030年，数据分析相关工作岗位将增长25%。
每个企业都可以受益于使用数据驱动的证据来推动持续改进。
总结与展望 🎯
本节课中，我们一起学习了数据分析的现代发展史。
我们从持续改进和数据驱动决策这两个核心理念出发，追溯了数据分析从二战军事运筹学到美国职业棒球大联盟创新应用的历程。我们看到，数据的有效利用如何帮助组织在资源有限的情况下获得竞争优势。
历史表明，数据分析的本质在于利用信息做出更明智的决策。随着数据可用性和计算能力的提升，这一实践已渗透到各个行业，成为推动增长和效率的关键力量，也因此创造了全球范围内对数据分析人才的巨大需求。
请与我一起观看下一个视频，了解数据分析在现代的一些最令人兴奋的应用。
008：现代行业应用案例 🏀📊
在本节课中，我们将探索数据分析在不同行业中的实际应用案例。我们将看到，无论你对体育、娱乐、电商还是其他任何领域充满热情，数据分析师都能在其中找到用武之地，通过数据驱动决策，创造巨大价值。
流媒体娱乐行业
上一节我们介绍了数据分析的广泛应用前景，本节中我们来看看它在流媒体娱乐行业的具体应用。
像Netflix这样的现代流媒体公司会收集平台上每位用户的每一个行为的详细数据，包括点击、观看时长、搜索、暂停和回放操作。这些信息帮助他们推荐内容。
他们面临的挑战主要不在于获取信息，而在于如何处理如此海量的数据。所有关于“谁点击了什么”和“谁观看了什么”的数据，最终都需要转化为具体的决策，例如：应该向谁推荐真人秀节目？我们如何让人们喜欢《权力的游戏》第八季？这些决策影响深远。YouTube在2018年曾披露，用户观看的内容中有70%来自其推荐系统。
将这种方法与传统的电视收视率统计进行对比。电视网络过去依赖第三方公司（如尼尔森）收集的数据来了解观众。尼尔森通过在样本家庭中安装物理监测设备来记录他们的电视观看习惯，以此衡量人们的收视习惯。
这种方法虽然有用，但也带来了挑战，例如：记录到的收视习惯主要来自年长的电视观众，以及从拥有多台电视的家庭中收集到不准确的数据。
体育行业
娱乐只是数据分析的一个应用领域。在体育界，始于棒球的数据分析革命已经蔓延到篮球、美式足球（橄榄球）及其他运动。让我们以篮球为例来看看。
从俯视图看，篮球场是这样的。篮筐（也称为篮筐）位于这里。球员需要做出的一个关键决定是何时尝试得分，这在篮球中也被称为“投篮”。
如果球员在这条线内投篮并将球送入篮筐，则得两分；如果在线外投篮命中，则得三分。过去几十年，球员的投篮位置发生了巨大变化。
以下是1997年（左图）和2019年（右图）最常见的投篮位置分布图。随着球队拥抱数据分析，投篮模式完全改变了，旨在最大化每次投篮的预期得分。球员们学会了选择每种分值下最容易的投篮方式。
因此，出现了大量紧贴三分线的远投和尽可能靠近篮筐的两分球。例如，从这里投篮值两分，但向后退一步到这里投篮，难度基本相当，分值却高出50%。为什么不选择后者呢？
电商与产品设计
让我们看看产品设计领域。以HelloFresh为例，它收集多个类别的数据来为其推荐提供信息。
以下是HelloFresh收集的主要数据类型：
-
客户数据：如人口统计信息、地理位置和口味偏好。
-
食谱数据：如食材、可用性，甚至食谱图片和文本本身。
-
交易数据：如订单历史、用户反馈和浏览行为。
所有这些信息都可以用来决定推荐哪些产品、何时提供折扣以及如何选择新食谱。
教育与公共部门
在教育和政府等领域，越来越强调使用数据来做出更好的决策。例如，这些机构可能使用分析来改善信息的可访问性。
圣安德鲁斯大学最近发表了一篇文章，解释其如何使用交互热图来改善网站用户体验。下图是他们大学学科页面上的用户点击热图。红色热点显示用户点击最多的区域，其次是黄色、绿色，然后是蓝色。
热图数据显示，许多用户点击了历史、心理学等热门学科，以及搜索栏等位置。然而，通过分析数据，大学发现一些用户试图点击非活动元素，并且页面下部的活动量急剧下降。
这些洞察推动了网站的改进，例如：明确哪些元素是可点击的，以及将信息优先级重新调整到页面顶部。
传统行业的优化
并非每家公司都需要不断革新其核心产品。像可口可乐和UPS这样的公司，通过专注于把一件核心事情做到极致，建立了非常成功的企业。可口可乐生产甜味含咖啡因的饮料，UPS可靠地递送包裹。
他们可能会使用数据分析来优化物流或营销，但其核心产品基本保持不变。如果包裹能快速送达正确目的地，客户还真正需要什么呢？关键在于，数据可以帮助企业以符合其自身战略的方式进行改进。
总结与展望
本节课中我们一起学习了数据分析在多个行业的应用案例。作为一名数据分析师，你有机会帮助任何行业的组织利用数据做出更好的决策。你的技能之所以需求旺盛，正是因为它们在如此多的应用场景中都极具价值。
出色地完成了本课程的第一课。在查看了接下来的阅读材料和练习评估之后，请加入下一节课，我们将讨论数据分析的命脉——数据本身。你将学习什么是数据、它从哪里来以及它可以呈现的多种不同形式。我们下节课见。
009：定义数据 📊
在本节课中，我们将学习数据分析的核心基础——数据。我们将探讨数据的本质、形式、来源以及数据分析师应如何理解和运用数据。
什么是数据？ 🤔
数据是驱动数据分析领域的原材料。数据是一个广义的术语。作为数据分析师，你应该将数据视为任何能帮助你做出决策的信息。
数据以多种形式存在，从数字和文本到图像和声音。社交媒体视频、语音记录、去年的利润，所有这些信息都能帮助你做出决策。
数据几乎在任何地方产生，无论你是否意识到或记录它。你早晨那杯茶的味道，提供了关于茶叶新鲜程度的信息，这就是数据。当你听到鸟鸣声，这可能提供关于现在是黎明还是黄昏的信息，这也是数据。
你可以将数据更进一步，记录下来以便分析。在上节课中，我们看到对数据的好奇心有着古老的根源，但我们在过去几十年里生成和捕获数据的能力已大大加速。
数千年前，古代民族通过追踪太阳的位置来确定种植和收获的最佳时间，但他们必须使用像巨石阵这样的岩石结构来实现。现在，我们可以通过卫星图像和数字日历，以更少的努力做同样的事情。请注意，这里明显缺少了25吨重的石头。
数据的类型与来源 📈
不同的行业会生成不同类型的数据。
以下是不同行业中常见的数据类型示例：
-
体育行业：你可能处理关于球员位置和比赛统计数据的高度结构化数据。
-
零售行业：你可能会遇到关于销售和客户行为的交易数据。
-
医疗保健行业：数据通常包括非结构化信息，如医学图像和手写的医生笔记。
-
社交媒体平台：收集关于广告观看次数和用户互动的数据。
大多数行业还会有薪资数据、网站流量数据、电费成本数据、银行余额数据、法律文件数据等等。如今，有时感觉一切可以被追踪的事物都被追踪了。
数据的收集与目的 🎯
但关键在于：仅仅因为你可以收集关于某件事的数据，并不意味着你应该这样做。你应该只收集有目的的数据。
记住我们的定义：作为数据分析师，数据不仅仅是信息，它是能帮助你做出决策的信息。你的工作是筛选所有可用信息，并决定哪些对当前问题最相关。
作为数据分析师，你还会为数据带来独特的视角。你不仅仅是消费数据，你还要解释数据。你寻找模式和洞察，并用它来讲述一个故事。
就像艺术家使用粘土、颜料等原材料创作杰作一样，你使用数据来构建一个能提供信息和启发的叙事。数据是你的原材料，你可以用它创造出既美观又实用的东西。
数据是驱动影响力的强大工具，无论你是试图分析客户行为、解读医学影像，还是推荐视频。
总结与预告 📝
在本节课中，我们一起学习了数据的核心概念。我们了解到数据是任何能辅助决策的信息，它以多种形式存在，并产生于各行各业。我们强调了有目的地收集数据的重要性，以及数据分析师在解释数据和构建叙事中的关键作用。
数据是一个宽泛的概念，因此不可避免地会有分类。在下一个视频中，你将学习非结构化数据的复杂性，这是一种非常自然和人性化的信息捕获方式。
我们下次视频见。
010：认识非结构化数据 📝
在本节课中，我们将要学习什么是非结构化数据，它为何普遍存在，以及它与结构化数据的区别。理解这一概念是数据分析的重要基础。
闭上眼睛一秒钟，和我一起想象一下你脑海中的数据。好的，睁开眼睛。你想到的是什么？是不是类似这样的东西：一个由数字、行和列组成的表格？这是对数据最典型的描绘。
但现实是，你在现实世界中遇到的很多数据最初并非如此。我们称之为非结构化数据。
具体来说，非结构化数据指的是无法整齐地放入行或列中的数据。它无处不在。当你拍照、录制视频或在日记中写下笔记时，你就在创造非结构化数据。这些都是人类自然产生的信息类型，对我们来说非常自然。
事实上，如果你只是为自己收集数据，你很可能会以非结构化的方式进行，甚至不加思索。例如，你可能只是用日记来记录和朋友的锻炼情况。
它可能看起来像这样：
今天我们的跑步小组有四人。我们跑了3.2英里，用时29分32秒。之后，我重点进行了核心力量训练。
这些信息也可以被组织成结构化形式，比如像下面这个表格，其中每个锻炼细节是一列，每一天是一行。
| 日期 | 参与人数 | 距离（英里） | 时长（分:秒） | 后续训练 |
| :— | :— | :— | :— | :— |
| 2023-10-27 | 4 | 3.2 | 29:32 | 核心力量训练 |
你可以看到，左边的日记形式更人性化、更自然，而右边的表格形式更刻板，但更适合分析。
所以总结来说，像原始日记条目这样的文本数据被认为是非结构化的。
上一节我们了解了文本形式的非结构化数据，本节中我们来看看其他类型的非结构化数据。
以下是更多非结构化数据的例子：
-
照片：本周早些时候，我在杂货店拍了一张寿司选项的照片，以便我妻子挑选。这就是非结构化数据。如果它是结构化的，可能会更像一份菜单，整齐地列出每个项目及其成分。
-
视频：我在五金店录制了一段关于几种潜在烤炉选项的视频，这也是非结构化数据。如果我必须把它放入行和列中，我会放什么？也许我可以在每一行记录一个选项，包括价格、保修链接和一个1到5分的评分，代表我对每个选项的喜爱程度。
总结来说，照片和视频是非结构化的。
那么，区分结构化数据和非结构化数据为何重要呢？这完全关乎数据如何被收集和处理。
在某个时间点，所有这些非结构化数据通常都需要转换为结构化格式，以便进行有效分析。大多数数据分析都发生在结构化数据上，尽管现代技术越来越擅长直接分析非结构化数据。我们将在后续视频中更多地讨论结构化数据。
由于大多数数据并非一开始就以行和列的形式存在，它们通常需要经过转换才能成为结构化形式。作为一名数据分析师，你应该注意数据的来源，因为数据是否结构化通常会影响其预处理和分析的难易程度。
非结构化数据在变得有用之前通常需要更多的处理步骤，但它也更容易被人自然生成，并且由于其细节丰富，可能包含意想不到的洞察。
假设你正在处理一个旅游博客网站的客户评论。评论者可以对某个地点的趣味性、可达性和价值进行1到5星的评分，然后留下评论。评论数据是以非结构化方式生成的，它只是自由格式的文本。
在后台，这些文本需要通过一系列步骤进行处理，例如翻译成英文、分块存储到数据库、按积极或消极情绪进行分类等。与此同时，1到5星的评分则可以直接分析，例如用来计算每个地点的平均评分，但可能不如评论本身有洞察力，因为评论者可能会提供诸如“床虱多得吓人，但咖啡不错”这样的见解。
这些评论包含了结构化和非结构化信息的混合。即使评论是非结构化的，通常也会将它们与结构化数据一起存储。
例如，你可以像下面这样存储你的评论数据，每一行代表一条评论，包含不同评分的数字，以及一个包含评论内容的列。
| 评论ID | 趣味性评分 | 可达性评分 | 价值评分 | 评论内容 |
| :— | :— | :— | :— | :— |
| 001 | 4 | 3 | 5 | 风景绝美，但交通极其不便。 |
| 002 | 5 | 4 | 2 | 体验超棒！就是门票太贵了。 |
这个“评论内容”列仍然是非结构化的，因为它缺乏内在的组织结构，人们可以写任何他们想写的内容。我们将在下一个视频中更多地讨论这种技术。
非结构化数据是我们作为人类捕获和交流信息的自然副产品。它是一种原材料，需要经过组织才能产生洞察。
在下一视频中，我们将讨论结构化数据，以及它为何会存在。我们下节课见。
011：结构化数据 📊
在本节课中，我们将要学习什么是结构化数据，以及它为何对计算机处理和分析至关重要。我们会探讨结构化数据的特点、常见的数据类型，并将其与另一种数据形式——非结构化数据进行对比。
概述
当使用计算机处理数据时，通常需要为数据施加某种结构。当数据以预定义的方式组织时，计算机的工作效率最高。相比之下，人类对以意外形式出现的信息则更具适应性。
我希望你从本视频中获得的一个核心观点是：结构化数据本质上是为了让计算机能够存储、处理和分析而存在的。结构化数据就是将信息组织成计算机易于解释的标准化格式，最常见的形式是将数据整齐地组织成行和列。
结构化数据的组织与信息
上一节我们介绍了结构化数据的基本概念，本节中我们来看看这种组织方式本身如何蕴含大量信息。
让我们回顾一下追踪健身记录的例子。以下是该信息的结构化版本，并增加了两行数据，以便比较每次锻炼。
在每一列中，你（或更准确地说，你的计算机）可以预期看到同类型的信息。时间列将始终包含时间，力量训练重点列将始终是几个选项之一（如核心、腿部、背部）。永远不会出现“颈部训练日”（尽管个人喜好不同）。每一行（或每一天）都将包含每项运动的信息，即使你当天根本没有跑步。跑步里程和参与人数永远不会是负数。
这些例子代表了内嵌于这种数据组织结构中的部分信息。
数据的类型与分类
构建信息的任务通常涉及将数据分类为特定类型，例如数值型或分类型。
以下是数值型数据的两种主要子类型：
-
离散型：指整数计数。例如，你可能是和1个人或2个人一起跑步，不存在“1.5个人”这种情况。
-
连续型：可以包含分数。例如，你可以跑3.2英里或1.1英里。
此外，还有专门的数值格式，如时间，它也可以用离散或连续形式表示。
分类型数据使你能够将行划分为不同的组。例如，“核心、腿部、背部”是可用于分析不同类型力量训练重点的运动类别。
分类型数据最常以文本形式表示，但应具有有限数量的不同组。像评论这样的自由文本具有潜在无限的值，如果不经过进一步处理，无法构成有用的分类型数据。
数据也可以用数字表示，为每个组分配一个离散的数字。例如，为了效率，你可以用1代表核心，2代表腿部，3代表背部。即使是用数字表示，它仍然是分类型数据。
时间序列数据与横截面数据
结构化数据中另一个关键区别是时间序列数据和横截面数据。
-
时间序列数据：追踪随时间的变化。
-
横截面数据：捕捉某个时间点的快照。
你刚才看到的健身数据被认为是时间序列数据，因为你可以分析你的里程、时间、力量训练重点随时间的变化，并监控你的朋友是否遵守了与你一起训练的承诺。
另一方面，看看这个Instagram个人简介，它包含帖子数、粉丝数、用户名、图片和文本简介等数据。这是横截面数据还是时间序列数据？
这是横截面数据，因为它显示了某个时刻的账户信息。你无法通过这些数据了解粉丝数随时间的变化，或者此人更换头像的频率。
结构化与非结构化数据的共存
你之前了解到，在表格或电子表格中存储非结构化数据是很常见的。
以下是使用你刚才看到的同一个Instagram个人简介的另一个例子。你可以将个人简介中的结构化数据表示在一个表格中，列包括：姓名、帖子数、粉丝数、关注数。这些列中的每一列都具有一致的格式，可以被计算机处理。例如，你可以计算粉丝数与关注数的比率。
这里的个人简介（描述）是非结构化的，因为它是无组织的文本数据，计算机不易处理。为了将所有数据保存在一起，你可以将个人简介附加到这个表格中。它仍然是非结构化数据，并且与其他列相比，仍然需要更多工作来处理，但你可以将其与其他数据存储在一起，以保持一致性。
总结来说，表格中的不同列可以是结构化的，也可以是非结构化的。
人类与计算机的视角差异
现在你已经了解了结构化和非结构化数据的核心组成部分，让我们退一步，从人类的角度思考这两种数据类型的区别。
我们非常擅长解读非结构化数据。我们可以毫不费力地阅读一本书、观看一部电影或欣赏一首动人的歌曲。但对计算机来说，情况则不同。计算机需要数据以特定方式组织，才能有效地处理它。
尽管生成式人工智能在解释非结构化数据方面取得了重大进展，但一般来说，非AI技术在结构化数据上效果最佳。
总结
本节课中我们一起学习了结构化数据的核心概念。结构化数据的核心是以计算机能有效使用的方式组织信息。作为数据分析师，你将经常从结构化和非结构化数据中获取洞察。
在下一个视频中，你将探索大数据。大数据不仅仅是大量的数据，我保证其中还有更多内容。😊
在下一个视频中与我一起了解更多。
012：大数据 📊
在本节课中，我们将要学习“大数据”这一核心概念。我们将了解大数据的定义、关键特征，以及它与传统“小数据”的区别。
你可能听说过“大数据”这个词，但它究竟意味着什么？你可能会认为它仅仅意味着处理海量数据。这确实是其中的一部分，但它的含义不止于此。大数据由三个关键属性定义，被称为“三V”：体量、多样性和速度。
体量 📦
让我们从“体量”开始，这可能是大数据最直接的特征。如今的数据集通常非常庞大，在存储和计算方面都带来了巨大挑战。
以亚马逊公司为例，他们每天处理的订单量高达1200万到1900万。事实上，从你开始观看这个视频起，亚马逊可能已经处理了超过6000个订单。
体量之所以重要，是因为存储和分析这些数据需要强大的计算能力。如果你在亚马逊工作，想要分析哪怕只是一天的交易数据，你都无法在家用笔记本电脑上完成，也无法通过手动复制粘贴的方式将交易数据从一个地方转移到另一个地方。
多样性 🎭
接下来是“多样性”。过去，分析师处理的数据往往是结构化的，意味着它们能整齐地放入数据库或电子表格中。
但21世纪见证了非结构化数据的爆炸式增长，例如图像、文本、视频，甚至来自像Apple Vision Pro这类产品的增强现实数据。这种爆炸式增长与互联网，特别是社交媒体的兴起同步。
例如，现在的自拍数量比大约20年前多得多，因为第一款配备前置摄像头的智能手机直到2010年才问世。
以Facebook这样的平台为例，当用户创建新帖子时，他们可以添加照片、标记人物、选择感受、签到地点、发起募捐，甚至进行直播。每种帖子类型都需要其独特的预处理和分析方法。如果你想回答一个看似简单的问题，比如“某个用户通常发布什么内容？”，你需要分析一个极其多样化的数据集。
速度 ⚡
第三个“V”是“速度”。这指的是数据生成的速度。
你刚才看到了亚马逊处理订单的速度，但这不仅仅是科技领域的事。在飓风期间，传感器和卫星每秒收集大量数据，必须快速分析这些数据以预测飓风的移动路径。如果分析师不能迅速处理这些数据，处于风暴路径中的人们可能会收到延迟的信息。
特别是社交媒体上的数据速度是惊人的。在YouTube上线的前六个月，该网站每天的视频观看量就超过10万次。上传的视频数量如此之多，以至于人工审核根本不可行，YouTube转而采用自动化技术。换句话说，数据的速度影响了YouTube审核内容的方式，这对今天的内容审核仍持续产生着连锁反应。
以上就是最初的“三V”定义，你可以就此打住。但有一种趋势是在这个框架中加入更多的“V”。虽然你刚才看到的三个“V”是最重要的，它们将大数据与你可能称之为“小数据”的东西区分开来。
额外的“V”：真实性与价值
让我们看看额外的“V”。第四个“V”是真实性。这指的是数据的质量，它是一个至关重要的考量因素，尤其是在数据的体量、多样性和速度不断增加的情况下。数据是否来自可信的来源？在传输过程中是否可能被损坏？正如俗话所说：垃圾进，垃圾出。如果你的数据质量差，那么你的洞察以及随之而来的商业决策也会很差。
第五个“V”是价值。这里的理念是，只有数据能真正提供一些益处时，才值得分析。
以Netflix为例，我们收集的大量用户参与数据会输入到推荐系统中，从而实现个性化推荐。如果没有这些数据，每个人只会得到相同的通用推荐，就像你全家共享的那个Netflix账户一样，你知道的，就是那个《宝贝老板》旁边推荐着《惊声尖叫》的账户。
大数据与小数据
虽然大数据在当今的数据分析世界中非常普遍，但在许多情况下，相对小的数据集也能产生有价值的洞察。
你可能会惊讶地发现，美国只有大约6000家医院。这与每分钟29万次的Tinder匹配相比并不多。每家医院每年可能只服务几千名患者，一个重症监护室可能只有几十张床位。在你的笔记本电脑上分析这些数据是完全可行的，并且在这些背景下生成的数据对于改善患者治疗效果仍然具有难以置信的价值。
作为一名数据分析师，你的工作是在你试图解决的问题背景下考虑数据。有时这意味着处理海量、复杂的数据集，而其他时候则意味着调查一个更小、更聚焦的数据集。
总结
本节课中，我们一起学习了“大数据”的概念及其核心特征——“三V”：体量、多样性和速度。我们还了解了额外的“V”，如真实性和价值，并认识到数据分析的价值不仅取决于数据的大小，更取决于其与具体问题的相关性。在接下来的实践中，你将有机会在电子商务案例研究中同时处理结构化和非结构化数据。
013：数据生态系统 📊
在本节课中，我们将要学习数据生态系统的基本概念。数据生态系统描述了数据从产生到最终用于决策支持的全过程。理解这一流程，有助于我们认识数据分析师在数据价值链中的位置和职责。
就像电力不会停留在发电厂一样，数据也不会停留在其产生的地方。数据会流经各种系统，最终转化为洞察力。让我们从高层次审视这一流程，它被称为数据生态系统。这是数据从产生到可供您用于驱动决策制定所经历的端到端过程。
数据流动的核心阶段 🔄
上一节我们介绍了数据生态系统的整体概念，本节中我们来看看数据流动的具体阶段。以下是数据从源头到洞察所经历的五个关键步骤：
-
收集：正如您在之前的视频中所见，需要捕获数据才能有效使用。这可能表现为传感器收集环境数据、网站跟踪用户交互或调查收集客户反馈。
-
存储：保持数据安全。数据的存储方式会影响执行不同分析的难易程度。数据工程师通常负责运行此过程，您稍后将了解更多关于他们角色的信息。
-
处理：在大多数情况下，收集数据的原始格式可能不适合存储或分析。因此，处理实际上可以发生在收集和存储阶段之间，也可以发生在存储和下一阶段（分析）之间。
-
分析：理解数据。您将调查数据以发现可以为决策提供信息的见解。
-
交付：分享见解。您需要找出最有效的方式来传达分析结果，例如通过报告或仪表板。
核心数据团队（包括您作为数据分析师）将负责这些步骤。其他人将依赖于您的工作，包括任何生成数据的用户，以及产品经理、工程师等业务利益相关者。您对数据工程师和业务利益相关者负主要责任，因为他们是直接的上游和下游角色。更多内容将在接下来的视频中介绍。
一个具体的例子：医院诊断 🏥
让我们通过一个例子来具体说明。考虑一家接收患有严重不明症状患者进行诊断的医院。每位患者都会产生大量关于其健康的数据，初始诊断阶段涉及捕获这些数据。
例如，护士会测量他们的生命体征：用数字体温计测量体温，用听诊器测量呼吸模式。他们可能还会进行血液或尿液测试，这必须在实验室进行处理；或者他们可能要求进行成像检查，如X光、超声波或MRI，这些检查会生成需要专家解读的图像。这些数据存储在电子病历（EMR）中，与患者的身份信息相关联，同时还包括数据收集的时间和人员信息。
数据的存储和处理方式在很大程度上取决于其类型。结构化数据（如患者的人口统计信息或生命体征）可能很容易存储在传统数据库中。非结构化数据（如医生的手写笔记）可能需要在额外处理（如使用AI进行手写识别或手动数据录入）后存储在数据库中。
在所有数据流入EMR之后，患者的主治医生可以将其与自己的专业知识相结合来做出诊断，而诊断本身又成为记录在EMR中的另一个数据点。
此时，您作为数据分析师介入。您不会诊断任何单个患者，但通过分析数千份类似患者记录的模式，您或许能够发现有助于医生做出更好决策的见解。也许有一种治疗方案始终能带来更好的结果，或者存在某些医生可能忽略的风险因素。
总结与预告 📝
本节课中我们一起学习了数据生态系统的概念，它描绘了数据从收集、存储、处理、分析到最终交付洞察的完整旅程。我们通过医院的例子，看到了结构化与非结构化数据如何被处理，以及数据分析师如何通过分析群体模式来创造价值。
您并非独自完成这个过程。在接下来的两个视频中，您将见到您的主要协作者：从阅读您报告的业务利益相关者，到您日常交谈的数据工程师。我们稍后见。
014：跨部门协作伙伴 🤝
在本节课中，我们将要学习数据分析师在组织内部需要与哪些关键的非数据团队伙伴进行协作。理解这些合作关系对于确保你的数据分析工作能够产生实际业务影响至关重要。
概述
数据工作涉及组织内每个团队的人员。让我们看看数据团队之外的一些关键协作者。
关键协作者
上一节我们介绍了数据分析师需要与组织内外部进行协作，本节中我们来看看具体有哪些核心的跨部门伙伴。
以下是数据分析师通常需要合作的几类关键业务伙伴：
-
业务利益相关者：他们根据你提供的洞察做出决策。他们可以是任何人，从试图优化菜单的餐厅老板，到跟踪库存的商店经理，再到评估新法案的政策制定者。你的工作是理解他们的问题，并提供他们做出明智决策所需的洞察。
-
产品经理：在许多组织，尤其是科技公司中，你会与产品经理紧密合作。产品经理负责制定产品路线图并努力实现计划中的功能。他们定义业务问题和优先级。你需要确保你的工作与他们的目标保持一致，因为他们通常是你的洞察的主要使用者。他们会根据你的洞察来决定优先开发哪些功能以及如何个性化产品。
-
工程团队：他们是另一个至关重要的协作者。他们构建服务于用户的应用，并且通常负责数据收集系统。工程师将帮助实施系统来收集新的、更好的数据。你的角色是开发可以被整合回产品中的洞察。
根据你所在的组织，你可能还需要与设计师合作，他们帮助将你的数据转化为美观的用户界面体验；或者与业务战略家合作，他们利用你的洞察来指导高层决策。
公司越成熟，你的协作者就越专业化。团队构成在很大程度上取决于行业和组织规模。你需要调整你的工作方式以适应环境。
常见团队类型
了解了关键协作者后，我们来看看在不同规模和性质的组织中，团队构成和协作方式有何不同。
以下是几种你可能会遇到的常见团队类型：
-
小型企业：你很可能是一个单人团队，负责从数据收集到分析再到可视化的所有事情。你的主要协作者将是企业主，你需要就数据策略的所有方面直接向他们负责。灵活性和适应性是关键。你可能无法像在大型组织中那样获得相同的资源和工具，因此你需要善于利用现有资源。好处是，你通常可以看到你的工作对业务产生的直接影响。
-
政府机构：你的关键协作者很可能是政策制定者。你可能无法接触到像在科技界那样复杂的工程系统。在这种环境中的关键挑战是确保你的洞察能以引起政策制定者共鸣的方式进行沟通。与商业环境相比，你可能需要提供更多的背景和指导。
-
大型科技公司：你可能会使用复杂且成熟的ETL管道，并与各种专家合作。数据工程师将构建和维护数据基础设施。产品经理将与数据团队紧密合作，确保洞察与客户需求保持一致。软件工程师将把这些洞察整合到产品和服务中。市场和销售团队将利用数据来优化销售策略。在这种环境中，你经常需要处理海量数据，并满足众多不同利益相关者的要求。洞察必须在大型的、有时是全球分布的团队中有效共享。你需要跟上最新技术，以跟上科技行业的快速创新步伐。
总结与核心原则
在本节课中，我们一起学习了数据分析师在不同类型的组织中需要与哪些关键伙伴协作，以及如何适应不同的团队环境。
在所有团队构成中，你与利益相关者的目标越一致，你的数据工作影响力就越大。通过弥合数据技术世界与业务实际需求之间的鸿沟，你将在工作中表现出色。
在下一个视频中，你将看到这种协作心态如何转化为在数据团队内部的工作。
015：数据团队内部协作 👥
在本节课中，我们将要学习一个成熟的数据团队由哪些不同角色构成，以及这些角色如何分工协作，共同将原始数据转化为有价值的商业洞见。
一个成熟的数据团队通常承担着从数据收集到洞见交付的全链条职责。这些高级职责包括：数据收集、数据存储、数据预处理、运用核心统计方法寻找洞见、运用高级统计方法与机器学习寻找洞见、数据可视化以及与利益相关者沟通。理解业务问题本身是所有人的共同责任，因此不单独列出。
接下来，我们来看看构成团队的三个核心角色：数据工程师、数据分析师和数据科学家。这些职责是如何在他们之间分配的呢？
以下是各角色在不同任务上花费时间的细分，其中灰色条代表每个角色100%的工作时间。
-
数据工程师：主要负责数据收集和数据存储。他们的核心工作是构建数据管道，从各种来源捕获数据，并将其移动到合适的位置以供分析。数据工程师也可能参与一些数据预处理工作，为洞见发现做好准备。最后，他们通常也会花一些时间在利益相关者沟通上。
-
数据分析师：负责从数据中发现并传达洞见。这包括进行一些数据预处理以确保数据格式适合分析。你将主要专注于运用核心方法寻找与业务问题相关的洞见，并借助数据可视化来解释你的发现。沟通是你工作中很大的一部分，旨在帮助利益相关者做出明智决策。数据分析师通常拥有最广泛的技能组合，涵盖从SQL查询、数据可视化到编程和利益相关者管理的各个方面。
-
数据科学家：通常在分析中应用更深层次的技能。他们可能会进行一些数据预处理，但将大部分时间花在洞见发现上，这次侧重于更复杂的方法，如机器学习技术。数据科学家可能会设计实验、构建预测模型或开发新算法。他们也会做一些可视化工作来解释洞见，并负责与利益相关者沟通。
可以看到，这些角色的职责存在重叠，这非常有益，因为它促进了大量的协作。
你的团队中可能还有处于混合角色的成员，他们借鉴了软件工程领域的技能，例如Web开发、应用开发、云计算等。例如，可视化工程师结合了数据分析和软件工程技能；机器学习工程师则弥合了机器学习和软件工程之间的鸿沟。
这些角色中的每一个都充当着数据生态系统中不同部分之间的中介。也就是说，没有一个角色是数据的创造者或最终分析的消费者。每个角色都需要理解来自某一方的需求和用例，将其转化为自己专业领域的任务，然后与链条中的下一个角色协作以交付解决方案。
一个组织越成熟、越数据驱动，其数据角色往往就越专业化。在早期的初创公司，你可能需要负责从数据工程到分析的全方位数据职责。但随着组织成长，数据需求变得更加复杂，专业化分工允许公司在流程的每一步最大化其价值。
数据生态系统的美妙之处在于，拥有各种不同技能、背景和个性的人们为了同一个最终目标而协作。无论你身处哪个角色，你都是一个团队的一部分。
你现在已经学完了本节课的内容，本模块只剩最后一课。在下一课中，你将全面了解用于数据分析的大语言模型，包括其优势和局限性。此外，你还将通过动手实践实验室来构建你的提示工程技能。与AI合作总是一场冒险，希望你加入下一课，一起探索这项激动人心的新技术。
总结：本节课我们一起学习了数据团队的构成与协作。我们明确了数据工程师、数据分析师和数据科学家三大核心角色的主要职责与时间分配，理解了职责重叠带来的协作优势，并认识了混合角色。最后，我们看到了团队协作与角色专业化如何随着组织成熟度提升而演进，共同驱动数据价值最大化。
016：大语言模型介绍 🤖
在本节课中，我们将要学习大语言模型（LLM）的基本概念、工作原理，以及作为一名数据分析师如何利用它们来提升工作效率。我们将从模型的核心机制开始，逐步探讨其实际应用场景和最佳实践。
什么是大语言模型？
大语言模型是一种旨在生成文本的人工智能系统。在本节中，我们将了解这些模型是什么，它们如何工作，以及你作为数据分析师如何在工作中使用它们。
大语言模型（缩写为 LLM）通过一个称为预训练的过程，学会了反复预测下一个词。这个过程本质上是通过阅读互联网上的海量文本（如书籍、文章、维基百科、社交媒体帖子等）来实现的。它们阅读的数据量非常庞大，最先进的模型已经训练了数千亿甚至上万亿个单词。
此外，LLM 还经过了额外训练，使用人类精心策划的数据，以便以友好的方式回答问题，同时避免不道德的回应。所有这些训练的结果就是像 ChatGPT 这样的大语言模型，它非常擅长根据输入的提问或提示生成文本。
大语言模型对数据分析师的意义
上一节我们介绍了大语言模型的基本定义，本节中我们来看看它对数据分析工作的具体价值。
对于我们数据分析师来说，幸运的是，生成文本意味着很多事情：总结一封邮件、修复出错的电子表格公式，甚至是编写代码来分析数据。这些能力意味着 LLM 可以成为你工作流程中的思考伙伴和时间节省器。
在本课程中，你将快速了解 LLM 的工作原理，然后我们将直接进入如何与它们协作完成数据分析任务。你将看到与 LLM 协作和提示的最佳实践，以及使用 LLM 处理数据的三种不同方式。
尽管我们将重点放在 LLM 在数据分析中的实际应用上，但我鼓励你更多地了解它们的工作原理。你对它们的构建方式了解得越多，就越能在工作中更好地使用它们。
大语言模型如何工作？
正如刚才提到的，LLM 通过预测文本来工作。让我们看一个简化的示例。
假设我提供一个输入，比如“完成这个句子：I love learning…”。这被称为一个提示。然后，LLM 可以用类似“new skills”这样的内容来完成这个句子。如果你运行第二次，它可能会说“about different dinosaurs”。运行第三次，它也许会说“for the…”。
所以，如今当你用“I love learning”这样的内容提示 ChatGPT 时，它更可能会说“That‘s fantastic. Here are a few thoughts on the benefits and joys of learning…”，并可能就此继续阐述一段时间。这是因为它们经过训练，要以有帮助的方式回答问题。
例如，请求 LLM 帮助你创建一个演示文稿大纲，你会得到一个以“Sure, I can help you with that.”开头的回复。而请求如何执行非法活动（如窃取竞争对手数据）的指示，你可能会得到回复：“I can‘t assist with any illegal activities, including stealing a competitor‘s data.”
大语言模型擅长什么？
LLM 经过训练，能够根据输入提示生成文本。因此，毫不奇怪，它们在写作方面很有用。如果你试图可视化数据，你可以上传或描述你的数据，并要求 LLM 建议一些合适的图表类型，模型会提出一些创造性的建议。
除了写作，LLM 还擅长阅读任务，即你给它大量信息，它根据你的指令生成一个简短的输出。因此，可以考虑以下用例：
-
从利益相关者的电子邮件中提取核心业务问题。
-
评估数据集中有多少列是分类变量。
在你的日常数据分析工作中，请留意像这些例子一样的阅读和写作任务，在那里你可以利用 LLM 作为得力助手。
如何选择合适的大语言模型？
现在你已经熟悉了 LLM 的工作原理以及它们擅长什么（即阅读和写作任务）。但是市面上有这么多选择，你该如何选择与之合作的合适 LLM 呢？
以下是选择时需要考虑的关键因素：
-
模型能力：不同模型在代码生成、逻辑推理或创意写作等特定任务上可能表现不同。
-
成本与可访问性：有些模型是免费或开源的，而其他高级模型可能需要付费订阅。
-
数据隐私与安全：根据你处理数据的敏感性，需要考虑模型服务提供商的数据处理政策。
-
集成与易用性：模型是否提供易于使用的 API，或是否能与你常用的数据分析工具（如 Python、Jupyter Notebook）轻松集成。
总结
本节课中，我们一起学习了大语言模型（LLM）的基础知识。我们了解了 LLM 是通过预训练海量文本数据来预测下一个词的 AI 系统，它们擅长处理阅读和写作类任务，能够成为数据分析师在工作中的高效伙伴，协助完成总结、修复公式、编写代码乃至数据可视化建议等工作。我们还简要探讨了选择合适 LLM 时需要考虑的因素。理解这些核心概念，将帮助你在后续课程中更有效地应用 LLM 来解决实际的数据分析问题。
017：LLM选择策略 🤖
在本节课中，我们将学习如何选择和使用不同的大型语言模型（LLM），并熟悉Coursera平台内置的交互界面。
现在你已经了解了LLM的能力，你应该尝试使用它们，看看哪些模型最适合你。在本视频中，你将熟悉一些最流行的LLM以及如何使用它们。
主流LLM简介
目前有许多LLM可供选择，并且这个数量还在不断增长。就像你可能会针对不同类型的问题咨询不同的同事一样，你也可以选择与哪个LLM合作。
以下是一些流行的选择：
-
OpenAI 的模型，例如 ChatGPT-3.5 和 4.0。
-
Anthropic 的 Claude 3.5。
-
Meta 的 Llama 3.2。
-
Google 的 Gemini Pro。
在响应质量方面，这些都是强有力的选择。每个模型都有不同的优势和沟通风格，你可能会偏爱其中一种的语气。
Coursera平台交互界面
在本课程中，你将使用Coursera内置的基于网页的界面与LLM进行对话。
该界面有一个相当标准的设置。你有一个可以在此处输入提示词的地方。当你提交提示词后，你将能够在此中间部分阅读LLM的响应。
例如，我可以输入一个问题：“你好，你能帮助我吗？”，然后你会在上方看到响应，同时在左侧看到你实际的提示词。现在，你可以查看你之前进行过的任何对话，或者开始一个新的聊天。在下方，你有一些选项来管理你已有的对话以及配置任何设置。
你可能还注意到提示词左侧的这个文件图标。在本例中，我们可以看到“酒店预订数据”的选项，这是我们将在未来视频中处理的内容。在此界面中，你只能处理与每个活动相关的预选文件。
开放与封闭模型
关于访问权限，还有一个注意事项。ChatGPT、Claude和Gemini的模型和训练方法对公众可用，这意味着它们被称为封闭式LLM。另一方面，Llama 3是一个开放式LLM，其代码可供任何人下载和定制。
一个封闭式LLM本质上是一个黑盒。你知道创建它使用了什么技术，但不知道具体细节。封闭式和开放式模型各有其优点。
在为特定任务选择正确的模型时，你应该考虑封闭式和开放式LLM之间的这些差异：
-
封闭式模型：最佳层级需要付费，并且在响应质量方面通常优于开源LLM。你可能还会发现它们倾向于给出更安全、或更少挑衅性、争议性的回应。
-
开放式模型：只要使用你自己的计算机运行它们，就是免费的；或者可以使用第三方服务在云端运行。它们具有良好的响应质量，但并非最先进的（尽管差距正在缩小），并且有时可能产生更尖锐或更不可预测的回应。
总结与建议
我鼓励你尝试两种类型的LLM，包括封闭式和开放式，看看哪种最适合你。如果你将LLM视为一个思维伙伴，它们几乎可以成为值得信赖的同事。像ChatGPT这样的LLM，全世界有数百万人正在与有史以来最复杂的人工智能系统进行交互。
在本节课中，我们一起学习了如何根据任务需求选择不同的LLM，熟悉了Coursera平台的操作界面，并了解了开放与封闭模型的核心区别。接下来，让我们进入下一个视频，看看在数据分析中使用LLM时有哪些最佳实践。
018：提示词工程 🧠💡
在本节课中，我们将学习如何与大型语言模型（LLM）进行有效协作，特别是掌握提示词工程的核心技巧。我们将了解如何通过撰写清晰、具体的指令来引导模型，并认识到其局限性。
与大型语言模型协作有时会显得神秘。让AI充当思考伙伴究竟意味着什么？让我们具体探讨一下，作为现代数据分析师，如何利用LLM完成阅读、写作及其他任务。你需要熟练掌握两项关键技能：撰写高质量的提示词，以及识别所用LLM的局限性。我们将学习三个主要的提示词技巧：详细具体、引导模型分步思考以及实验与迭代。
详细具体地撰写提示词
上一节我们提到了提示词工程的重要性，本节中我们来看看第一个核心技巧：提供详细具体的背景信息。
想象一下，你在处理电子表格时遇到了问题，需要向同事求助。你不会直接跑过去大喊“它不工作了”，这很可能无法解决问题。你可能会解释你的目标、你尝试过的方法以及得到的结果。同样，LLM也需要足够的背景信息或上下文来完成任务。你需要自问：一位同事需要哪些信息才能回答我的问题或与我一起进行头脑风暴？
引导模型分步思考
在提供了具体背景后，下一步是引导模型有条理地生成答案。
如果你只是要求模型“为从网络抓取的数据构思五种数据清洗技术”，它也能完成任务。但假设你希望获得每种技术的详细信息、实现该技术的电子表格公式，以及一个帮助记忆的相关表情符号，最佳方法是指导模型通过一系列步骤来生成更详细的回答。
以下是引导模型思考的步骤示例：
-
要求LLM构思五种针对网络抓取数据的清洗技术。
-
要求LLM为每种技术编写对应的电子表格公式。
-
要求LLM为每种技术添加一个有趣且相关的表情符号。
通过这种方式，你可能会得到类似下表的清晰结果，其中LLM严格遵循了你的指令：
| 技术 | 公式 | 表情符号 |
| :— | :— | :— |
| 删除重复项 | =UNIQUE(range) | 🗑️ |
| 修剪空格 | =TRIM(cell) | ✂️ |
| 转换大小写 | =PROPER(cell) | 🔠 |
| 提取子字符串 | =MID(cell, start, num) | 🎯 |
| 替换文本 | =SUBSTITUTE(cell, old, new) | 🔁 |
因此，如果你对自己想要的结果已有清晰的构思流程，那么用清晰的、分步的指令来提示LLM会非常有效。
通过实验与迭代优化结果
最后，我们需要认识到，获得理想输出往往需要多次尝试和调整。
不要期望一开始就能写出完美的提示词。可以先快速尝试一个简单的版本，例如：
帮我为网络抓取的数据构思5种数据清洗技术。
如果对结果不满意，可以澄清并补充提示词，例如添加：
并使用电子表格公式实现。
如果仍未得到理想结果，可以进一步明确限制条件：
使用Google Sheets函数，无需自定义函数。
提示词工程的关键不在于起点完美，而在于快速开始，检查结果是否符合预期，并知道如何调整提示词以逐步接近理想响应。
总结与展望
本节课中，我们一起学习了与LLM协作的三个核心提示词技巧：提供详细具体的背景、引导模型分步思考以及通过实验迭代优化。你应该将LLM视为一群多样化、富有创造力的同事，而不是替代你所有职责的工具。
事实上，在下一节视频中，我们将一起探讨LLM的局限性，了解这些模型会犯哪些错误及其原因。
019：大语言模型的局限性 🧠
在本节课中，我们将要学习大语言模型（LLMs）的核心局限性。了解这些局限性对于有效、负责任地使用LLMs至关重要，尤其是在数据分析等专业领域。
概述
研究人员通常使用一种称为基准测试的技术来评估LLMs。这种方法是在一套标准问题上测试每个LLM，以比较它们在特定领域的性能。例如，在2024年中，ChatGPT-4在一个流行的常识基准测试中得分为53%，在数学基准测试中得分为76%，在编程基准测试中得分为90%。这意味着，如果你使用GPT-4进行编程，大约有10%的时间它可能不准确；用于数学时，不准确率接近25%；用于常识问题时，不准确率接近50%。这个比例相当高。
到目前为止，我们讨论了很多LLMs擅长的事情。那么，LLMs究竟是如何出错的呢？
LLMs的核心局限性
LLMs有几个关键局限性，这些局限性源于其根本设计。尝试用LLM回答以下类型的问题，很可能会让你的工作变得更困难，而不是更容易。
以下是LLMs难以应对的几类问题：
-
事实性问题：尤其是在小众或专业领域的问题。
-
关于当前事件的问题：LLMs的知识存在截止日期。
-
数学问题：涉及精确计算的问题。
-
可能引发历史偏见的问题：LLMs的训练数据中包含了社会偏见。
这些局限性对LLMs来说是根本性的，因为它们并非被训练来报告事实，而是被训练来预测下一个词。之所以预测最佳下一个词常常能产生事实性输出，更多是一种巧合。因为预测本身引入了随机性，LLMs通常在只有一个正确答案的任务上表现不佳。
例如，像“1到888所有数字的总和是多少？”或“告诉我一些关于白矮星和双星系统的事实”这类问题，对模型来说极具挑战性，难以始终如一地给出高质量的回答。
“自信地犯错”与偏见问题
当LLMs出错时，它们往往是自信地犯错。即使对于专家来说，判断一个回答是否正确也具有挑战性，因为LLMs被训练得听起来值得信赖。尤其是在你并非专家的领域，很难分辨真假。
此外，LLMs会从其训练数据中继承偏见。让我们看看原因。
想象你向一个LLM提出这样的提示：“写一个100字以内的故事，关于一个在约会中为浪漫伴侣付账的美国人。”
假设第一个故事中，马克和萨拉去约会，付账的是马克。这没什么大不了的。第二个故事中，也许是亚历克斯和艾玛，亚历克斯付了账。但在第三、第四、第五个故事中，如果付账的始终是男性，你可能就会开始怀疑了。
一项2024年的研究正是以这种方式调查了LLM的偏见问题。作者要求LLMs编写关于“明星学生”和“ struggling student”、“律师”和“被告”、以及“约会中付账的人”的故事。
现在，让我们一起来预测一下，LLM可能会如何看待以下问题。请记住，LLMs本质上阅读了互联网的全部内容。
-
约翰更可能为约会付账，还是被请客？
- LLM的回答是：付账（比例17500 : 4000）。
-
普里亚姆更可能是一位经验丰富的软件开发人员，还是一名新员工？
- LLM的回答是：新员工（比例490 : 0）。
-
玛丽亚更可能是一名明星学生，还是一名 struggling student？
- LLM的回答是：struggling student（比例4087 : 333）。
这种偏见源于一个事实：在现实中，所有性别和种族的人都可以在工作中指导他人、在课堂上取得成功、在恋爱关系中支付账单。然而，LLMs训练所用的互联网文本代表的是我们的现在和过去。因此，一个从这些数据中学习的LLM反映出我们过去和现在的这些偏见，也就不足为奇了。请记住，每个模型都只是其训练数据的反映。
对数据分析师的启示
那么，这些局限性对你作为一名数据分析师意味着什么呢？
首先，了解模型的弱点。目前，LLMs正在变得更善于识别自己不知道的事情，但你仍然需要警惕那些与你所用LLM的训练目标相悖的场景。在这些情况下，务必仔细核查LLM的回复，或者选择更适合该任务的工具，比如搜索引擎或电子表格。
其次，以怀疑的态度对待LLM的回复。最终，你要对你工作中使用的任何LLM回复负责。如果你使用LLM，它告诉你销售额增长了42%，但实际上销售额下降了10%，你需要对此信息承担的责任，就如同你自己做了这个分析一样。
最后，注意LLM的偏见。LLMs正在改进，并朝着减少偏见的方向发展，但作为一名数据分析师，你必须警惕那些偏见可能起作用的地方。
与LLMs合作的一个重要部分是保持一种健康的怀疑心态。预料到错误，预料到偏见，这样你将能够更高效地将它们用于数据分析。
总结
本节课中，我们一起学习了LLMs的核心局限性，包括其在事实准确性、数学计算方面的不足，以及“自信地犯错”的倾向和从训练数据中继承的社会偏见。对于数据分析师而言，关键在于了解这些弱点、以审慎的态度核查输出结果，并为潜在的偏见负责。掌握这些，是负责任且高效运用LLM工具的基础。
LLMs确实拥有有趣的能力。在下一个视频中，你将看到一个如何与LLMs交互的演示。我们那里见。😊
020：与LLM交互实践演示 🧠💬
在本节课中，我们将学习如何与大型语言模型（LLM）进行交互。我们将通过一系列具体的提示示例，了解LLM的优势与局限，并掌握如何有效地利用它来获取信息、解决问题。
概述：认识LLM的交互界面
上一节我们介绍了LLM的基本概念，本节中我们来看看如何在实际操作中与LLM进行对话。我们将使用Coursera平台上的LLM界面，并尝试不同类型的提示，以观察其响应。
首先，我们尝试一个数学计算类的提示。
尝试数学计算提示
以下是第一个提示示例：计算从1到888所有数字的总和。
What is the sum of all numbers from 1 to 888.
LLM给出了一个用于计算等差数列总和的公式：
公式： 总和 = n / 2 * (首项 + 末项)
其中，n是总项数。我们将具体数值代入公式进行计算：
888 / 2 * (1 + 888) = 394716
然而，LLM给出的结果是 394116。这表明LLM在此次数学计算中出现了错误。
关键点： 当需要进行精确数学计算时，使用计算器、电子表格或编程语言等比LLM更为可靠。
尝试获取实时信息
接下来，我们尝试一个需要实时信息的提示。
What if you want a hot dog and you want it right now. Will 711 deliver to me?
LLM回应称，它无法提供特定送货服务或地点的实时信息，并给出了一些查找信息的建议。
为了对比，我们在其他商业LLM界面中尝试了相同的问题。
-
Anthropic Claude： 回应称7-11在某些地区提供送货服务，但可用性取决于具体区域，并给出了自行查找信息的建议。
-
Google Gemini： 由于具备网络搜索功能，它能够检测账户位置（例如帕洛阿尔托），并给出更具体的“是”或“否”的送货答案。但它也明确指出，作为AI，它无法直接为用户下单。
关键点： LLM在获取实时、具体的地点信息方面能力有限，且目前无法代替用户执行实际操作（如下单）。
尝试获取事实性知识
现在，我们询问一个关于天体物理学的知识性问题。
What are some facts about white dwarfs and binary star systems?
LLM提供了一系列关于白矮星和双星系统如何形成、其质量、温度、密度等信息。
问题在于： 我们无法直接验证这些信息的真实性。对于这类专业主题，更可靠的做法是查阅搜索引擎或权威教科书等来源。
尝试课程相关学习问题
我们可以利用LLM辅助本课程的学习。例如，询问一个关于数据特征的概念。
What‘s the difference between continuous and discrete numerical features?
LLM的回应是：
-
连续数值特征： 指可以在一定范围内取任意值的变量。
-
离散数值特征： 指只能在一定范围内取特定值的变量。
由于我们已经学习过相关内容，可以验证这个定义是正确的。LLM还提供了示例：
-
连续特征示例： 年龄、身高、体重。
-
离散特征示例： 家庭子女数量、拥有汽车数量、宠物数量。
对于这类常见且我们已有一定了解的主题，我们可以相对更信任LLM提供的信息，尤其是它补充的示例。
尝试复杂分析与头脑风暴
让我们给LLM一个更复杂的、需要分析和决策支持的提示。
假设你是一家异宠店的数据分析师，希望增加收入。你要求LLM为以下三个选项进行决策分析提供思路，并遵循特定的思考框架。
LLM列出了每个选项，并分别分析了其潜在益处和缺点。例如，对于“增加更多爬行动物种类”这个选项，它提到可以增加客户选择、吸引新客户，但也需要额外的空间、资源和员工工作量。
然而，它提出用于收集额外信息的建议（如“参观其他异宠店”）比较模糊，没有说明具体如何评估这些店铺。
改进交互： 不要完全接受LLM的初步回答。通过追问来引导它深入思考。
例如，我们可以追问：
How might I evaluate other exotic pet shops for my analysis?
这次，LLM提供了更详细的评估维度，如地理位置、产品范围、定价策略等，以帮助我们进行更明智的决策比较。
本节总结与下节预告
本节课中我们一起学习了如何与LLM进行有效交互。我们看到了LLM擅长回答概念性问题、提供头脑风暴思路，但在精确计算、提供实时信息方面存在局限。最重要的是，我们学会了应保持审慎态度，通过多轮追问来获取更深入、更可靠的信息。
你将在接下来的实验课中练习这些技能，尝试更多类型的提示。
模块1的学习即将结束！完成本模块后，你将进行最终评估和一个关于面包店案例的评分实验练习。期待你获得更多数据处理的实际经验。
完成后，请跟随我进入下一个模块，我们将探索如何在电子表格中处理数据。我们下节课见！😊
021：简介
在本模块中，我们将深入学习数据分析师工具包中最强大、最通用的工具之一：电子表格。我们将从了解电子表格为何是处理结构化数据的有效工具开始，逐步学习数据导入、处理、分析，并最终掌握时间序列数据的分析方法。
🧩 模块概览
上一节我们完成了数据分析的初步介绍，本节中我们来看看第2模块的具体学习路径。
第2模块包含四个核心课程，旨在帮助你掌握使用电子表格进行数据分析的完整流程。
以下是本模块的课程安排：
-
第1课：探索电子表格作为处理结构化数据的有效工具。你将动手实践，学习如何将数据导入Google Sheets，并设置电子表格以支持分析。
-
第2课：学习如何在电子表格中处理数据以提取有价值的见解。你将掌握数据排序、筛选、编写公式创建新特征和计算字段，甚至转换数据以简化分析。我们将通过分析酒店预订数据的真实案例，共同研究客户预订行为。
-
第3课：练习如何提示大型语言模型来深入了解你的数据并进行数据分析。
-
第4课：专注于时间序列数据，这是一种在一致时间间隔内测量的特定数据类型。你将识别时间序列的关键组成部分，包括趋势、季节性和周期性。你将使用一个关于美国流行婴儿名字的真实数据集，在电子表格中进行大量的分析方法练习。
🎯 学习目标
完成本模块的学习后，你将熟练掌握电子表格的核心操作，能够独立完成从数据导入到深入分析的全过程，为成为电子表格的高级用户奠定坚实基础。
现在，让我们直接进入第1课，学习电子表格如何帮助我们将原始数据的混乱转化为有序的信息。课堂上见。
022：用数据解决问题 📊
在本节课中，我们将学习如何系统性地利用数据来解决实际问题。数据是验证直觉、获取深刻见解的强大工具。我们将重点介绍如何选取正确的数据进行分析，以确保分析结果能够有效指导决策。
概述
数据能以系统化的方式解决问题。你可能会有直觉，但数据能帮助你判断这个直觉是否正确。为了获得这些强有力的见解，你需要选取正确的数据进行分析。
根据经验，选取正确的数据有两个关键考虑因素，它们都聚焦于激发你进行分析的那个核心问题。
第一步：确定你关心的结果
你首先应该问自己的问题是：我关心什么结果？
例如，如果你试图提高一家太阳能电池板公司的利润，那么你希望看到销售额的正向变化或支出的负向变化。你可以调取销售和支出报告来进行分析。
或者，假设你正在与一家医院合作以改善患者治疗效果。在这种情况下，你关心的结果可能是患者满意度的提升和住院天数的减少。你可以从患者调查中收集数据来分析满意度，而入院和出院日期可以帮助你判断住院时长是增加还是减少。
第二步：识别为结果提供背景信息的数据
上一节我们确定了分析的目标结果，本节中我们来看看如何理解这些结果。接下来，需要识别能为你的“结果”提供背景信息的数据。
所谓“提供背景”，是指这些数据能告诉你更多关于所观察到的结果的信息，例如 4W：Who（谁）、What（什么）、When（何时）和Where（何地）。
例如，如果你关心的结果是销售数据，那么哪些数据点能为这些销售提供背景信息？你的销售数据可能与特定的客户（Who）、产品（What）、购买日期（When）和地区（Where）相关联。所有这些信息都有助于为销售数据提供背景，使你能够比较不同产品和地区的销售情况。
让我们聚焦于提高太阳能电池板公司收入的例子。假设我们只有右侧的销售数据。
记住，销售额是你关心的结果。我们拥有销售数据固然很好，但不幸的是，除此之外我们知之甚少。我们需要关于这些销售的背景信息，以便更好地理解太阳能电池板销售背后的驱动因素。
背景信息可能如下所示：
以下是两个数据观察示例，展示了背景信息如何与结果结合：
-
客户ID 973 于 2024年6月15日 在 北美 地区购买了 电缆套件。
-
客户ID 111 于 2024年6月20日 在 欧洲 地区购买了 太阳能电池板。
在这种情况下，你可以使用其他数据点来回答以下问题：
-
是否有应该被定位进行额外购买的高价值客户？
- 客户ID 和 销售额 可以帮助回答这个问题。
-
是否有特定产品推动了高比例的销售额？
- 产品 和 销售额 在这里是相关的。
-
销售额随时间的变化趋势如何？
- 这次，购买日期 结合 销售额 将回答我的问题。
-
总销售额是否因地区而异？
- 地区 和 销售额 可以帮助进行分析。
如果没有这些背景数据，回答上述任何问题都是不可能的。它与你关心的结果同等重要。
实际上，你还可以对每个数据点进行相当深入的挖掘。例如，你可能会注意到客户111的购买额最大。如果你想了解原因，可以提出以下问题：
-
这个客户是企业还是个人？
-
如果是企业，它的规模有多大？
-
他们下了多少订单？
总结
本节课中，我们一起学习了如何识别有用的数据以应对业务问题。你已经看到了如何通过确定关心的结果和收集提供背景的4W数据（Who， What， When， Where）来构建有效的分析基础。
在确定了需要分析的数据之后，你可以使用什么工具来组织和分析这些数据呢？在下一个视频中，你将了解更多关于电子表格如何成为数据分析世界中的强大盟友。
023：商业分析中的电子表格应用 📊
在本节课中，我们将学习电子表格在商业分析中的核心作用、适用场景以及其处理数据的基本原理。
电子表格为结构化数据带来了交互性。它们是行业标准工具，即使在我学习了更复杂的工具后，在我的整个职业生涯中，我也一直在持续使用它。电子表格不仅是谷歌、Netflix等公司日常使用的行业标准工具，而且你现在就可以在几秒钟内免费打开一个电子表格。
它们拥有广泛的用例。无论你的目标是分析家庭财务，还是计算公司的年收入增长率，电子表格的应用范围从非常简单到相当复杂，涵盖个人和商业用例。例如，在个人方面，你可以利用电子表格来记录乒乓球比赛的分数或管理个人预算。在商业方面，电子表格可用于安排员工班次、制定项目时间表或起草季度财务报告。只要你有机制以结构化方式收集和存储数据，其用例几乎是无穷无尽的。
上一节我们介绍了电子表格的广泛应用，本节中我们来看看它主要设计用于处理哪种数据。
电子表格主要设计用于处理结构化数据。正如你在模块1中学到的，结构化数据是指可以组织成行和列的数据，其中行代表观测值，列代表各种特征。一个观测值是你数据中的一个单一实例，比如一个客户或一笔交易。而特征是你为每个观测值测量的一个特性，比如年龄、价格或颜色。
我们已经了解了电子表格擅长处理结构化数据，那么对于非结构化数据呢？
当涉及到非结构化数据，如文本、图像、音频和视频时，电子表格可以用于收集和组织它们，但其分析这类数据的能力有限。想象一下尝试在这个界面中写一篇文章。或者整理你的照片。你甚至该从哪里开始？这可能会让你的任务变得更加困难。因此，如果你确定需要处理非结构化数据，你可能需要依赖计算机编程语言（如Python）或生成式人工智能工具。随着你扩展数据分析工具包，这两者你都应该探索。
为了帮助你判断电子表格是否适合你的任务，以下是两个你可以问自己的问题。
以下是两个关键的自问问题，用以判断电子表格是否适合你的用例：
-
你的数据能否被组织成行和列？ 这种组织方式是电子表格的基础。例如，预算可以被组织成每一行代表一项支出，列则代表金额、交易日期等特征。同时，非结构化数据（如一篇文章）则无法轻易以同样的方式组织。一篇文章的“列”是什么？这根本行不通。
-
你想要探索的数据不同方面之间的关系是什么？ 电子表格可以有效地计算这些关系。例如，按类别组织预算中的所有支出，或者分析购买记录以找出你花费最多的月份。
如果对这两个问题的答案都是肯定的，那么电子表格将是解决你试图处理问题的绝佳工具。
现在你已经看到了电子表格的强大功能，我希望你能在下一个视频中与我一起，在Google Sheets中动手进行翻新项目。
本节课中我们一起学习了电子表格的核心价值：它是处理结构化数据（即能组织成 行（观测值） 和 列（特征） 的数据）的行业标准工具，适用于从个人理财到复杂商业分析的广泛场景。同时，我们也明确了其局限性，即对非结构化数据分析能力较弱，此时可能需要转向编程或AI工具。通过两个关键的自问，我们可以有效判断一个任务是否适合使用电子表格来解决。
024：Google Sheets导航指南 📊
在本节课中，我们将学习如何使用Google Sheets这一常见的电子表格应用。我们将从界面导航开始，逐步学习如何整理、分析数据，并利用基础功能回答实际问题。无论你是数据分析的初学者，还是希望巩固基础技能，本教程都将为你提供清晰的指导。
电子表格应用简介
最常见的电子表格应用之一是Google Sheets。
它易于访问且功能实用，最重要的是，它对个人用户免费开放，你可以分享电子表格并与朋友和团队成员协作。
虽然Google Sheets被广泛使用，但你还有其他选择，例如Microsoft Excel和Apple的Numbers。在本课程中使用Google Sheets培养的技能，可以高度迁移到这些其他工具中。
让我们浏览一下Google Sheets，看看它是如何工作的。
顺便提一下，对于本课程中的任何演示，如果你想跟着操作，可以在本视频下方的下载选项卡中访问此电子表格的副本以及其他相关文件。
界面初览与数据准备
我已经在这里打开了一个新的表格。要创建一个新表格，你可以转到Sheets新建，或者从你的Google Drive中打开一个新的Google Sheets实例。
在Google Sheets中，你有所有的菜单选项，我们将逐步探索。还有一整套格式设置选项功能区，你可以应用到你的电子表格上，我们也会逐步探索其中一些。
假设我的朋友一直在帮助我进行家居装修项目。我这里有一些总结了一些交易的数据。仅仅看这些数据，很难看出任何整体趋势。我超预算了吗？哪项物品超支或节省最多？第一笔交易是什么？以这种形式的数据，很难识别出任何这些见解。
我记录的每笔交易都有几个特征，例如支出详情、类别、预算、成本等。让我们将其中一条记录复制到电子表格中。
构建结构化表格
我将首先把这些数据转换成一个表格，以便进行更深入的分析。
我将从列标题开始。
然后，我将输入这条特定记录的信息。
每一行和每一列的交汇处就是一个单元格。
请注意，我可以通过单击选择一个单元格，也可以通过双击或单击上方的编辑框进入一个单元格进行编辑。我还可以通过单击并拖动来选择多个单元格。
我也可以通过单击并拖动来选择一行、一列甚至多列。
你还可以仅使用箭头键在单元格之间导航：右、左、下、上。
你也可以使用命令键和箭头键移动到行或列的末尾。例如，按Command + 右箭头可以带我到达数据的末尾，Command + 下箭头可以带你到达底部。使用Shift键可以让你选择多个单元格。你也可以使用Command + Shift来选择一行或一列中的所有项目。
格式化数据以提高可读性
现在让我们把它弄得漂亮点。不必过于担心所有这些单独的步骤，但这将有助于组织你的数据，使其更易于查看。
首先，既然我已经输入了所有这些数据，我将移除它。现在，让我们稍微整理一下数据，使其更易于阅读。单击任意列标题之间的边界，它会自动扩展，以便你可以看到单元格中包含的所有信息。
选择这里的标题行，将其加粗并添加下边框，以便区分标题行和其余数据。
添加背景行颜色，使其更明显地表明这是标题行。
将所有标题行居中。
扩展“交易日期”列，以便看到完整的标题。
现在我们已经稍微格式化了数据，我将把其余的数据复制到这个表格中。从视频的这一点开始，我又添加了一些格式化。
不要试图记住你看到的所有不同步骤。只需专注于电子表格所具有的不同功能。
使用基础功能分析数据
现在我可以回答：我超预算了吗？
一个简单的方法是选择“预算”列中的所有单元格，然后在右下角看到一个很好的摘要，显示项目的总预算是多少。
总预算是**$1860**。
你也可以将其与成本列的总计**$1663.44**进行比较。
比较这两个总计，你可以看到我实际上没有超预算。
你也可以使用公式来比较这两个数字。
现在，我在下方添加了一个总计行，我可以插入一个求和函数来汇总所有单项的预算。
你将在接下来的视频中了解更多关于函数的知识。
这个函数的名称为SUM，括号内的值代表你想要求和的一系列单元格。
我也可以对成本列重复此操作。
现在我可以直接比较这两个数字，并再次确认总体上我没有超预算。
动态更新与数据排序
我刚刚想起了另一笔关于鲸鱼皂托的交易。
让我们添加一个新行。我将在任何行标题上右键单击，你可以选择在上方或下方插入一行。
请注意，当我添加鲸鱼形皂托时，预算和成本的列总计是如何更新的。
现在我想回答：第一笔交易是什么？所以我想按交易日期排序。
我将添加一个筛选器，就是这个漏斗按钮，它使我能够按交易日期排序。我可以单击列标题右侧的这个按钮，然后选择从A到Z排序，即升序。
现在我可以轻松地看到第一笔交易是建筑许可证。
应用筛选进行特定分析
接下来，假设我想分析Joy购买了哪些物品。
同样，我可以选择筛选器，现在通过“付款人”列进行筛选，我可以筛选出除Joy之外的所有人。
我将清除所有筛选器，然后只选择Joy并点击确定。
我可以看到Joy购买了三件物品：电源插座盖、植物和浴室镜子。
让我们返回，现在查看人工成本。
我将选择所有人以带回所有数据，然后筛选到仅显示“人工”类别。
为了计算总人工成本，我选择这两项，看到总人工成本是**$839**。
计算差异并识别异常
现在我想知道，哪项购买超预算最多。
为了实际计算哪项超预算最多，我需要插入一个新列来计算预算和成本之间的差异。
在“成本”列上右键单击，并在右侧添加一个新列。
这将是“差异”列。
为了计算差异，我将用预算减去成本。
通过选择这个填充柄并将其一直拖动到底部，将此公式复制下来。
进行排序以找到超预算最多或最少的项目。
“植物”超预算最多，而“管道维修”实际上为我们节省了很多钱。
总结与展望
我已经回答了我所有的问题。这比处理原始的文本文件要高效得多。
现在你已经具备了使用任何电子表格的绝佳能力。
在下一个视频中与我一起学习如何导入数据。我们那里见。
本节课总结：我们一起学习了Google Sheets的基本导航、数据录入、单元格操作、表格格式化、使用求和函数进行基础计算、添加/删除行、数据排序与筛选，以及通过插入列和公式来计算数据差异。这些是使用电子表格进行数据分析的核心基础操作。
025：数据导入 📂
在本节课中，我们将学习在 Google Sheets 中导入数据的几种常见方法。你将了解如何将外部数据文件加载到表格中，并掌握一些处理大型数据集的基本技巧。
概述
数据导入是数据分析工作的第一步。Google Sheets 提供了多种方式来获取数据，你可以手动输入、打开现有文件，或者从外部文件导入结构化数据集。本节将重点介绍最常用的数据导入方法。
数据加载的几种方式
在 Google Sheets 中加载数据的方法取决于你的具体使用场景。
以下是几种常见的方法：
-
直接在表格中生成数据
这指的是手动输入数据。对于小规模的个人应用来说，这种方法很常见。你在上一个视频的家庭装修预算示例中看到的正是这种方法。
-
打开现有文件
当你已经在 Google Sheets 中处理过某些数据，并且只想从上次中断的地方继续工作时，可以使用这种方法。
-
导入结构化数据集
这是最常用的方法。大多数数据最初都存储在 CSV 或 Excel 文件中，而不是 Google Sheets 中。这两种电子表格文件格式与大多数软件兼容。
实践：导入酒店预订数据
上一节我们介绍了数据加载的几种方式，本节中我们来看看如何实际操作，导入一个真实的数据集。
为了更直观地理解，让我演示一下具体操作。
大多数时候，你会处理更复杂的数据集。例如，在研究酒店的预订模式时，你可能会寻找像这样的已收集数据。你将在本节和下一节中使用这个数据，它非常有趣。
这篇文章描述了两个酒店需求数据集。其中一个酒店 H1 是度假酒店，另一个是城市酒店 H2。两个数据集结构相同，包含 31 个变量，分别描述了 H1 的 40000 条观察记录和 H2 的 79000 条观察记录。数据中的每条观察记录代表一次酒店预订。
两个数据集都包含 2015 年 7 月 1 日至 2017 年 8 月 31 日期间的预订数据。由于这是真实的酒店数据，所有涉及酒店或客户身份识别的数据元素都已被删除。
如果你滚动到页面底部，会发现这些数据是公开可用的。如果你想下载数据，可以通过此链接获取。
现在，我想在 Google Sheets 中处理这些数据。
首先，我创建一个新的表格（这里已经完成）。我也已经从网站下载了数据，所以我们准备好导入数据了。
这个数据实际上非常大。因此，我们创建了一个更小的版本，它只是这些预订数据的一个子集，以便于操作。
让我们继续尝试导入这个数据。
以下是导入数据的步骤：
-
转到“文件”菜单，选择“导入”。
-
上传存储在我电脑上的数据文件。
-
将数据文件拖入上传区域。
-
选择“导入数据”并“替换当前工作表”。
-
同时，启用 Google Sheets 自动检测分隔符。分隔符是分隔同一观察记录中不同值的字符，例如逗号或制表符。
现在数据已经显示出来，让我们查看一下。提醒一下，如果你想跟着操作，可以在本视频下方的“下载”选项卡中访问此表格。
数据已经导入，我们可以开始初步的整理工作。
以下是整理数据的几个操作：
-
加粗标题行并添加下边框：这有助于清晰区分表头和数据。
-
添加筛选器：以便轻松地对数据进行排序和筛选。
-
冻结首行：在探索数据时，冻结顶部行是一个技巧，可以让你在滚动时始终看到标题。这可以在“视图”菜单中找到，选择“冻结”>“第1行”。
现在，你可以看到标题始终可见。选择第一列，可以评估数据有多少行。你可以看到这个数据大约有 36000 行，比我们的家庭装修数据大得多。
协作与版本管理
假设我还想与数据团队的协作者共享这个数据。这是 Google Sheets 的一大优势。
我可以点击顶部的“共享”按钮，然后输入你想共享数据的公司内任何人员的邮箱。你可以选择希望他们拥有的权限：编辑者、评论者或仅查看者。你还可以发送一条消息，然后点击“发送”。或者，你也可以复制一个链接，直接通过电子邮件发送。
你可以看到文件的访问权限已更新，现在其他人将能够访问你的数据。
如果你希望你的分析公开，也可以返回共享设置，将“受限”访问权限更改为“任何拥有链接的人”或“贵组织中的任何人”。
假设我不小心关闭了文件，如何重新打开它？既然我已经复制了我的链接，我只需打开一个新标签页，粘贴该链接，它就会直接带我回到文件。
好消息是，你的 Google 电子表格将始终自动保存，因此你不会丢失工作。你还可以恢复到其他版本。所以，如果你犯了错误，可以点击这里的时钟图标，选择此文件之前的任何版本。
总结
本节课中我们一起学习了在 Google Sheets 中导入数据的核心方法。你现在已经知道如何手动输入、打开现有文件，以及最重要的——从 CSV 或 Excel 文件导入结构化数据集。我们还实践了导入一个真实的酒店预订数据集，并学习了如何通过冻结首行、添加筛选器来初步整理数据，以及如何利用 Google Sheets 的协作和版本控制功能。
现在你已经了解了如何导入数据，你可以处理互联网上的任何数据集了。在下一个视频中，请和我一起学习强大的排序、筛选和分析技术。我们下个视频见。
026：排序、筛选与格式设置 📊
在本节课中，我们将学习如何对导入的真实世界数据集进行初步探索。具体内容包括：理解数据结构、调整列顺序、对行进行排序、筛选特定数据子集，以及设置数值格式。这些操作是数据清洗和准备的基础步骤。
理解数据集
上一节我们导入了酒店预订的大型数据集。本节中，我们来看看如何进一步调查它。
你的任务是检查酒店预订数据，以了解哪些预订利润最高、何时发生、由谁预订，以及在探索数据集时能发现的其他信息。你的首要目标是理解数据并确保其格式正确。
以下是数据集中的一些重要特征：
-
adults和children：成人和儿童的数量。 -
arrival_year、arrival_month和arrival_date：预订的抵达年、月、日。 -
required_car_parking_spaces：所需停车位数量。 -
lead_time：客人预订酒店房间与实际入住日期之间的天数。 -
average_price_per_room：每间房的平均价格（一种货币）。 -
booking_status：预订状态（是否取消）。 -
数据集包含数值型和分类型特征的混合。
调整列顺序
假设你希望日期信息显示在左侧，以便更轻松地查看预订发生的具体时间。
操作方法是：点击并拖动选中这三个日期列，然后将这些列滑动到数据的最左侧。
现在，你无需向右滚动即可找到预订发生的日期。
对行进行排序
请注意，所有年份都是混杂的，例如2017年、2018年等。
假设我想按日期对行进行排序。与重新排序列不同，组织数据行通常不是手动操作，因为数据行数往往远多于列数。因此，我们使用排序操作来排列行。
只需选择“年份”列的筛选器选项，然后选择“从A到Z排序”。现在，所有数据都按从2017年到2018年的顺序排序了。
进行复杂排序
我们如何按月份排序呢？为了先按月份开始排序，我们需要进行更复杂的排序操作。
-
选择所有数据。
-
转到“排序范围”。
-
选择“高级范围排序选项”。
-
勾选复选框，因为数据确实包含标题行。
-
选择“抵达年份”，并按“A到Z”排序。
-
添加另一个排序列，选择“抵达月份”，并按“A到Z”排序。
-
最后，再添加“抵达日期”，并按“A到Z”排序。
-
点击“排序”。
现在，我的所有数据都根据完整的抵达日期进行了排序。
筛选数据子集
现在，假设你只对重复预订感兴趣。你可以筛选数据，将其缩减到这个子集。
-
找到“重复客人”列（假设在N列）。
-
筛选此列的数据，仅选择值为“1”的子集。
-
现在所有数据都已筛选为仅包含重复预订。
-
点击整列，同时按住Ctrl键点击以取消选择标题。现在可以看到数据中有930个重复预订。
我注意到很多这些客户是公司客户。
设置数据格式
在这里，你注意到“每间房平均价格”有什么问题吗？根据数据，它应该是欧元。
因此，让我们将此特征格式化为货币。选择此列，虽然美元符号是一个选项，但如果我想选择欧元，需要进入“更多格式”。向下滚动，你将能够选择“欧元”。我最近使用过此格式，所以它出现在这里，但你可能需要从自定义货币选项列表中选择它。
你会注意到，它在前面给出了符号，同时将数字格式化为两位小数。我没有看到其他特殊格式，但在下一课中你将看到更多工具。
总结
本节课中，我们一起学习了数据探索的基础操作。我们首先理解了数据集的结构，然后通过调整列顺序优化了数据视图。接着，我们使用简单和复杂的排序功能，使数据按时间顺序排列。之后，我们应用筛选功能，快速聚焦于“重复预订”这一特定数据子集。最后，我们确保了货币数据（欧元）以正确的格式显示。
这些技能是使用电子表格进行数据分析的核心基础。完成本课的练习评估后，请加入下一课，学习更多关于数据来源、深入了解数据以及编写电子表格公式以进行有意义分析的内容。
027：数据初探 🕵️
在本节课中，我们将学习如何初步探索和了解你的数据。在开始进行有影响力的分析之前，你必须先熟悉你的数据。
第一次打开一个数据集，就像认识一个新朋友。数据集有其历史和“个性”。关于一个新朋友，你可能会想知道哪些信息？例如，他们的年龄、来自哪里、从事什么工作。
你已经见过一些了解数据的基本策略：判断数据是结构化还是非结构化的、计算观测值和特征的数量、区分数值型特征和分类特征。这类关于数据的信息被称为元数据，即关于数据的数据。这是一个非常“元”的概念。
上一节我们介绍了元数据的基本概念，本节中我们来看看更多你通常会遇到的元数据类型。
以下是几种常见的元数据类型、示例及其能告诉你的信息：
-
文件名：例如
hotel_reservations。这告诉你如何搜索或找到该数据。 -
原始作者：告诉你谁生成了数据，以便你后续提问。
-
数据描述：提供关于数据包含哪些信息的背景。
-
文件格式：例如 CSV、TXT、JSON 等。这告知你与数据交互时可能需要的方式。
-
文件创建或最后更新时间：告诉你数据的“年龄”或时效性。
-
访问控制：告诉你谁可以访问数据以及他们如何与之交互。
你需要理解数据的来源或“起源故事”。数据是如何收集或生成的？是由人工生成还是由软件系统生成？
如果你知道数据是通过调查收集的，你就需要考虑一个事实：并非所有收到调查的人都会实际回复。如果你知道数据是通过软件收集的，你可能需要寻找系统性错误。
数据的总体质量如何？它是准确的还是存在缺陷？通常，答案是后者。理解来源可能帮助你识别潜在的问题。
让我们通过提问来探索上一课中遇到的酒店预订数据集的起源故事和“个性”。
这是包含此数据来源的期刊文章。这里有很多文字，让我带你浏览一下。
首先，这些数据有多“老”？你可以看到它发表于 2019 年 2 月，因此你不应期待有比这更新的预订记录。我们继续往下看。
让我们看看这个规格表。这些数据来自哪里？两家酒店都位于葡萄牙，H1 在阿尔加维的度假区，H2 在里斯本市。
这是一张地图，显示了这两个位置。南边是阿尔加维，它是葡萄牙最南端的地区，也被称为法鲁区。你还可以看到首都里斯本在西海岸。
请注意，这两个地点相距甚远，因此可能具有不同的特征。
这些数据是如何收集的？这段高亮文本提到，查询是直接在酒店的物业管理系统数据库中执行的。从物业管理系统提取数据表明这些数据是可靠的。记录可能是自动生成的，人为错误最少。这也表明这些数据归酒店本身所有。自动提取通常也会产生像这样的大型数据集：横跨两年的 36000 条观测记录，平均每天超过 50 个预订。
探索数据来源是重要的工作。跟随我进入下一个视频，看看如何探索一些关键的摘要信息。
本节课中我们一起学习了如何初步探索数据，包括理解元数据的各种类型以及通过询问关键问题来追溯数据的来源和收集方式，这是进行可靠数据分析的第一步。
028：最大值、最小值、平均值 📊
在本节课中，我们将学习如何使用摘要统计来初步了解数据集。我们将重点介绍三个核心统计量：最大值、最小值和平均值，并通过一个酒店预订数据集的实例来演示如何计算和解读它们。
你已经知道了数据的来源和收集方式，但你是否清楚数据的具体内容是什么？
探索数据以寻找趋势和异常值，这有助于你回答业务问题，是一个充满乐趣的过程。
了解你的数据特征
一旦明确了数据来源，就应该计算一些摘要统计量，以便更好地理解数据特征。
以一项针对Netflix活跃用户的调查为例。你可能有一个“年龄段”的特征，例如18-24岁、25-34岁等。每个组的频率构成了用户年龄分布。你的用户群体是更年轻还是更年长？这些信息如何影响你制作的内容类型？
你的数据可能还包含“活跃订阅时长”。这些时长的范围是多少？或许最短的订阅时长是三个月，因为你为新用户提供了促销价。最长的订阅时长可能只有两年，因为这要追溯到服务首次推出的时间。你还需要了解典型的订阅时长，以便思考如何延长它。
你还应该理解特征之间的关系。例如，考虑年龄段和活跃订阅时长之间的关系。不同年龄段的订阅时长有何不同？原因是什么？
你的数据集也可能与其他数据集相关联，通常通过一个或多个共同特征连接。例如，一个电影数据集可能与一个用户数据集相关联，关联依据是每个用户观看过的电影。
探索酒店预订数据集
让我们通过查看酒店预订数据集中的一些特征来更好地了解它。
我们将探索其中一些特征，从“成人数量”开始。我将创建一个新的工作表来存储计算值。以下是我们将为“成人数量”特征计算的一些摘要统计量。
计算最小值
首先，计算成人数量的最小值。使用公式以等号（=）开始，这告诉Google Sheets你将输入一个函数。我们从最小值函数 MIN 开始。
每个函数后应跟一个左括号，之后会闭合。然后，我们回到数据选项卡，选择“成人数量”列，接着闭合括号并按回车键。
公式示例：
=MIN(Data!E:E)
结果是成人数量最小值确实是0。我想知道这是怎么回事。
计算最大值
接下来，编写公式计算最大值。同样以等号开始，引用最大值函数 MAX，回到数据并再次选择“成人数量”列，闭合括号并按回车键。
公式示例：
=MAX(Data!E:E)
可以看到数据集中确实有一些预订包含4位成人。
计算平均值
最后，计算成人的平均数量。再次以等号开始，输入 AVERAGE，忽略自动填充的建议，回到原始数据选择“成人数量”列，闭合括号并按回车键。
公式示例：
=AVERAGE(Data!E:E)
数据显示，每次预订的平均成人数量约为1.8。
深入分析与数据验证
一个预订怎么可能有0个人呢？数据中也有儿童信息。那么，有多少预订是只有儿童的呢？
让我们回到数据中，按成人数量升序排序。可以看到，数据中有相当多的预订成人数量为0，并且所有成人数量为0的预订都有儿童。直到第140行，我们的数据中成人数量都为0。通过排序可知，实际上有139个预订成人数量为0但包含一些儿童。
这会不会是错误？让我们再看看儿童数量。我将复制相同的公式，这次针对F列“儿童数量”。复制这一行并将其替换为儿童数量，然后更新这些公式以代表儿童特征，或者你也可以直接将其替换为F列。
儿童数量的最小值为0，这说得通。但谁会在一个房间里带10个孩子呢？平均值相当低，为0.11。所以大多数预订没有儿童。
让我们调查一下那些儿童数量很多的预订。按儿童数量从多到少降序排列数据，可以看到只有少数几个异常情况有很多儿童（10个、9个），然后降到3个。所以只是少数异常预订。
最后，让我们查看“提前预订时间”，即预订日期距离入住日期的天数。
有趣的是，最大提前预订时间远高于平均值。我对那些提前预订时间为0的最后一刻预订也感到惊讶。
让我们调查这些超过400天的预订。回到原始数据，按提前预订时间从高到低降序排序。有相当多的预订提前了443天。这很有趣。我想知道这是否是系统允许的最长提前预订时间。我还注意到有很多是433天、418天。我想知道这是怎么回事。
事实证明，如果你回到数据的左侧，可以看到所有这些预订的抵达日期也是相同的。所以这些一定是某种类型的团体预订，比如婚礼或商务会议。
总结与展望
以这种方式查看特征非常有价值。我鼓励你查看更多的特征。
随着你技能的提升，你将使用编程语言来快速获取这类摘要统计，从而对酒店预订数据集中发生的情况有良好的把握。
你如何分析这里发生的情况？在接下来的几个视频中，我将介绍一些分析数据的酷炫技巧，从条件格式开始，请与我一同继续学习。
在本节课中，我们一起学习了如何使用最小值、最大值和平均值这三个摘要统计量来初步探索和理解数据集。我们通过实际操作，发现了数据中的一些有趣模式和潜在问题，例如成人数量为0的预订以及异常长的提前预订时间，这为后续深入分析奠定了基础。
029：条件格式 📊
在本节课中，我们将学习如何使用条件格式这一强大的可视化工具，它能帮助你比单纯查看原始数据更容易地发现有意义的信息。我们将了解其工作原理、主要类型，并通过实际数据集演示其应用。
什么是条件格式？🔍
上一节我们介绍了数据分析中可视化的重要性，本节中我们来看看一个具体的工具——条件格式。
电子表格中的条件格式看起来像这样或那样，它允许你高效地对数据应用特定规则，包括数值数据、分类数据甚至日期数据。其主要好处在于它在你的数据之上提供了一个视觉层，使你无需在脑海中逐一评估每个数据点与规则的比较情况。
作为一个人类而非计算机，我欣赏条件格式提供的视觉信号，因为它使识别数据模式变得更加容易，例如：
-
发现众多数据点中的趋势和模式
-
识别积极或消极的变化
-
识别异常值
-
识别哪些特定值高于或低于某个阈值
条件格式的主要类型 🎨
以下是你可以应用于数据的规则类型，其中两种主要类型是单色格式和色阶。
单色格式
当你想要突出显示满足特定条件的单元格时，应用单色格式。例如，你可以突出显示太阳能电池板发电量达到8个或更多的日子（你可能将其归类为“好日子”）。应用条件格式将使你能够轻松识别哪些日子是“好日子”。
单色格式还允许你选择字体样式，例如加粗或斜体。
色阶格式
你的另一个选择是色阶，它根据每个单元格的值为其应用几种颜色之一。你无法应用其他样式（如加粗和斜体），因为这些样式无法在众多值之间进行缩放。
有两种常见的色阶类型：
-
顺序色阶：使用同一种颜色逐渐加深的色调。
-
发散色阶：在中心值的两侧使用不同的颜色。
让我们在电子表格中看看每一种，以便了解它们各自的用途。
在酒店预订数据集中的应用实例 🏨
现在让我们看看这些色阶在酒店预订数据集中如何工作。假设我想用条件格式识别最有价值的预订。
示例1：识别带有儿童的预订
一个想法是查看每个预订是否带有儿童。我们知道带有儿童的预订相对罕见，平均值约为0.11。在这种情况下，我们有两个条件：一个是儿童数量大于0，另一个是等于0。
对于这种类型的条件，我们可以应用单色格式。
-
选择F列（儿童数量特征）。
-
转到“格式” -> “条件格式”，这会打开侧边栏。
-
有两个选项卡：“单色”和“色阶”，我们从“单色”开始。
-
为了应用此条件，我们需要选择不同的格式规则。在本例中，我们想要的规则是“大于0”。
-
我将选择蓝色以便更容易查看，同时将结果加粗，然后点击“完成”。
现在，儿童数量大于0的预订以蓝色突出显示，并且文本也加粗了。总体来看，带有儿童的预订相当罕见，大多数值为0，只有偶尔的值大于0。
示例2：显示预订提前期（Lead Time）的范围
另一个想法是显示提前期（预订提前的天数）的范围，这可能有助于你一眼识别异常值。
我们选择一个强调较高值的色阶。
-
选择“色阶”。
-
确保在格式规则中选择一个从低值（浅色）到高值（深色）的色阶。这里的默认选择正是我们想要的。
-
在本例中，我们对绿色满意，因此可以直接应用色阶。
现在，较短的提前期显示为非常浅的颜色，而较长的提前期（例如224、211或346）则显示为更深的绿色。有趣的是，假设我想通过筛选市场细分来更仔细地查看公司预订。清除所有其他选项，只选择“公司”。你看到的主要是比我们在所有预订中看到的一些深绿色更浅的颜色。因此，这里的洞察可能是：公司预订的平均提前期较短。
示例3：分析每间客房的平均价格
接下来，分析每间客房的平均价格。假设你的盈亏平衡点是45。任何低于此价格的情况，你都在亏损，价格越低，亏损越多；高于此价格则是盈利，利润越高越好。
对于这种情况，你可以使用发散色阶。
-
选择“色阶”。
-
选择发散色阶（这些色阶在中间有一个明确的中性值，一侧是一种颜色，另一侧是另一种颜色）。
-
对于发散色阶，你需要选择一个代表数据中心的中间点值。由于我们有一个特定的数字45作为数据的中心，我将选择一个数字。
-
我们选择了红绿配色选项，但这个选项对于色盲人士可能难以辨认。因此，我将自定义一个：为较低的值选择橙色，为较高的值选择蓝色。
应用后，我看到大多数预订都是盈利的（这里有很多蓝色），只有偶尔的橙色值表示平均房价低于45美元。
假设我还想筛选这些数据，查看特定的市场细分。例如，我可能想查看“免费”市场细分。选择“免费”后，你会看到这些选项的客房平均价格，许多是0，大多数低于45美元。因此，这些都是非盈利预订的例子。
总结与回顾 📝
本节课中我们一起学习了条件格式的应用。
出色的工作！将条件格式应用于你的数据。条件格式对于探索数据和传达洞察非常强大。现在你已经看到了如何将其应用于真实世界的数据，请跟随我进入下一个视频，看看如何扩展这些洞察，以在电子表格中汇总数据。
030：摘要统计之COUNTIF函数 📊
在本节课中，我们将学习如何使用Excel中的COUNTIF函数，这是一种强大的条件计数工具，能帮助我们快速分析数据集中满足特定条件的记录数量。
当面对一个包含大量特征的数据集（例如酒店预订数据集）时，你可能会不知从何开始分析。一种有效的策略是对数据进行分割，以尝试理解其中不同的潜在群体。
上一节我们介绍了数据分析的初步思路，本节中我们来看看如何从结果变量“预订状态”入手。这里有一个问题：被取消的预订占总预订的百分比是多少？ 使用你现有的工具可能很难进行统计。
你可以使用COUNTIF函数来帮助回答这个问题。
理解COUNTIF函数
COUNTIF函数是一种条件函数，意味着它仅在满足特定条件时才执行操作。给定一个单元格范围或一组单元格，COUNTIF会统计其中满足特定条件的单元格数量。
COUNTIF类似于筛选器，后者仅显示满足特定条件的数据。不同之处在于，COUNTIF是统计这些数据的数量，而不是显示它们。
你的公式将如下所示：
=COUNTIF(range, criteria)
-
=：公式必须以等号开头。如果不包含它，你输入的内容通常会被视为纯文本。 -
COUNTIF：函数名称。 -
range：第一个参数，选择要统计的单元格范围。 -
criteria：第二个参数，在引号内添加条件。例如，如果你想统计范围内包含“hot pocket”的单元格数量，条件可以是"hot pocket"。如果要检查数字，条件可以是">100"或"<=0"。
函数实战：统计取消的预订
让我们看看这个函数如何实际应用。首先，统计被取消的预订数量。
-
输入等号
=，然后键入countif函数（函数名无需大写）。 -
回到数据，选择“预订状态”列（即最右侧的列）。
-
添加条件，检查其是否“等于”
"Canceled"。 -
闭合括号。
操作完成后，你会发现数据集中有近12,000个预订被取消，这相当于每天约有17个取消。
函数实战：统计未取消的预订
接下来，我们统计未取消的预订数量。
-
以等号
=和COUNTIF开始。 -
再次选择“预订状态”列。
更多推荐
6
0- 0
已为社区贡献855条内容
所有评论(0)