《数据科学通识导论2017》:04 分析思维
,数据科学通识导论 Introduction to Data Science (Liberal Arts),课程总览,,A-SATA model,,第4课 分析思维,什么是思维方式? 分析思维 计算思维与统计思维 像数据科学家一样思考,开篇实例,看到这段话你能想到什么?,数据说明什么问题?,16年政府工作报告的这段话中,有两个数据,劳动年龄人口平均受教育年限10.23年和10.8年,这两个数据看似差别不大,然而回归到日常生活领域中,却能昭示出很多问题。,数据背后隐藏的含义,进一步挖掘,05年初中升学率50%,14年初中升学率到56%,也就是说近一半的人,都没有读高中,更不要说接受高一的教育。 让我们有这种认识的是来源于这两个10.23年和10.8年的数据,这两个数据的核心在于平均二字。平均值是统计学中最基本和最重要的统计量之一,通过这个统计量就可以从简单的数据中发现相当多的信息。,是统计思维在起作用,当你看到一堆数,只需要用统计量,就能管中窥豹,什么是思维方式?,思维方式是人们大脑活动的内在程式,它对人们的言行起决定性作用。 思维方式决定行为结果,如果我们想在未来的学习工作上有所突破,一定要先在思维方式上有所提高。 思维方式决定了一个人的创新能力。,典型的思维模式:直线思维,直线思维是人们最常用、最简单和最本能的思维方式 它用直线模式去思考问题:从当前点出发,用刚刚发生过的事情建立方向,用直线去预测结果。 对于社会关系来说,运用直线思维可以形成简单的契约社会,人和人之间没有复杂的心理暗示。 中国人很少采用直线思维思考社会问题,反而进行过度解读,形成了集体焦虑。,典型的思维模式:逆向思维,逆向思维是对当前的状态进行反向思考。其目的是否定当前的状态,向相反的方向寻找目标。 对于科学研究来说,逆向思维必不可少。 逆向思维并不会持久存在,因为逆向思维的结果充满了风险。,典型的思维模式:跳跃思维,跳跃思维是不按部就班思考,间断性地向某个方向“跳起”的思维方式。 跳跃思维可以跨过鸿沟,到达新的起点,在科研难题的突破上是非常有用的。 跳跃思维要求人的大脑具有很强的活力、精力旺盛。 这种能力的外在表现就是“异想天开”。,典型的思维模式:归纳思维,归纳思维是人处理外界信息的一种手段。 利用归纳思维,能够在短时间内对复杂的信息建立各种模式,只要熟记几个简单的模式,就能掌握无穷多个可能的事实。 很多人学习新知识很快,就是因为归纳思维运用得当。例如,举一反三。,典型的思维模式:并行思维,人的思维方式一般从一件事情开始,完成后再做另一件事情。这是自然选择,也是人的本能。 但是如果一个人负责一个团队,或者从事非常复杂的系统性问题研究时,必须学会同时思考几件事情,这就是并行思维。 我们并不是拥有多核的大脑,而是需要在不同的课题之间进行快速切换。,典型的思维模式:科学思维,科学思维(Scientific Thinking)通常是指理性认识及其过程,即经过感性阶段获得的大量材料,通过整理和改造,形成概念、判断和推理,以便反映事物的本质和规律。 科学思维是指人脑对自然界中事物的本质属性、内在规律及自然界中事物之间的联系和相互关系所做的有意识的、概括的、间接的和能动的反映,该反映以科学知识和经验为中介,体现为对多变量因果系统的信息加工过程。 简而言之,科学思维是人脑对科学信息的加工活动。,科学思维的发展,科学的理性思维 科学的逻辑思维 科学的系统思维 科学的创造性思维 总之,科学思维是关于人们在科学探索活动中形成的、符合科学探索活动规律与需要的思维方法及其合理性原则的理论体系。,科学思维的分类,理论思维(Theoretical Thinking)又称逻辑思维,是指通过抽象概括,建立描述事物本质的概念,应用科学的方法探寻概念之间联系的一种思维方法。 实验思维(Experimental Thinking)又称实证思维,是通过观察和实验获取自然规律法则的一种思维方法。它以观察和归纳自然规律为特征,以物理学科为代表。 计算思维(Computational Thinking)又称构造思维,是指从具体的算法设计规范人手,通过算法过程的构造与实施来解决给定问题的一种思维方法。,实验思维,实验思维是将所有的可能进行一遍计算,从中筛选出最佳路线。从表面上看这是一种逻辑思维,实际上逻辑并不起作用。 我们在编程或者推导问题过程中,有时会用到实验思维:不需要将所有的可能都写在纸面上再去挑选,而是在大脑中进行筛选操作。 实验思维要求我们能够快速地遍历所有的可能,要求我们对情况非常了解,这是一种虚拟的快速处理能力。,大数据时代的思维方式,《大数据时代》和《智能时代》告诉我们: 数据思维:讲故事 数据说话 总体思维:样本数据 全局数据 容错思维:精确性 混杂性、不确定性 相关思维:因果关系 相关关系 智能思维:人 人机协同(人 + 人工智能),数据思维,数据思维,这个概念虽然很早就有,但直到近几年,随着大数据技术的飞速发展,重新又回到了思维认识的高度。 实际上,数据思维一直是人类的一种思维方式之一,而且应该比科学思维形成得更早,也更朴实。 科学思维应该是在数据思维之上产生的,而且科学思维中也包括了数据思维,如一些基于统计的学科,其实就是大数据思维的体现和应用。数据思维背后的核心是分析思维。,数据科学的核心思维:分析思维,分析思维(Analytical Thinking) 简单来说就是不是我觉得,而是数据证明。 “我觉得”是一种直觉化经验化的思维,数据证明则是数据分析的最直接体现,它依托于数据导向型的思维,而不是技巧,前者是指导,后者只是应用。 在数据科学中的具体体现: 计算思维(Computational thinking) 统计思维(Statistical thinking),什么是计算思维?,计算思维是运用计算机科学的基础概念去求解问题、设计系统和理解人类行为的涵盖了计算机科学之广度的一系列思维活动。 求解问题中的计算思维。 设计系统中的计算思维。 理解人类行为中的计算思维。,理解人类行为,计算思维是基于可计算的手段,以定量化的方式进行的思维过程。 计算思维就是能满足信息时代新的社会动力学和人类动力学要求的思维。 在人类的物理世界、精神世界和人工世界等三个世界中,计算思维是建设人工世界所需要的主要思维方式。,计算思维与计算机科学,计算思维的本质是抽象和自动化。它反映了计算的根本问题,即什么能被有效地自动进行。 计算是抽象的自动执行,自动化需要某种计算机去解释抽象。从操作层面上讲,计算就是如何寻找一台计算机去求解问题,隐含地说就是要确定合适的抽象,选择合适的计算机去解释执行该抽象,后者就是自动化。,什么是统计思维?,统计思维是指获取数据、从数据中提取信息、论证结论可靠性等过程中表现出来的一种思维模式,对于人类提高认知起到巨大的作用。 统计方法作为一种实证主义的方法,目的是从偶然性中发现必然性,对真理做出探究。 统计学是检验理论与现实之间一致性的工作,统计学家设计收集数据的方法,提供数据特征的描述方法,以及利用样本数据对总体特征做出估计、检验和预测。,统计思维,“统计学不止是一种方法或技术,还含有世界观的成分,它是看待世界上万事万物的一种方法。我们常讲某事从统计观点看如何如何,指的就是这个意思。但统计思想也有一个发展过程。因此统计思想(或观点)的养成,不单需要学习一些具体的知识,还有能够从发展的眼光,把这些知识连缀成一个有机的、清晰的途径,获得一种历史的厚重感。” ——陈希孺,《数理统计学简史》,统计思维,就是用统计学的世界观去构建框架,然后去解释这个世界。,像数据科学家一样思考?,,最后:数据洞见的基础,在数据这件事上,要从需求出发,而不是从数据本身出发。 有人会问,有了一些数据,给我讲讲怎么能发挥更大的价值。坦率来说,许多时候不了解业务场景,很难提出建设性的意见的。,后续课程,统计思惟 分析思维 计算思维,,总结,本周思考问题,谈谈你对数据分析思维的理解?,Thanks!,