黑箱方法的应用,破解黑箱的能力

hacker2年前 (2022-10-08)黑客业务138

黑箱理论对了解消费者购买行为有何意义

所谓“黑箱”，就是指那些既不能打开，又不能从外部直接观察其内部状态的系统，比如人们的大脑只能通过信息的输入输出来确定其结构和参数。“黑箱方法”从综合的角度为人们提供了一条认识事物的重要途径，尤其对某些内部结构比较复杂的系统，对迄今为止人们的力量尚不能分解的系统，黑箱理论提供的研究方法是非常有效的。

黑箱方法的应用,破解黑箱的能力

物理中，“黑箱问题”是什么？

在物理教学中，黑箱及黑箱问题不仅能激发学生对物理学习的浓厚兴趣，而且黑箱问题的分析和解决还能培养学生的逻辑判断能力。推理能力、创造能力和应用物理知识解决实际问题的能力，所以在中学物理教学中应广泛推广这种黑箱及黑箱方法

黑箱的分类

黑箱的分类，

从物理学内容的角度来看，一般可以把黑箱分为力学黑箱、光学黑箱和电学黑箱、声学黑箱等几种，其中又以光学黑箱和电学黑箱较为常见；从教学功能上来说，黑箱又可以分为导入新课类黑箱、帮助建立概念、规律类黑箱、巩固复习类黑箱及实验训练类黑箱等。黑箱的分类不是绝对的，从不同的角度去看有着不同的分类方法。

黑箱问题的解决方法

黑箱是一种未知系统，

在探索其内部结构时往往不能将其打开而成为“白箱”，因此，通常采用这样的方法来解决：给黑箱输人某一或某几个信号（如光学信号、电学信号、力学信号等），观察其输出信号，然后进行推理，最终得出黑箱的内部结构。由于是通过逻辑推理的，所以最终结果有可能并不是唯一的，这就可以大大促进学生进行发散性思维，使思维得到发展。

可解释AI，如何打开算法的黑箱？

随着以机器学习为代表的新一代人工智能技术不断朝着更加先进、复杂、自主的方向发展，我们的经济和社会发展都纷纷迎来了变革性的机遇。但与此同时，AI算法的透明度、可解释性问题也为公众信任、公共安全等诸多领域带来了前所未有的挑战。

1月11日 14日，“腾讯科技向善创新周”在线上举办。“透明可解释AI——打开黑箱的理念与实践”专题论坛即聚焦于此。论坛发布了《可解释AI发展报告2022》，随后由专家学者（见文末）共同参与了圆桌讨论。以下为整理文章：

可解释AI的概念共识

姚新：

大家在讨论AI算法的透明性和可解释性的时候，首先应该考虑三个W的问题——Who，What和Why的问题。

首先，到底是对谁讲透明和可解释？因为从科学研究来说，任何一个研究都必须透明，都必须可解释，否则这个论文是发不出来的。所以我猜过去讲透明性和可解释性，可能不是对科学家来说的可解释性或者透明性，因为对科学家的透明性和可解释性，不一定对大众透明和可解释。第二是解释什么？解释模型做出来的结果还是解释这个模型的工作原理。第三，解释总是有一个目的，目的是要追责还是理解这个模型的科学原理。

根据对这三个W不同的答案，会得出非常不一样的透明性和可解释性，相应的解决办法可能也完全不一样。不管怎样，考虑透明性和可解释性的时候，首先大家要有一个概念上的共识，使得我们知道我们是讲同样一件事情，而不是用了同样一个名词，大家在不同的抽象层次讲不同的问题。

吴保元：

可解释是可信AI的重要组成部分，是可信的前提条件之一，但是相比于鲁棒性、公平性等可信特性，我觉得可解释不是独立存在的概念。就是姚老师刚才提到的，我们到底在解释什么？其他的特性都是有自己明确的数学定义，比如鲁棒性、公平性等，但是可解释性是没有的，因为我们单独提到它的时候，背后默认的更可能是对模型准确度的可解释性。或许这也可以解释为什么当前的可解释研究思路这么多，但是好像没有一个明确的框架，我觉得最主要的原因是它的解释对象不一样，没有办法统一到一起。

基于这种理解，我个人有一点小的想法，不应该把它称为可解释性，把它称为可解释力或许更准确。可解释性，大家可能误认为它是一种独立存在的性质；可解释力是一种可解释的能力，就像我们说的理解力、领导力等等，它是一种手段，一种行为，一种操作存在，需要跟别的绑在一起。我觉得以后提到它的时候，应该准确地描述它是针对什么特性的可解释力，而不是笼统地说可解释性如何。

可解释AI的价值何在？

朱菁：

人们对于人工智能系统可解释性、透明性的要求，大致有四个层次：

第一个针对的是直接用户，用户需要了解人工智能产品、服务背后的原理是什么，这是建立可信任AI的重要基础。可解释AI，实际上支撑了可信任AI。

第二个层次，对于政策和监管部门，他们希望通过解释原理来了解人工智能产品的公平性、可问责性，归因的过程是我们进一步问责、追究责任的基础。所以，可解释AI也与负责任的AI、可问责的AI是联系在一起的。

第三个层次就是技术工程与科学层次，我们希望了解为什么某些算法能够成功，它成功背后的奥秘是什么，它的应用范围是什么，它能否在更大的范围内使用这样一些算法或者是一些技术。

第四个是公众理解AI，如果社会大众大多数关心的话，他也能够在这方面了解相应的技术、系统大体的工作原理方式是什么。

何凤翔：

在现在的AI系统中，其实很多算法背后运作机制是未知的，是不清楚的，这种未知带来了未知的、难以管理的风险，包括安全性、鲁棒性、隐私保护、公平性等等。

这些点关系到了社会运转中非常关键、人命关天的领域，比如医疗、自动驾驶。这会带来很大的应用方面的困难，以及社会对AI的不信任。因为当AI算法运作机制是未知的时候，它的风险机制、风险大小、风险尺度就是未知的，我们就难以去管理风险，进而去控制风险。

可解释AI的挑战何在？

姚新：

原来我一个学生跟我做了一点关于公平性的工作，跟其他的文献发现的点非常一致，就是说模型的准确性和公平性之间是相互矛盾的。性能最好的模型从公平性的角度来说，按指标来测量不见得最好，你要把模型做得都是最公平，用指标来衡量的话，它的性能就会受到损失。实际上可解释性非常类似现在有各版的可解释性指标，但是要真正考虑这些指标的话，模型的性能总是会掉下来，要考虑在实际过程中怎么来找一个折中的方案。

吴保元：

针对可解释性本身的不可行、不可取，这也是值得我们思考的问题。比如说我们在研究犯罪率或者说疾病的传播率、发病率等，如果我们就拿现成的统计数据，比如在不同种族、不同地域采集的数据，很有可能会得出来某些种族或者某些地域犯罪率很高，这是因为数据采集的时候就是这样的。这样一来，如果可解释给出的类似结论被公开，可能会造成种族或者地域歧视。但实际上数据背后是我们在采集的时候没有采集其他特性，比如说为什么这个地域的传播率很高呢？很有可能是政府投入不足，或者说其他的因素。

所以这也启发我们可解释性本身它的可信性是什么，它的准确性，它的公平性，它是否忽略了某些特征，或者夸大了某些特征，它的鲁棒性，是不是把样本变化一点，它的可解释性截然相反，这些需要我们进一步思考。

另外，我跟很多研究可解释的专家聊过，他们的困惑在于现在的可解释性方法是不可印证的，甚至是矛盾的，这就引出了可解释性方法本身的可信度的问题。

何凤翔：

在我看来，理解深度学习算法的运作机制，大致有理论和实践两条路径。在理论方面，当前的研究无法完全解释理论上泛化性较差的深度模型为何能在多领域取得如此的成功。这种理论与实践的矛盾，就像曾经物理学中的乌云一样，反映出来了人们对于机器学习理解的缺失，而这是现在在理论上提升算法可解释性的一个难点。

而在实验角度上，很多实验学科中的做法可以作为对于机器学习研究的启发，比如说物理学、化学，以及刚才提到的医疗。比如说药物研发流程中的合格检验，要做双盲实验；在物理学、化学的研究中，对控制变量实验有严格要求。类似的机制是否能在AI研究中严格执行呢？我觉得这可能是另外一条路径。在我看来，现有的很多对于AI算法的解释是启发式的，而在关键领域中我们需要的是证据，这需要在理论和实验两方面做很多工作。

可解释AI如何实现？

朱菁：

前面很多专家都指出对于解释有不同的目标，不同的对象，不同的要求，所以实际上关于人工智能的可解释性问题可能是属于多元性的，就是要允许有多种不同层次不同方式的解释在这里面起作用，针对不同的领域、不同的对象，使用不同解释的方式。

当可解释性有它的局限或者和其他的目标、要求，需要做出权衡取舍的时候，我们想也可以从多个层面来进行替代性的，或者说是补偿性、补充性的策略。比方说针对监管部门，它对于可解释性的要求，和面向公众或者专家层面的，会有所不同，所以这个可以通过若干个层次，比如说监管部门的，行业的，市场的，以及传播普及层面的，对于安全性、鲁棒性要求更高一些，或者在专家层面上有更好的沟通理解，而对于社会公众而言，这里面就需要有一些转换，同时有需要一些权威部门，有公信力的部门，向社会做一些说明和认定。

姚新：

深度神经网络可以解决特别复杂的问题，我觉得现在大家用深度网络有一个原因，即所针对的问题本身可能就比较复杂。这是一个假设。假如这个假设是对的话，那么相应的可解释性不会特别好理解。因为需要对付这些复杂性，相应的模型就必然是要复杂。

所以我总觉得透明性、可解释性和性能之间是有一个固有的矛盾，如果现在把从技术上讨论的方向，是怎么找一个折中方案，根据不同的场景、可解释的目的，找不同折中方案，这样导致有可能会出来一些比较具体的技术，或者可以促进这些技术往落地的方向走。

吴保元：

我们尝试过一些从技术上可行的方案去量化各种可信特性，但是，要实现统一量化很困难，比如说公平性和鲁棒性都有不同的量化准则和指标。当把不同的特性简单组合到一起的时候很难优化，因为它们的准则是高度不对齐的，差异非常大，这就涉及怎么去对齐这些特性坐标。我认为想要找到一个全局坐标系是非常困难的。我们可以从局部出发，针对某种场景，比如医疗场景，首先把隐私性当做前提，在金融或者自动驾驶，我们把鲁棒性当做前提，然后再去研究其他特性，或许一步一步能够找到这种坐标系。

可解释AI的技术现状？

郑冶枫：

总体来说，因为我们现在还缺乏非常好的理论框架，所以可能针对问题，我们创造性地想一些算法，试图提高本身这个系统的可解释性，给大家举两个例子来说明一下我们天衍实验室在这方面的探索。

深度学习可能有千亿、万亿的参数，这对于医生来说太复杂了，他很难理解这个算法的底层原理，算法本身可能缺乏一个全局的可解释性。但是深度学习框架准确率非常高，所以我们不可能不用。而可解释性非常好的模型就是回归模型，这类模型主要的问题就是准确率太低。所以我们做了一个探索，我们希望把这两个模型结合起来，它具有非常高的准确率，还有一定的可解释性，不是完全可解释性。

我们把这个混合模型用于疾病风险预测，就是根据病人历次的就诊记录，我们预测病人在未来6个月之内得某个重大疾病的概率，比如他得卒中的概率。病人每一次的就诊记录包含大量信息，这里面我们需要提取一些跟预测目标相关的重要信息，我们知道生物学习网络最擅长的就是自动特征学习。所以我们利用深度学习网络把一次就诊记录压缩成一个特征的向量，接着我们利用回归模型，把病人多次就诊记录综合起来预测未来6个月之内这个病人得脑卒中的风险。

杨强：

我们在审视各个算法和它对应的可解释性的关联问题上，发现一个有趣的现象，比方说在机器学习里面，深度学习就是属于效率非常高的，但是它却对应的可解释性很差。同样，线性模型没有那么高，但是它的可解释性相对强一些，树状模型也是，因果模型更是这样。所以往往我们确实得做一个取舍，就是我们在可解释这个维度和高效率这个维度，在这个空间里面选择哪一个点，现在并没有在两个维度都高的这样一个算法。

可解释AI的行业实践

郑冶枫：

各行业对可解释性和透明性的要求不同，我结合医疗AI这个场景给大家分享一下我的体会和理解。大家知道医疗在全世界范围内都是被强监管的领域，一款医疗产品要上市必须拿到医疗器械注册证，辅助诊断算法AI产品属于三类医疗医疗，也就是监管最严格的级别，所以我们要披露的信息很多，大致包括数据集和临床算法验证两方面。前者主要强调数据集的公平多样性和广泛覆盖性，后者则重视披露我们的算法真正在临床试验中、真正临床应用的时候它的性能。

此外，我们的测试样本也需要有很好的多样性，覆盖不同医院，不同区域，不同病人群体、厂商、扫描参数等等。临床实验更加严格，首先我们要固化算法的代码，在临床试验期间是不能改代码的，因为你不能一边做实验一边改代码，这就失去了临床试验的意义。

所以医疗AI的监管是非常强的，药监局需要我们披露很多信息，提高医疗AI产品的透明性，它有非常严格甚至苛刻的书面要求。因为我们知道智能学习网络天然不具有很好的解释性，虽然你可以做一些中间增强，可以一定程度上改善这些事情，监管也可以理解这个解释性差一点，正因为解释性差，要求的透明性就越高。

何凤翔：

我觉得提供AI系统的说明书有两个路径：第一个路径从生成AI系统的过程出发。这一点现在有一些实践，比如开源代码，说明使用了什么数据，数据是如何使用的、如何预处理的。这会提升人们对AI的信任和理解，这也像刚才郑老师提到，申请医疗相关的资质的时候，我们需要把生产细节汇报给相关机构。

第二种方式就是从生成的AI系统所做出的预测以及决策的指标来入手做算法的说明书。比方对AI系统做一些测评。对于刚才我们提到的指标，包括可解释性、鲁棒性、准确性、隐私保护、公平性，找到一些比较好的量化指标、找到一些评测算法，把这些指标作为AI系统的使用说明书。

可解释AI的未来发展

杨强：我期待在未来人工智能的治理，在人工智能，人和机器这种和谐共存，共同解决我们要解决问题的前提下，会越来越成熟。我是非常看好这个领域的。

朱菁：我期待这个领域进一步的探讨，不同领域的学者都能够参与进来。比如说像我自己做的主要是哲学，科技哲学。在科技哲学，实际上对于解释有将近一百年的积累和探索，这里面应该有很多可以发掘借鉴的资源，参与到目前这样一个很有意思很有挑战性的话题里面。

何凤翔：AI本身是一个跨学科领域，它可能会用到很多数学、统计、物理、计算机等各个知识的领域，今天提到的很多点，包括隐私保护、公平性，很多也是来源于人文学科、法律、社会学这些方面。所以这就意味着研究可信AI以及可解释性等等方面会需要各个学科领域的人合作起来一起去做的一件事情，会非常需要大家的通力合作，共同推进这个领域的发展。

姚新：对于做研究来说，我希望将来可以有一点聚焦的讨论。我刚才讲的3W，到底我们要解决透明性、可解释性的哪一部分，对谁而言。假如对医疗而言，是对法规的制定者来说还是对医生来说，还是对病人来说，还是对这个系统的开发者来说？我觉得在这里面有非常多可以发挥自己的想象力和能力的地方。

郑冶枫：对算法人员来说，当然我们希望将来科学家们找到非常好的，具有良好可解释性，同时准确性非常高的算法，真正做到鱼和熊掌兼得。

汽车消费用户的黑箱可分为什么

所谓“黑箱”，就是指那些既不能打开，又不能从外部直接观察其内部状态的系统，比如人们的大脑只能通过信息的输入输出来确定其结构和参数。“黑箱方法”从综合的角度为人们提供了一条认识事物的重要途径，尤其对某些内部结构比较复杂的系统，对迄今为止人们的力量尚不能分解的系统，黑箱理论提供的研究方法是非常有效的。广义推销是指推销主动发起者，采用一定的技巧，传递有关信息，刺激推销对象，使其接受并实施推销内容的活动与过程。推销人员、推销对象（又称顾客或购买者）、推销客体是现代推销活动中的三个基本要素，也是推销活动得以实现的必要因素。对推销人员来说，推销客体的质量、价格及销售状况都是显而易见的，是“白箱”，而推销对象的心理活动和购买欲望则是难以把握的“购买者黑箱”。只有打开黑箱，推销活动才能得以顺利进展。推销专家认为，顾客的购买行为其实是在寻求“净价值最大化”（得到的价值包括形象价值、人员价值、服务价值与产品价值等，付出的成本则包括金钱、时间、精力，甚至包括心理成本。价值与成本之间的差价就是所谓的净价值）。解剖“购买者黑箱”的前提就是要了解顾客所追求的净价值。“购买者黑箱”由两部分组成：一是购买者特征，不同的消费者在文化、社会、个人、心理等属性上有自己的特征，它会影响购买者对外界刺激的反应；二是购买者的决策过程，不同的消费者在确认问题、收集信息、评估方案、做出决策的过程中有不同的表现，会影响购买者的最终决定。打开黑箱需要掌握影响不同购买者决策的各种因素，而这些因素往往是由顾客的文化心理决定的。举例说明：化妆品推销决不能以“爱美之心，人皆有之”来概括所有的消费者。每个消费者的“黑箱”都是由不同的元素决定的，只有像化学分析一样层层剥离这些元素，才能层层破解购买黑箱。比如，为人师表的教师要购买上班期间使用的化妆品，如果推销员强烈建议对方购买色彩艳丽的彩妆产品就不太恰当；年轻靓丽的时尚女孩追求个性，推销员就要向她们推荐国际上最新流行的化妆用品。成功的推销员必然会破解顾客的消费黑箱，迎合他们的需求，顺其道而行之。商务谈判谈判是人际交往中的一种特殊的双向沟通方式，对于从事领导工作、公关行业、职业推销者而言，谈判能力可以直接决定其工作进展和事业成功度。随着市场经济的发展和各类竞争的加剧，各行各业之间、人与人之间的争议随时发生。当事人（谈判的关系人）、分歧点（协商的标的）、接受点（协商达成的决议）作为谈判的三要素时刻出现在职场中。在双方当事人为了各自利益，围绕分歧点进行反复论证讨价还价，最终共同设定接受点的过程中，接受点一度作为“黑箱” 存在，所以，谈判的过程，也是黑箱被逐渐打开的过程。举例说明：某公司公关部与某装修公司商谈会议室装修问题。对方将报价单传真过来，说这间会议室的装修费用需要 30 万。公关部认为这个价钱还算是个老实价，但是，并不清楚对方最终会以什么样的价格成交。而装修公司也并不清楚公关部最终会接受什么样的价格，成交价对双方而言，是“黑箱”，而为了确保各自利益，双方都不抢先打开黑箱。公关部看到对方的报价单，只回了一句：价格太高，难以接受。装修公司又发了一纸传真：您能接受什么样的价格呢？公关部回道：我只能接受最优惠的价格。装修公司调整了价格后回复：28 万。公关部再提出要求：据我所知，这不是最优惠价格。装修公司再问：您所指的最优惠价格是多少？公关部终于亮出接受点：多于 22 万免谈……装修公司回复：22 万我们亏本，少于 24 万这笔生意就不能做了。公关部见好就收：23 万，立刻成交！装修公司：好吧，希望以后常合作！上述案例中的公关部和装修公司都是黑箱方法的实践者，这种策略技巧是商务谈判中应用最普遍、效果最显著的方法。谈判双方依据各自对黑箱的猜测，努力防备对方攻破黑箱从而占领上风，惜字如金，各不相让，最终达成妥协，完成了接受点由“黑箱”（未知）、“灰箱”（30 万、28 万、22 万）到“白箱”（23 万）的谈判过程。在谈判中，对黑箱的控制能力决定着谈判的胜负。人员管理职场就像一个大舞台，各色人等粉墨登场，令人应接不暇。企业和组织必须建立科学的人员管理机制，才能保证各项工作有效运行。人们常说“知人知面不知心”。人的身高体重言谈举止一目了然，是“白箱”，人的所思所想则相当于“黑箱”。如何正确对待“人心黑箱”，是人员管理的关键所在。管理者与被管理者之间是一种主客体关系。对于刚接手管理工作的管理者来说，他唯一可能把握的可观察和可控制变量，就是对被管理者的输入和被管理者自身的输出。在这里，所谓输入，就是向被管理者发号施令，贯彻管理者的意图。所谓输出，则是被管理者对输入做出的反应。经过不断反复，管理者就能不断接近被管理者的“人心黑箱”，最后揭示其内部状况和规律，从而实现初级管理目标。黑箱理论告诉人们，人们观察和控制的，只是那些人类目前的能力尚不能完全驾驭，但要使客体按既定目标变化，又必须驾驭的因素。这些因素一般是对整个客体的存在和发展起决定和支配作用的。管理者已经基本把握了被管理者的内部状况和规律，可以采用白箱方法的时候，黑箱方法仍有用武之地。即管理者对那些于整个客体的存在和发展无足轻重的因素根本不必过问。在实行这种目标管理方法时，管理者的主要职能是科学地确定被管理者应完成的任务和指标，并为之创设良好的外部环境作为保障。至于被管理者如何完成管理者下达的任务和指标，则应由被管理者实行自我控制，管理者不要直接干预。当管理者能够对被管理者实行观察和控制的时候，还有必要采用黑箱管理方法吗？换句话说，管理者可以把白箱作为黑箱来处理吗？黑箱理论认为把黑箱作为白箱处理是有害的，而把白箱作为黑箱处理却往往是有益的。管理者少干预甚至不干预，可以使被管理者拥有较大的自我控制的权力，为他们发挥才干留下充分的余地。同样，被管理者也不应事事请示，只有在事情本身已经越出自己职责范围的情况下，才应请求管理者出面解决。在这个意义上，管理者与被管理者应该在其位谋其政，不在其位不谋其政。这是管理者的管理艺术，也是被管理者的工作艺术。举例说明：某公司总经理对待工作兢兢业业，可是员工们并不买他的账，这从来不顾管理者与被是为什么呢？就是因为他没有恰当地使用“黑箱管理方法”，管理者在职责和功能上的区别和分工，越俎代庖，事必躬亲，大包大揽，连清洁工清理厕所都要亲自监管，久而久之，员工们怨声载道，人心不宁。只有科学地使用黑箱管理方法，才能充分发挥人员潜能，使之人尽其才，物尽其用，从而有助于实现组织的各项目标。

黑箱方法的详述

有些仪器、有些系统内部的结构十分复杂，或是由于种种原因不能够加以打开。打开了就不是原来的系统。比如大规模集成块也可以看作是一个黑箱。它内部众多复杂的电子器件的功能，人们是无法从外表观察来了解的。而是借助于专用的测试仪器向集成块输入信息，从集成块输出的信息来判断集成块的功能和质量的好坏。这也是一种黑箱方法。一件事物是否是黑箱还与人的认识能力有关系。比如电视机，对一般不懂电视机原理的人来说，电视机也是一个黑箱。有些人对电视机原理一知半解，对这部分人来说，电视机是一个灰箱。然而，对电视机设计专家来说，由于它们对电视机的结构原理一清二楚，所以对他们而言，电视机是一个白箱。

由此可见，确定事物是黑箱还是白箱，不仅取决于事物本身，同时还与人们的认识能力有关。人的大脑，它是思维的器官，智慧的源泉。大脑内部是一个非常复杂的机构，有数量惊人的脑细胞。因此，有人把大脑比喻成脑海。科学家对大脑的研究也常常用黑箱方法。因为解剖后的大脑就不是原来的大脑了。测大脑反应的灵敏性并不需要打开大脑。比如，智商的测定主要是测试人们对问题的回答是否敏捷。一个孩子如果对各种形象问题、语言问题、逻辑问题都能够很好的解答，那说明他的大脑很好，智商很高。