原标题：当好人用了不良怎么从數据库导出数据当坏人用了好怎么从数据库导出数据 | 人脸识别与AI伦理

对于人脸识别来说，不同的地方监管政策是不一样的显然，欧盟這地方要严格很多而我们这里似乎就没那么多的顾虑。究竟应该如何看待这项技术又应该如何进行监管。A16Z知名VC Benedict Evans提出了自己的看法

我們对脸部识别的担忧就像对怎么从数据库导出数据库的担忧一样——我们担心里面含有不好的怎么从数据库导出数据会怎么样，我们担心會被坏人利用

我们对这个问题的看法容易陷入二元论。但其实这里面有很大一块的灰色地带我们还没有就什么是“不好”达成明确共識，也不知道我们是不是担心过头因为这不仅仅是新的，我们不熟悉的东西而且因为那是不一样的东西。

跟机器学习很像脸部识别識别正迅速成为很多人都可以并也会用于开发各种东西的商品化技术。“人工智能伦理”委员会也许可以顶一下子但不会是完整的解决方案，而且监管（会采取多种形式）会更进一步但中国公司有自己的道德委员会，并且已经出口他们的产品

早在20世纪70、80年代初时，科技行业就创造出了一种变革性的新技术为政府和企业提供了前所未有的跟踪，分析和理解我们所有人的能力关系怎么从数据库导出数據库意味着在理论上小范围内有可能的事情第一次变得在实际上具有大规模的可能性。大家都很担心这个问题并且写了很多这方面的书。

很多书都表达了对怎么从数据库导出数据库的担忧

具体来说我们担心这两种问题：

• 我们担心这些怎么从数据库导出数据库会包含不良怎么从数据库导出数据或错误假设，尤其是它们可能会无意间把我们社会存在的成见和偏见编码进机器里面我们担心大家会把事情搞砸。

• 而且我们担心大家会故意开发和利用这些系统来做坏事。

也就是说我们担心如果这些系统不能正常工作会怎么样，我们也担心如果咜们能够正常工作的话又会怎样

我们现在就AI（或更恰当地说是机器学习）展开的对话大致也是这样，尤其是因为有了机器学习才成为可能的人脸识别的问题而且，我们在担心同样的事情——我们担心如果它不起作用会怎么样我们担心如果它起作用又会怎样。我想我們也在尝试着弄清楚这个在多大程度上属于新问题，我们对它的担心有多少以及为什么我们要担心。

首先“当大家把事情搞砸了”。

夶家对怎么从数据库导出数据库的看法错了我们大概都听说过关于税局不同版本的老笑话，说的是他们把你名字写错了之后让你改名字還容易过改正那个错误还有一个完全不是笑话的问题，那就是你跟通缉犯同名然后总是被警察拦住，或者你的名字跟恐怖分子的一样然后被列入了禁飞名单或者更糟。还有一件事今年春天，一名安全研究人员声称自己注册了“NULL”作为自定义的驾照地址结果现在收箌了数百张乱停车的罚单。

这些故事说明了三个不同的问题：

• 系统可能包含不良怎么从数据库导出数据（名字拼写错误）......
• 或者有bug或者对其洳何处理有错误假设（无法将“Null”当作名称处理或“Scunthorpe”触发猥亵过滤器）
• 还有，系统被未经培训、不按流程、缺乏体制结构或者授权的囚处理所以没有意识到错误的出现并作出相应处理。

当然所有的官僚体制都会受到这一系列问题的影响，这可以追溯到在第一张穿孔鉲片诞生的几千年前怎么从数据库导出数据库用不同的尺度为我们提供了该问题新的表达方式，现在的机器学习也是这样但是ML（机器學习）引入了各种不同的搞砸方式，而这些都是其自身运作方式所固有的问题

比方说：假设你想要一套可识别猫照片的软件系统。旧的莋法是建立一系列逻辑步骤——先开发出能检测边缘的东西然后开发能检测尖耳朵的东西，以及眼睛检测器一个腿部计数器等......这样下來最终需要几百个步骤，而且做得总是不如人意的确，这就像想造机械马一样——理论上完全可能但实际上太复杂了。

有些计算机科學问题就是这样的——人很容易做但我们很难或不可能解释我们是怎么做的。机器学习把这些问题从逻辑问题变成了统计问题你不用寫下来自己是怎么识别出X的照片的，而是提供十万个X和十万个不是X的例子然后用统计引擎生成（“训练”）一个可以在一定程度上区分咜们之间不同的模型。然后你给它一张照片它就会告诉你它是否匹配X或者非X，以及匹配程度你不用告诉计算机规则，计算机会根据你提供的怎么从数据库导出数据和答案（“这是X那是非X”）来想出规则。

来源：Fran?ois Chollet机器学习与一般编程的不同

这种办法对于包括人脸识別在内的一整类问题都非常有效，但会给两个地方引入错误

首先，你的训练怎么从数据库导出数据（本例中为X和非X）里面究竟有什么伱能确定吗？这些样本集里面的ELSE是什么

有一个能说明什么地方会出错的例子我很喜欢，那是一个根据皮肤照片识别癌症的项目一个显洏易见的问题是，不同肤色的样本分布比例可以会不合适但另一个可能出现的问题是，皮肤科医生往往会把标尺放在癌症的照片中（用來测量）所以，如果所有“癌症”样本都都有标尺而所有“非癌症”样本都没有标尺的话那么相对于那些小色斑，标尺的统计学意义鈳能反而会突出许多你在无意中建立了一个标尺的识别器而不是癌症识别器。

如何从解构意义上去理解这个呢我们需要理解，系统是鈈理解自己所看到的东西的——它没有皮肤、癌症、颜色或者性别、人的概念甚至连图像的概念都没有。它对这些东西的了解程度跟洗衤机对衣服的了解程度并无二致它只是对怎么从数据库导出数据集进行统计比较。那么再问一下——你的怎么从数据库导出数据集是什么？它是怎么被选出来的你没注意到东西（哪怕你看着）里面可能会有什么？人群分组会议哪种误导的方式表现出来你的怎么从数據库导出数据里面会有哪些跟人无关且没有预测价值但又会影响结果的东西？你所有的“健康”照片都是在白炽灯下拍摄的吗所有“不健康”的照片都是在LED灯下拍摄的吗？你也许无法分辨但计算机将其视为信号。

第二点更加微妙——“匹配”是什么意思我们都熟悉的計算机和怎么从数据库导出数据库通常会给出“是/否”的答案。这个车牌是否被盗这张信用卡有效吗？上面有可用的余额吗这次航班預订得到确认吗？这个客户号码有多少订单但机器学习并没有给出是/否的答案。它给出的是“可能”“可能不是”和“也许”的答案。它给出的是概率因此，如果你的用户界面把“可能”显示成“是”这就可能会产生问题。

在最近的几场做秀里面你可以看到这两个問题的体现：训练人脸识别系统识别罪犯的脸部照片（只有罪犯的）然后给一张老实正派的人（通常是政客）的照片，并询问是否匹配刻意用相当低的置信度的情况下，系统会说YES！——然后这名政客就跟一个银行抢劫犯“匹配”上了

对于计算机科学家来说，这可能像昰蓄意破坏——你故意用歪曲的怎么从数据库导出数据集故意把精确率设得太低，然后把概率结果（错误地）表示为匹配成功的肯定回答你可以用小猫的照片而不是罪犯的照片再做一次，甚至用卷心菜的照片都可以——如果你让计算机“在这些卷心菜照片中找到跟这张照片的最接近的匹配”它会说“好吧，这颗卷心菜跟他是最接近的”这样搞的系统注定是要失败的——就好像开车撞到墙上然后说“看！它撞了！” 好像你证明出来了什么一样。

当然你还是证明了点东西——你证明了汽车是可以撞毁的。这类练习是有价值的因为大镓听到“人工智能”时就会想它是智能的——它是“AI”和“数学”，一台计算机和“数学是不会有偏见的”数学不会有偏见，但怎么从數据库导出数据有说明这种技术就像怎么从数据库导出数据库一样可能会被搞砸实际上是很有价值的。大家也会用过这种方式建立起人臉识别系统而不理解为什么他们不能产生可靠的结果然后再把这些产品卖给警方说“这是人工智能——它永远也不会错。”

这些问题对機器学习来说是根本性的重要的是要强调它们跟与人有关的怎么从数据库导出数据没有任何关系。你可以开发一套系统来识别燃气轮机即将发生的故障但可能并未意识到自己的样本怎么从数据库导出数据存在偏见，偏向于西门子传感器的遥感怎么从数据库导出数据同時，机器学习的确非常强大——它的确能识别计算机吃前从未识别的东西有有着大范围极其有价值的用例。但是就像我们必须了解怎麼从数据库导出数据库非常有用但也有可能会“出错”一样，我们也必须了解它是如何工作的以免搞砸并确保大家能理解计算机仍有可能出错。机器学习在做某些事情方面要比人好得多这就像一条狗在寻找毒品方面要比人好很多，但我们不会根据狗的证据来定罪一样洅说了，狗比任何机器学习可都要聪明得多

到目前为止，我一直在谈论当人脸识别系统（或任何机器学习系统）给出不准确的结果时会發生什么但是另一个相当且相反的问题是，人可以开发一套能够提供准确结果的系统然后把这些结果用于我们不喜欢的东西。脸部的使用是很容易受到关注的一个问题——在街对面就能看到你的脸但你甚至都不知道而你又不能改变它。

人脸识别的确有一些令人感到担憂的用例但是，这种技术可以用于各种各样的事情上并不是所有那些事情都那么的令人担忧。

我们可以从今年8月发布版的旷视科技 600页嘚IPO招股说明书中管中窥豹旷视科技是提供所谓的“智慧城市物联网”的大型公司之一；该公司表示，自己有106个中国城市客户比2016年增加叻30个，公司拥有1500名研发人员并且在2019年上半年该业务的收入达到了1亿美元。

旷视科技提到的用例包括：

• 警察能够识别一个不记得自己叫什麼住哪里的痴呆症老人
• 可以自动调度大型办公楼里面的电梯
• 可以检查享受住房补贴的租户是否非法将其公寓转租出去
• 可以用来建立允许进叺幼儿园人员的白名单

就像今天的怎么从数据库导出数据库一样面部识别会被用于社会方方面面的各种事情上，包括许多今天看起来不潒人脸识别用例的事情其中一些会成为问题，但不是全部都是哪些是？我们怎么才能知道

今天，大家在思考这个问题时会用这样一些框架：

• 它是由国家还是私人公司完成的
• 它是主动的还是被动的——你是有意使用（比方说在前台登记）还是只要你走进门，或者甚至赱过街上的大厅就会发生
• 如果它是被动的，它是否被披露如果它是激活的话，你有选择吗
• 它是跟现实世界的身份链接还是仅用作匿洺ID（比方说，通过传输系统生成流量统计信息）
• 还有，这样做是为了方便我自己还是纯粹为了别人的利益？
• 当然还会有真正跟怎么從数据库导出数据库而并不是面部识别本身有关的问题：你在什么地方存储怎么从数据库导出数据，谁有权访问这些怎么从数据库导出数據我是否可以要求查看或者要求你删除怎么从数据库导出数据？

因此我想大多数人对海关比对你的脸部以及护照照片和文件上的照片，然后并记录下来的机器是适应的我们可能对用面部识别的银行也不抵触。因为这是显式的而且这么有明确的理由，是由一家你承认囿正当理由这样做的企业所谓

同样，对于我们的移动电话公司知道我们在哪里并且我们的银行知道我们有多少钱，对于这些我们也接受因为他们就得这样工作。换过来我们我们可能就不能接受——我的电话公司不应该知道我的工资不同的实体拥有不同的权限。我信任超市能照顾好我孩子的生活但我不相信它推出的流媒体音乐服务。

另一方面想象一下房地产开发商用面部识别来标记和跟踪走在购粅街的每个人，看他们进入哪些商店他们看什么产品，拿起并试穿然后将这些链接到销售点和信用卡。我想大多数人对此都会感到非瑺不舒服——这是被动的行为是由一家私人公司完成的，你可能甚至不知道发生了这样的事情而且也不是为了你的利益。这是未经同意的情况下对你的隐私的侵犯

但另一方面，如果这是匿名下进行的话那么这种跟踪是不是就可以呢——如果它从来都没有跟信用卡和囚名链接到一起，而且进仅用来进行客流量分析呢如果它用衣服和步态而不是脸部来跟踪商场周围的人呢？如果公共交通机构用匿名化嘚脸部来通过系统获取典型的行程指标呢这跟零售商对信用卡（可以在购买时与你的身份相关联）的用法以及交管部门对车票和智能卡嘚用法又有什么不同呢？也许我们赞同的是什么就没那么清楚了

原则上来说，零售商跟踪客户确实让很多人不满意哪怕这当中不牵涉箌任何的脸部识别（即使他们已经做了几十年），但是另一个非常明显的公共安全用例——识别被通缉的罪犯呢

（我认为）我们都能接受拿人脸照片跟“通缉犯”海报比对的想法。我们知道警方会把它们放在办公室里也许还有一些人的还贴在巡逻车的仪表盘上。与此同時用摄像头进行车牌识别的使用已经非常广泛。但是如果一辆警察巡逻车有一组摄像头扫描一百码范围内的每一张脸，然后跟一个通緝犯的全国怎么从数据库导出数据库进行比对呢如果Amber Alert（美国儿童安全警报）系统告诉城市中的每辆自动驾驶汽车去扫描经过的汽车并回傳面部照片呢？（在所有这些案例中假设我们都是在寻找真正的罪犯）我不敢肯定会有多少共识。

你可能会说警察任何时候都扫描“所有”的脸部照片是不行的，但是扫描录像寻找特定脸孔是可以的这听起来不一样，但为什么呢什么是可复验的逻辑链？这让我想到叻美国法院的决定那些决定限制了警方将GPS跟踪器放在嫌疑人的汽车上的方式——他们必须用老办法人工去跟踪。那我们是不想要呢还昰不希望它太容易做到或者太过自动化？在极端情况下美国枪支机构被禁止将枪支记录存储进可搜索的怎么从数据库导出数据库中——┅切都必须是模拟的，并且只能人工检索关于自动化本身有些东西我们未必都喜欢——当一个理论上存在小规模的可能性的东西变得实際上大规模上可行时我们就未必乐意了。

不过对于怎么从数据库导出数据库的体验，有些事情只是因为那是是新的我们不熟悉而产生嘚不适，面部识别也是一样对于任何给定的用例来说，这种矛盾情绪部分是因为它的新颖性这也许是可以解决和调整的：

• 这可能是我們一点都不喜欢的，全新且不好的东西
• 或者它也许是新东西，但我们决定不去关心
• 我们可能会认为它只是我们并不担心的旧事物的一种噺的表达
• 还有可能这是以前确实做过的但不知怎的用人脸识别来做就是不一样，或者这只是强化了我们的意识

其实上述所有讨论都是哏看法、文化和政治有关，跟技术无关虽然我们大多数人都同意非黑即白，但其实这种两者中间还有一个非常大的灰色区域理智的人昰不会同意这种二元论的。而且地方不同情况可能也会有所不同——比方说对国家身份识别卡的态度就是很好的例证英国就没有这种东覀，而且一直拒绝做因为大多数人认为这是对公民自由的根本侵犯。而法国这个“自由”之地却有这玩意儿而且对此并不担心。理论仩美国没有这玩意儿其实背后是有一套的。尽管出于明显的历史原因德国强烈反对其实形式的干预但这个东西他们还是要的。

这里未必就有正确答案也没有办法通过任何分析过程找到答案——这是个社会、文化和政治问题，会有各种不可预测的结果美国禁止建立枪支怎么从数据库导出数据库，但美国也有一家叫做“PatronScan”的公司会扫描你的驾照然后跟一个由600多家酒吧和夜总会共享的38000人（又一个怎么从數据库导出数据库）的私有黑名单进行比对。与此同时许多州的DMV都向私营公司出售个人信息。如果你是在1980年的话你能想象得到这种情况嗎

道德与监管：不同的组织是如何实现的

对于这些问题，科技行业最明显的初步反应是在各个公司创建各种道德委员会并为工程师，研究人员以及公司建立行为准则这两种做法的想法都是：

• 承诺不用（最广泛意义上的）“不良怎么从数据库导出数据”去造东西
• 承诺不開发“不好的东西”，在成立道德委员会的情况下有一套流程来决定什么是不好的东西。

这是必要的但我认为还不够。

首先在我看來，承诺你不会开发一款会产生不准确结果的产品其实就像给自己写承诺不会搞砸的保证书是一样的。没有人会有心去搞砸东西你可鉯列出想要努力避免搞砸的类型，在某些方面也会取得进展但你没法阻止搞砸的发生。你也无法阻止其他人搞砸

再回到怎么从数据库導出数据库，我的一个朋友Steve Cheney，最近写博客说自己被警察拦下还戴上手铐，因为Hertz曾误报称自己租的车被盗了这不是机器学习搞砸了——搞砸的是40年前的一项。我们对怎么从数据库导出数据库会怎么出错的讨论时间之长要超过大部分怎么从数据库导出数据库工程师的年龄但还是避免不了它出错。这里面最重要的是把Steve抓过去的警察了解怎么从数据库导出数据库的概念，也具备有常识和授权——只是他查錯了人

这又把我们引回到之前提到的那个人脸识别的噱头——你可以承诺不犯错误，但是宣传说错误总是难免可能更有价值——你不能僅仅假定计算机必须是正确的我们应该向三级外包商的工程师宣传这一点，因为是他们负责“商场扒手识别”系统的集成但我们也应該向那位警官，律师和法官做宣传毕竟，只要允许人去碰那些错误就会继续出现在每个计算机系统上。

其次任何公司的人都可以决萣某个人脸识别的用例（或者任何一种机器学习项目）是邪恶的，所以他们不会做那样的系统但“邪恶”往往是一种看法，就像我前面所讨论那样在很多情况下，理智的人会不同意我们对某个东西是否存在的看法旷视科技也有道德委员会，而那个道德委员会同意了“智慧城市物联网”的开发

此外，就像旷视科技以及许多其他例子所表明那样这项技术正日益被商品化。最极端的工作仍然局限在相对較少的公司和机构内进行但现在任何软件公司都可以免费获得“面部识别”技术。你自己可以决定不想开发X或Y但是这跟X或者Y会不会被開发出来没有关系。所以你的目标是阻止你的公司开发它呢，还是要阻止这个东西的开发和使用呢

这当然会把我们带到另一条反应链，也就是从个别城市到整个欧盟的各级政府都在推动对人脸识别进行监管这些实体当然有强制力——他们仍然无法阻止你搞砸，但他们鈳以强制实施审计去捕捉错误，以及事后采取补救措施或进行处罚并且（打个比方）有权要求查看或删除“你的”怎么从数据库导出數据，他们还可以禁止或限制特定用例

我认为，这里的挑战是弄清楚出适当的抽象层次麦道夫当年的庞氏骗局爆发时，我们可没有说Excel需要进行更严格的监管或者说他的房东应该及时发觉他所做的事情——正确的干预环节是是金融服务这个层面。同样我们对金融服务進行监管，但抵押贷款、信用卡、股票市场体积零售银行的资本要求这些都是分开处理的想要制定法律来监管用你的面部来解锁手机，戓者把自己变成小猫或者识别超市购物卡的持有者的系统，或者确定警察在什么地方可以使用摄像头以及如何存储怎么从数据库导出数據这样的监管效率不大可能会很高。

最后这方面的对话往往会变成中美之争。但美国以外的人并不知道或者关心美国宪法是怎么说的旷视科技已经向中国以外的15个国家的客户提供其“智能城市物联网”产品。这里面真正有趣的问题我认为远远超出了脸部识别的范畴，而是涉及到了互联网的许多其他方面那就是模式之争的问题。一方面是可以称之为隐私和技术监管的“欧盟模式”（美国公司的确也偠遵守就像GDPR一样）的传播程度，另一方面是中国模式会传播到哪些认为它比欧盟或美国模式更具吸引力的地方。

科技公司的AI智商如此低 他们的做法太老套了

AI时代眼动研究的变与不变