人们想知道，一个建议是否代表诚实的意见，是否有人为建议提供了额外好处。我们期望大学和若干其他组织在提供他们的建议时能够做到不偏不倚。当大学选择所推荐的软件时，我们会假定，大学的意见是为了学生的最大利益。如果有其他原因会影响该选择，大学就应披露它们。信息披露是非常关键的一点。许多组织鼓励其成员申请向该组织提供回扣的信用卡。这并不是不道德的，主要是因为对于该回扣有明确的说明。它更是一个卖点：使用此卡，同时可以为我们完成高尚的目标提供资助。然而，即使大学在它的建议中明确说明了它会从推荐的软件中获得好处，我们也有足够的论据反对这样的做法，这里的论据与前面反对贷款管理人员的论据是类似的。管理人员和特定公司之间的温馨关系，可能会导致最后的决策并没有考虑学生的最佳利益。
9.3.13 测试计划
一个程序员团队正在开发一个通信系统，供消防员在救火时使用。消防人员将能够在彼此间、与现场附近上级，以及与其他紧急救援人员进行沟通。程序员打算在公司办公室附近的现场对该系统进行测试。
这里的道德问题是什么？该测试计划是不够的，这个应用程序可能会使生命受到威胁。测试该软件应包括在建筑物内或在不同地形下工作的真正的消防队员，也许还应该在实际的大火中（也可以使用受控的燃烧环境）进行测试。编写该系统的程序员知道它该如何使用。他们都是经验丰富的用户，拥有一些特定的期望。对于测试该系统来说，他们不是合适的人选。测试必须解决一些问题，如：该设备能否经受高温、水和烟尘？带厚手套的人是否可以操纵该系统的控制界面？在光线不好的条件下，其控制界面是否清晰和易于使用？建筑物的结构是否会干扰其信号？
在一个实际案例中，纽约市消防局停止了使用花费3300万美元开发的数字通信系统，因为有一个消防员在他的电台呼叫救援时，没有任何人听到他的求救。消防队员报告在模拟测试中没有发现许多其他问题。消防局评论说：“我们测试了该产品的质量、耐用性和可靠性，但我们没有花足够的时间在现场进行测试，也没有让消防队员熟悉它们的使用。”
9.3.14 人工智能与罪犯量刑
你的团队正在开发一个复杂的程序，利用人工智能技术来对被判有罪的犯人做出量刑决定。
也许，在未来我们将有能力开发无需人工干预就可以把这件事情做好的计算机系统。它可以帮助法官审查在具有相似特征的案件中采用的量刑，但是法官在决定刑期（在法律规定的范围之内）时会使用自己的判断。法官会考虑检察官和辩护律师提出的辩护观点，而软件却听不到这些。法官可能会考虑个案中的异常情况、被定罪的人的性格，以及一个程序可能无法处理的其他因素。法官有时候会遇到在量刑时需要考虑的之前没遇到过的全新因素。而只会分析先前案件并从中做出选择的程序则不可能创新。另一方面，一些法官在量刑时喜欢给出比较严厉的惩罚，而有的法官则倾向于给出较轻的量刑。有些人认为，在这个意义上，因为软件不会受到个人印象和偏见的影响，因此会比法官更加公平。然而，在这一点上，大多数法律界人士，可能也包括公众，都希望由人类法官来做出量刑裁决。此时，法官的多年经验所能够提供的见解无法编码到软件中。现在，我们对原始案例做了小的修改：
你的团队正在开发一个复杂的程序，利用人工智能技术来帮助法官对被判有罪的犯人做出量刑决定。
该系统将分析该犯罪行为和罪犯的特点，来发现相似的其他案例。基于对案例的分析，它是否应该对当前案例的量刑提出一个建议？还是应该像搜索引擎一样，只是简单地把案例展示出来，供法官查看呢？抑或是它应该同时提供推荐的量刑与相关的案例？
对于这个应用来说，显然有必要让专家和潜在用户都参与到设计中来。法官和律师的专业知识和经验，对于确定用来选择相似案例的标准和策略都非常必要，因为程序会根据这些案例做出推荐量刑，或是法官会基于这些案例做出决定。同时，如果该系统会提出建议的话，那么其建议还必须符合法律规定的量刑要求。
律师的参与可能会改进更微妙的决定。考虑这样一个问题：系统如何对找到的案例进行排序？它是应该按日期进行排序，还是应该按照刑期长度进行排序？如果是后者，那么应该是最短或最长的刑期优先呢？这最后一个问题表明，该项目的顾问应当包括检察官和辩护律师。但可能这些排序都不是最好的。也许你应该对这些案例与当前案子的相似性或相关性进行评估，然后按照评估进行排序。这种排序标准与日期或刑期相比，显得更加模糊。需要再次强调的是，在设计过程中，把拥有不同视角的各种专家都包含进来，是非常很重要的。