对所选案例如何进行排序真的很重要吗？当你正在研究某个话题时，在搜索引擎返回的结果中，你会查看多少个页面呢？许多人可能只会看第一页的内容。我们期望法官在做出判决的时候，会更加认真一些。然而，经验提醒我们，人们有时会感到厌倦或需要赶时间。有时候，他们对计算机系统的结果拥有太多的信心。即使当人们对计算机系统返回的结果加以周密细致的解释时，用户会以何种方式看到这些数据，也可以影响他们的看法。（我们在第7章和第8章讲解了一些例子。学术研究人员在利用搜索引擎时，往往会引用来自所有论文中的很小一部分，因为他们不会去查看前几页之外的搜索结果。学区在做出把学生分派到暑期学校的决定时，无视了他们不应该仅仅依靠计算机等级测试的结果来做决定的警告。）因此，认真进行规划，包括认真咨询相关的专家，对于将会对人们的生活产生显著影响的系统来说，是一个伦理上的要求。
一个公司或政府机构在开发或安装此系统时，必须考虑将如何维持并更新该系统。很显然会有新的案例需要添加。该系统将会如何处理量刑法律的改变？它是否应该放弃所有依据旧有法律判决的案例？还是把它们包括进来，并清楚地把它们标记为在变化之前发生的？在系统的选择标准中，应该给这样的案例多少权重呢？
我们还没有回答有关系统是否应该提出量刑建议的问题。系统给出的具体建议，如果与法官的初步计划不同的话，可能会导致法官给予该案更多的思考。或者，它对法官所产生的影响可能会超出它应有的影响范围。如果系统给出了一个建议，立法会议员或管理人员可能会开始认为，不再需要法官，一个文员或法律系学生就可以对系统进行操作和宣判。这在短期内是不太可能的，因为法官与律师都会提出反对。但是，它是一个可能的后果，显然在任何专业领域，都有复杂的人工智能系统在做出显然是明智的决定。有可能会造成法官（或其他职业）的职位需求下降，并不是我们要考虑的主要问题。决策的质量才是我们要考虑的。因此，这个问题的一个答案，将部分取决于在系统开发时，人工智能技术（以及具体系统）的质量，以及该应用的敏感程度。（参见练习题6.33中的另一个应用领域。）
假设你所在州的法官使用一个量刑决策系统展示类似案件，供法官审查。你是一个为州政府工作的程序员。你所在的州刚刚把在大学考试时使用手机列为刑事犯罪。你的老板，一个司法部门的管理人员，告诉你修改程序，把这一新的罪行添加进去，并为这类案件分配与在开车时使用手机一样的权重（后者在该州已经是非法的）。
第一个问题是针对你老板的问题，即支持该系统运行的合同中，是否允许该州进行这样的修改。对于许多消费类产品，如果消费者把该产品拆开并进行更改的话，那么保证和服务协议都会失效。同样的问题也可以适用于软件。我们在这里假定你的老板知道，该州签订的合同允许对该系统进行修改。
假设你知道你的老板迅速、独立地做出这个决定。你应该以适当的礼貌和理由对他的决定说不。SE准则3.15陈述了一个非常重要的，但往往会被忽视的原则：“对待一切形式的软件维护，都要采用与新开发一个软件一样的专业态度。”这包括制定规约，在这个例子中，需要向懂得法律及其微妙之处的律师和法官进行咨询。在这里，我们提出与系统设计有关的一些复杂和敏感的问题，这里的例子只是一个样例。系统修改和升级也应该接受全面的规划和测试。
9.3.15 做一个亲切的主人
你是一个中等规模公司的计算机系统管理员。你可以从家里监视公司网络，而且你经常在家里工作，在你家庭计算机上会保存一些公司文件。你的侄女是一个大学生，她要到你家住一个星期。她的手机电池没电了，她问是否可以使用你的计算机来检查她的电子邮件。你说：“当然可以！”。