有朝一日，人工智能发展到巅峰，人类该怎么约束他们？当人工智能等同甚至超过人类的那天，他们是否可能会伤害人类或者统治奴役人类？对于这个问题，早已有人思考并作出的简略的回答。
1942年，科幻作家阿西莫夫在作品《我，机器人》中第一次明确提出了“机器人三原则”：
第一条：机器人不得伤害人类，或看到人类受到伤害而袖手旁观；
第二条：机器人必须服从人类的命令，除非这条命令与第一条相矛盾；
第三条：机器人必须保护自己，除非这种保护与以上两条相矛盾。
但是，随着人工智能的不断发展，“机器人三原则”这简单的定律已经无法满足现状了。英国标准协会编写了一份文档，希望能够以此来帮助科学家们发明出更加富有情感的机器人。文档定义了一些宽泛的道德准则，比如机器人的设计不应该以杀害或者伤害人类为唯一或首要目的；责任人应该是人类而非机器人；任何机器人都应该有负责人。此外，文档还提到了一些具有争议性的话题，例如，人类是否应该与机器人建立感情联系。
当前，人工智能的研究主要集中在电子技术上，专家们把更多的精力集中在如何提升机器人性能上，却在人性问题以及伦理道德问题上缺乏关注度。莫拉维克曾在《机器人》一书中指出，未来需要通过并采用一系列法律，来对自动化企业进行约束；法律应当对这些企业进行限制，并控制机器人的增长，以防止它们拥有过度的能力，从而威胁人类的生存。除此之外，他还认为机器人不会产生感情。他们没有进化史，对它们来说，生存才是最重要的事情，因此不会产生和人类一般的同情、怜爱等丰富的情感，所以人类最好不要对对机器人产生太多感情。
