作为心理学家看，这个策略的使用，首先是一个人确实“老吾老”。这个前提不具备的时候，推己及人的策略是无法使用的。“好货”、“好色”都是比较容易的，用现代的话说就是，金钱美女谁不喜欢。但是，是否每个人都很孝敬自己的父母，对父母有浓厚的亲情，这可就难于保证了。如果家庭中一向和谐还好，如果家庭中亲子冲突很大，父母和孩子之间有怨恨情绪，则移情的结果只能是“怨吾老以及人之老，烦吾幼以及人之幼”。把对自己父母孩子的不满，无形中转移到了别人身上，这样不仅无助于利他行为，反而会带来原因不明的人际冲突。
现实世界中，这种怨吾老以及人之老的事情比比皆是。电影《新警察故事》中，几个孩子到处犯罪，甚至杀死警察，最后发现其中领头的孩子正是某个警署领导的儿子。因为那个父亲对待自己儿子过分粗暴，使儿子内心中产生了对父亲的仇恨。不敢反抗父亲，于是儿子就以犯罪和袭警来发泄仇恨。这也是一种移情，只不过是仇恨的移情。一般生活中这样严重的消极移情固然不多，但是，因为怨恨父母所以和老师作对这类的移情却随处可见。
当然，在儒家的设计中，认为这个问题并非难于解决。因为按照儒家的说法，儿童依恋父母是天性，而那种不爱父母的孩子都是天性被扭曲者。这也就是儒家之所以最重视孝道的一个重要原因，他们希望这个“推己及人”的策略能建立在“天性之爱”的坚实基础上。如果有人连爱父母的天性都丧失了，我们就必须先把这个天性恢复，随后的一切就都可以进行了。专从理性看，我也承认孩子依恋父母的确是人的天性，而且对父母之爱也的确是人一生中爱的最初形式。但是在实践中，让许许多多已经在亲子关系中产生了怨恨的人，恢复对父母最早的单纯的爱，这是一个非常困难的任务。有些人甚至对自己的爱都已经千疮百孔，更谈不上爱别人了，对这些人来说，使用这个策略更加困难。
三
还有一个问题恐怕更困难，就是如何能调动或恰当调动这种我们需要的移情。看到一个老人需要帮助，也许我会想：“这个老人有些像我的父母，我愿意父母能够得到帮助，所以我去帮助一下他吧。”但是我也可能会想：“他又不是我的父母，轮不到我管，我还是先管自己的父母好了。”儒家思想里并无很系统的方法，能让人更多地想前一种想法。
再有，有时我“老吾老”和“老别人之老”之间是有矛盾的。如果我父亲和别人父亲吵架了，而我对自己的父亲很好，那我就不大可能在看到他们吵架时，想到“他也是别人的父亲，别人也不希望父亲受欺负”。我越是爱我的父亲，越有可能对敢于和我父亲发生争吵的人发怒，因此，我不但不会关心那个“可恶的老家伙”，反而愿意和我父亲一起，对那个老家伙迎头痛击，让他尝尝失败的难受滋味。
我们容易移情的对象，必须和我们自己或者我们的亲人比较类似。因此，借助移情而利他，也比较容易帮助这些类似于我们的人，而难于帮助那些和我们差异比较大的人。亲人得癌症死去，悲伤的家人会捐钱给癌症研究基金，而往往不会捐钱研究禽流感的治疗。这当然也没有关系，不管帮助谁都是助人，只怕的是助某些人的同时也许会有损于他人。
《宋史·范仲淹传》记载，范仲淹在用人上十分严谨。在审查担任各路按察使的人选时，每当看到名单上有不合格的人，便一笔勾之。有一次，旁边的一位大臣劝他说：“一笔勾之甚易，焉知一家哭矣！”范仲淹说：“一家哭何如一路哭？”
旁边的这位大臣，何尝没有“老吾老以及人之老”的精神，因此，想到别人不幸失去官职，“一家哭”的痛苦场景，不由得不心生戚戚焉。而“一路哭”的平民百姓和这位大臣相似性很低，大臣不容易想象他们的生活，因此，才会推己及人，不愿意轻易剥夺不称职官员的职位。范仲淹自己幼年生活贫苦，才更容易想到百姓的悲苦。中国“官官相护”的恶习，未必不是因为这些贪官们有推己及人的利他精神。
四
如果这还不够麻烦的话，我们还有更困难的问题。有些人的心理，更不是孟子之流单纯的人所能想到的。就算我们能够做到“老吾老、幼吾幼”，或者“贪吾贪、色吾色”，但是有些人就是不会移情到别人身上。有些人就是“我自己享受的快乐，就不愿意别人享受；我不愿意自己受的苦，却未必不愿意别人受”。孟子曾经问齐宣王：“独乐乐，与人乐乐，孰乐？”“与少乐乐，与众乐乐，孰乐？”齐宣王说，和别人一起快乐比自己快乐更快乐，和多数人一起快乐比和少数人一起快乐更快乐。这倒是很符合孟子的观点，不过，事实上未必尽是如此，独乐乐有时会超过与人乐乐。因为通过比较自己和别人的生活，独乐乐的人会发现自己的生活比别人的更好，这样会在本来的幸福感上，增加一种“感到自己比别人更好”的特殊快乐，而在别人都快乐后，我的这个快乐就没有了。在当初大家都没有自行车的时候，我有了自行车，而后来大家纷纷买自行车的时候，我分明没有感觉到更快乐，相反还有些失落。追求时尚的女孩子最大的快乐，就是自己的新时装是独此一件的，绝对不希望别人也像自己一样快乐。退一步说，就算只能和大家买一样的名牌手袋，也是“与少乐乐”胜过“与众乐乐”。心肠更狠一点的人，更会希望看到别人的不幸福，因为别人的不幸才可以反衬自己的快乐。“人生最大的快乐莫过于到处追杀敌人，抢夺他们的土地财富，听着他们的妻儿哭泣”，成吉思汗的这段话，分明是和孟子唱反调。欺男霸女、横行街市，如果你硬说这不是一种快乐，高俅的儿子首先要不答应，成吉思汗先生也必然要反对，就算你能驳得高衙内哑口无言，却也未必能让成吉思汗先生心服口服吧。