有的人退税多有的人退税少的原因是：
1、退税额度多少与纳税额度、个人预扣预缴的额度、扣税方式、退税原因等因素有关。一方面，如果纳税额度较少，那么退税额度也会相应减少；另一方面，如果个人预扣预缴的额度已经是真实缴税额，那么就没有什么可以值得退税的地方。
2、此外，扣税方式也会影响退税额度，如果预缴税额高于应纳税额，可以申请退税，反之则需要补税。 退税额度还可能与退税原因有关，如存在较高预扣率的收入或者平时扣除不充分等原因，都可能导致退税额度的差异。
个人所得税退税的操作方式有：
1、申请人自行申请退税：一般可以通过税务局网站、或者个人所得税手机APP、邮寄申办、或者直接前往办税服务大厅等方式进行办理年度汇算，并结清应退税款；
2、可以委托公司代缴个税人员协助办理退税，纳税人可向任职所在公司提供上个纳税年度在本公司之外的综合所得收入、相关扣除信息、以及享受税收优惠等信息资料，委托公司负责代缴个税的工作人员协助进行纳税申报并办理退税；
3、纳税人可委托涉税专业服务单位或者个人代为退税。
综上所述，个人所得税的退税要符合规定的程序，在退税办结时，需要出具相关的证明文件。
【法律依据】：
《中华人民共和国税收征收管理法》第五十二条
纳税人超过应纳税额缴纳的税款，税务机关发现后应当立即退还；纳税人自结算缴纳税款之日起三年内发现的，可以向税务机关要求退还多缴的税款并加算银行同期存款利息，税务机关及时查实后应当立即退还；涉及从国库中退库的，依照法律、行规有关国库管理的规定退还。