来源：上海市法学会 东方法学
发布日期：2025年09月29日
身处数字时代，依靠核心算法作出自动化决策分析的人工智能程序早已浸入公众日常生活。公用政务领域的算法设计过程因国家公权力主导而不易产生风险，但民用消费领域的算法技术风险却广泛存在，尤以算法歧视为甚。消费领域的算法歧视使身处信息不对称劣势中的数据权利主体受到非公正的现实待遇，既背离技术手段中立原则，又违反科研行业自律要求，还凌驾于数据权利主体的自由之上，应当受到严格规制。可通过加强行政机关和行业协会的联合监管力度、赋予个人数据权利主体更加具体的数据权益、探索开展算法歧视领域公益诉讼等路径，对消费领域算法歧视行为进行有效规制。
引言
身处数字时代，形式各样、功能丰富的人工智能程序日益成为驱动生产力迅猛发展和提高人民物质文化生活水平的关键工具。算法、数据和算力共同构成人工智能三要素。其中，数据是实现人工智能的“粮食”，是最基础物料，为人工智能程序作出具体决策分析提供根本依据。算力是人工智能的“身体”，一定程度上反映出人工智能在处理复杂运算和分析数据时的效能，算力依附于科技设备，随着设备的迭代升级和算力的不断增强，人工智能程序作出的决策分析结果也将愈发精确并贴近开发使用者的实际需求。算法是实现人工智能的核心要素，是人工智能程序的“大脑”。即使拥有海量数据库和最高级设备所提供的强算力，若缺乏科学设计的核心算法，也难以得出精准并合乎需求的分析结果。算法的本质是对原始数据的获取、占有和处理，通过改造和再生产生成新的更有价值的数据信息。由此可见，算法才是使数据资源获得有效利用的思想和灵魂，是人工智能程序之所以能将人们从单纯的人脑计算和逻辑分析中抽离、实现真正智能化的关键。
一、算法歧视的缘起
随着人工智能技术的迅猛发展，核心算法作为推动其运作的核心力量，已经渗透到公共和民用领域。在公共政务领域，交通监控系统、司法辅助工具等人工智能程序日益普及，提高了行政效率和执法精度。然而，这些技术的双重用途也带来潜在的风险，尤其是算法歧视问题的浮现。尽管算法本身源自中立数据，但由于开发者的价值倾向、技术目标或信息不对称，算法常常无意间加剧了社会不平等，导致对特定群体的歧视行为。例如，在民用消费领域，算法通过分析用户数据来优化服务，提升便捷性，但却可能在不知不觉中实施价格歧视或个人隐私侵犯，甚至推动了所谓的“大数据杀熟”现象。算法歧视的根源不仅在于技术本身的偏差，更在于其背后复杂的社会权力关系和利益驱动。
（一）
核心算法的双重用途
依附于数据、算力和算法而实现的人工智能程序早已浸入公用和民用领域。在公用政务领域，交通警察在执行道路交通安全行政执法任务时，可借助人工智能程序分析行为人是否存在违法行为及行为严重程度，如对驾驶员超速、未正确佩戴安全带、安全头盔或使用手机等行为进行识别并在系统内提醒执法人员作出处罚的电子技术监控设备，早已获得广泛使用。部分算法程序甚至可以在事实认定的基础上，比对相关法律、法规条文并自主决策是否作出处罚决定。虽然该处罚决定还需经过人工审核才能正式作出，但其准确率极高，极大节省了执法人员的时间成本。虽然相关行政行为的合法性受到一些质疑，但类似不局限于事实认定的人工智能算法程序将逐步拓展至治安管理及其他行政执法领域，已成为显著趋势和不争事实。近年来，国家最高司法机关在全国大力推广数字法院和数字检察相关应用，背后无不受益于大数据和人工智能技术的迅猛发展。审判执行辅助软件、数字检察监督模型等司法领域的人工智能程序业已成为司法机关辅助审判监督、提高工作质效、参与社会治理的重要着力点。随着相关技术和设备的不断迭代更新，人工智能程序将在公用领域获得更加广泛运用，作为其核心要素的算法，也将因其涉密性、公益性和高价值性而受到有关部门更为严格的控制管理，因而不易发生相关风险。
与此同时，依靠核心算法运转的人工智能程序在民用消费领域也早有运用。如，外卖骑手使用的接送单软件可以对多个订单所涉地址进行快速分析，比对当前各条路线的拥堵度，规划出最科学合理的送单顺序和送单路线，减少骑手绕路和走回头路的概率，最大化节约每个订单的送达时间；银行通过将所掌握的客户资金持有量和消费习惯等信息资源交予算法分析，进而实现对其信用贷款额度的精准授予；各类餐饮和娱乐服务推荐软件通过分析用户对系列推送的点击频次和页面停留时间，可以探寻用户的内心喜好，继而持续为其推送相关内容，增强用户对软件使用粘性的同时，也可在其中夹带广告等可产生收益的推荐内容，实现盈利；部分大型公司面对海量求职者的应聘简历时，也会通过设置相应的筛选项目形成一套简易算法，借助人工智能程序剔除不符合条件的人员以节约人工审查时间。由此可见，人工智能在日常生活和消费场景中的主要功能是为程序开发者或使用者减少脑力分析的成本，并提供便捷准确的决策结果。很明显，实现这一完整流程的是算法。
但是，算法在为公众和消费者带来种种便利高效的同时，其自身又犹如一把“双刃剑”，时刻存在着“反噬”使用者的技术风险。无论何种算法，其内核都是由人设计开发完成，但算法的开发者很难秉持中立性和他利性原则，或是被要求设计算法的企业或有关部门直接要求或受其间接影响，开发者设计的算法很难脱离个人的价值倾向，实现完全中立。算法模型也极易因其开发者所欲达成的特定目的、个体利益最大化的自利性考量以及因信息不对称产生的优势地位等，产生具有法益侵犯性 的负外部效应。实践中，用户画像、算法黑箱、算法歧视、信息茧房等行为和现象无不显露出偏离中立的算法对使用者所隐含的种种“恶意”。其中，尤以算法歧视对用户所造成的负面影响最甚。
（二）
消费领域算法歧视的缘起
算法歧视是大数据背景下，数据持有者、信息处理者和算法开发者等群体借助较强算力的人工智能程序，以算法为手段对部分主体实施的直接或间接歧视行为，既包括对具有某种特定属性的个体或群体实施的法律所禁止的差别对待，也包括表面上看似中立的规则、标准和行为对受保护属性的个体、群体造成的差别影响。在此过程中，虽然原始数据和技术是中性且不含有情感价值倾向的，但在被人为开发设计的非中立性算法进行加工处理和分析计算后，其生成的新数据和新信息将会是差异化、不平等的分析结果，进而可为相关人员对数据主体进行差别对待和分级处遇提供便利，最终造成数据主体在日常生活和消费场景中所面临的歧视性后果。这种歧视性后果的典型就是价格歧视，伴随着对使用者的隐私权、知情权、自主选择权、公平交易权及维护尊严权等消费者权利的侵犯。当然，价格歧视只是众多算法歧视中最为公众知晓的，其他如前述大型公司通过算法筛选简历，其背后也暗含着性别、学历、民族、年龄、地域、宗教信仰等多类歧视。当然，这些歧视只是社会中既有的不平等观念借助算法而实现，算法本身并不会产生歧视。
显而易见，算法歧视实施主体的核心目的就是借助不对外公开的人工智能程序进行运算、分析和决策，使信息不对称的数据主体受到非公正的现实待遇，进而为自身获取一定利益。这种利益既可能是因实施价格歧视而获取的财产利益，也可能是对数据主体的隐私、声誉、名誉等权益造成不良影响，或是在某些行业和领域不合理地设置准入门槛，意图给予其不平等结果，进而达到自身的目的。算法歧视产生的根源正是个人认知不同的内心偏见歧视，以及因社会资源分配、统治权力关系产生的歧视。当然，算法歧视实施主体最大的依仗还是当今数字时代大数据的深度发展和应用，使其能轻而易举获取数据主体的海量个人信息，为算法的计算分析和迭代升级提供辅料。公众每日在移动设备上高频次使用的通讯、休闲娱乐、消费购物、金融支付、导航等多类软件，每时每刻都会将使用者的操作习惯、个人喜好等数据传输至运营商的数据库，便于其利用算法统计分析后因人施策。这也是为什么用户会经常发现自己在某视频软件中为了解某物品的详细信息而搜索评测视频，过段时间后该物品会在另一购物软件中被精准推荐，因为同一运营商的不同软件之间会共享数据库。对于实名用户而言，算法的指向性和互联性使其在运营商的数据库里并无任何隐私。当用户在购物软件中多次点击某物品详情或有添加至“购物车”的操作时，算法即能判断出其具有购买倾向，并针对性给出反馈措施，如赠送满减券或提示购买第二件可享受折扣等权益，以驱动用户立即下单。但是，若用户并未即时下单，算法也将对此情形进行记录，并在下次遇到类似情形时给予更大优惠，渐渐使用户对此软件产生好感甚至依赖，再为后续不经意的提价销售奠定基础。这也是“大数据杀熟”的惯常做法。
因此，作为消费领域算法歧视最主要的实施主体，各类软件的运营商及相关企业已从算法歧视中获取了巨额利益。普通消费者和软件使用者很难通过自身力量与之抗衡，算法歧视的弊端正逐步显现。
二、消费领域算法歧视的伦理反思
算法及其所依附的人工智能程序在使用过程中极易产生伦理风险。以消费领域的算法歧视为例，技术层面涉及经营者所开发的算法及系统安全问题、算法的可解释性和决策问题，可能背离技术手段中立原则；应用层面则体现为算法歧视的开发者和实施主体违背一般科学伦理对用户施加不平等待遇，违反开发设计的自律性要求；数据层面涉及用户数据的采集、流通和处理等流程的安全风险问题，既违反个人信息的同意知情使用原则，也构成对相关数据的滥用。
（一）
背离技术手段中立原则
消费领域算法歧视的运作机理就是通过算法推荐技术不断向消费者提供其心仪但价格低于市场价的产品或服务，使其对软件产生使用依赖并提高使用粘性后，再在价格上制造不合理待遇，并依靠此举获利。前述“个性化推荐”系算法歧视实施主体通过收集用户信息、行为记录等个人数据分析用户行为，再勾勒出用户画像后实现精准营销的常用技术手段。但这种行为却实质违背了技术手段中立原则。
缘于工业社会时代人们对技术的天然敬畏，技术手段被视为理性的工具，技术中立（技术中性）原则得以确立。技术中立的具体涵义被解释为功能中立、责任中立和价值中立。功能中立是指技术在被人类使用的过程中，只要人类遵循技术的功能机制和原理，那么技术为人类带来的成果就是中性的，技术的使命即告达成；责任中立是指即使某些技术被使用后对社会产生了负面效果，但研发技术的人是无辜的，不应对该不利后果承担责任，原子弹就是技术责任中立的最好例证；价值中立是指研发者钻研技术手段时，不应将个人的价值观附着于技术之上，应当在技术的开发、传播、应用和管制等全过程保持客观中立的价值取向。但在人工智能时代，多数观点均认为技术不再是“制造”和“使用”的方式，其已经脱离了中立范畴，成为一种拟人化的自然，“技术不中立”将成为必然趋势。
以消费领域的人工智能程序算法歧视为例，因相关算法受限于研发者的商业取向，其很难遵循技术的客观中立要求。因为逐利是资本的天性，作为算法研发者的技术人员，必然会将对其提出具体研发和设计需求的客户或上级领导等作出的“保证最大盈利”指示视为设计算法规则的最高指令予以贯彻，那么其所设计的算法就难以遵循技术价值中立的要求，因为其主观目的就不具有中立性，而是围绕经济利益和经济效益展开。并且，因该算法最初就是为了实现实施主体非合法且道德的盈利目标而设计，即使其在运行过程中完全符合算法的功能机理，但算法分析决策所形成的结果必然会背离中性，损害消费者的诸多合法权利，实质也违反了技术功能中立原则。
（二）
违反科研行业自律要求
算法研发的高门槛特征和专业性要求使算法权力局限于特定的研发和使用群体之中。极高的学习、研发和复用成本又使算法的运行和决策分析过程被牢牢掌握在算法平台技术持有者手中，难以向普通消费者公开。作为普通消费者，其只能默默被动接受算法分析决策的结果，难以通过核查底层代码和数据实现回溯算法的决策分析过程。同时，因人工智能和大数据等技术手段属于新兴产业，国家相关部门可分配给该行业的监管资源存在明显不足，有时难以充分履行监管职责，甚至还需依靠部分平台或互联网经营者为其拓展数字化政务提供技术辅助。虽然新一轮党和国家机构改革调整后，新的国家数据局组建成立，但针对人工智能、大数据、云计算、区块链等行业的行政监管资源缺失仍是亟待解决的重要难题。因此，对于既有研发人工智能程序、设计核心算法和掌握关键技术的科研行业及其从业人员，应当对其课予更严苛的行业规范和自律要求。
实践中，对于开发设计消费领域人工智能程序算法的科研企业和人员，其自身除须遵守科学技术进步法、个人信息保护法、网络安 全法、消费者权益保护法等法律、法规对科研人员和信息处理者的法定义务外，还应遵循行业内部的相关规定及国际社会通用的科技伦理规范和道德准则。中国科协于2017年7月印发了《科技工作者道德行为自律规范》，其中包含9条具体规范，为科研工作者强化自律意识和底线意识提供基本遵循。在“自觉履行造福人民义务”一条中，科技工作者被课予聚焦信息安全等重大民生问题的职责，而严守学术道德和科学伦理也是“自觉遵守科学道德规范”一条中的重要内容。人工智能程序和算法开发设计与信息安全紧密相关，且对于用户个人信息和数据的非正当使用也明显侵犯其隐私权，违反道德和科学伦理。因此，对于帮助实现消费领域算法歧视的科研企业和人员而言，其均违反了科技工作者的自律性要求，自然也背离了科技伦理规范。
（三）
凌驾数据权利主体自由
作为数据权利主体的软件使用者或互联网平台用户，其对于个人既有信息或自身所实施行为所产生的数据信息应当享有所有权和自决权。但随着个人数据量呈几何式膨胀，作为权利主体的单一个体已难以完全掌握、使用乃至处分相关数据信息。尤其是在消费领域，软件运营商和互联网平台将用户数据操作使用软件或在平台上浏览和消费产生的数据信息视为“富矿”，用近似“霸王条款”的数据信息授权使用协议将这些数据“收入囊中”，再借助自研算法对海量数据进行加工、筛选、分析，甚至通过实施算法歧视获取经济效益。
算法的自动决策功能一方面使数据权利主体享受到一定的生活便利，另一方面也使数据主体在潜移默化中面临被算法支配自由的风险。这种支配使得数据权利主体的自治空间受到压缩，因为在较长一段时间的使用后，其对相关软件或互联网平台已形成极大的用户粘性和依赖，即使面临一些不合理的算法决策结果，一般也难以直接作出割舍。因算法设计开发的缺陷和更新迭代的不及时，算法自动决策分析的结果也难以避免偶然性和片面性，针对用户个性化的推荐和歧视行为也会呈现不同样态，导致部分用户会大量接收到其并不感兴趣的广告内容。这种强制性的算法决策过程极有可能在更多交互场景中输出更加负面的分析结果，使算法歧视愈演愈烈。
综上，对于作为数据权利主体的软件使用者或互联网平台用户，其可自主掌握的数据信息和选择权均远少于算法设计的开发者，天然的弱势地位使其难以享受作为数据权利主体的自由。
三、消费领域算法歧视的规制路径
针对如何防范以算法为主的人工智能程序可能引发的法律和伦理风险，习近平总书记指出要“加强人工智能相关法律、伦理、社会问题研究，建立健全保障人工智能健康发展的法律法规、制度体系、伦理道德。”基于此，国家陆续出台相关法律、法规和规范性文件予以规制。个人信息保护法第24条明确了个人信息处理者利用他人信息进行自动化决策应当秉持的原则和被禁止的行为。国务院反垄断委员会制定的《关于平台经济领域的反垄断指南》第17条也明令禁止互联网平台经营者利用市场支配地位对消费者实施差别待遇，其所针对的违法行为就包含算法歧视；国家网信办、工信部、公安部、市场监管总局四部门联合出台《互联网信息服务算法推荐管理规定》，其第三章将用户权益保护作为重点，并对算法推荐服务提供者规定了多项应遵守的信息规范义务，进一步明确了算法歧视的监管部门和针对实施主体的惩戒方式。虽然相关法律规范已十分完备，但现实生活的算法歧视现象仍时常发生，针对算法歧视的治理和规制路径有待进一步明确。
（一）
加强联合监管，倒逼算法决策有限公开
规制并逐步消除消费领域广泛存在的算法歧视行为，具有监管职责的行政机关应当联合相关行业协会发挥应有作用，通过提升自身甄别算法底层运行逻辑的能力、倒逼算法歧视实施主体公开算法决策分析过程等方式，压缩算法歧视行为的“生存空间”。当前针对人工智能程序的规制主要有政府主导、第三方主导和企业自我规制三种模式。前两者分别对应行政监管和行业监管，企业自我规制则需企业在内部自主构建数据合规管理体系，并定期向主管部门汇报情况。基于我国实情，由行政监管部门联合相关行业协会共同对从事算法研发设计并高频使用人工智能程序的互联网企业进行监管具有高度可行性。
首先，个人信息保护法、电子商务法、消费者权益保护法等法律均已明确负有保护公民个人信息和禁止商家使用用户数据进行差别对待等职责的主体，即网信办、工信、市场监管局等行政机关，但这些部门本身又有其他职责，能分配给个人信息保护的监管资源极为有限。基于算法自身技术的复杂性和场景应用的多元性，对算法的审核、管理、解释标准制定等事项，均应由专门监管机构开展。国家数据局已于2023年7月挂牌成立，其通过实施国家大数据战略，统筹并推动数据要素基础制度建设，推动信息资源跨行业跨部门互联互通，可促进现有行政机关进一步提升对人工智能程序和算法自动化决策的监管能力。同时，通过不断实践并扩充规模，国家数据局也可逐步承担起算法认证、备案、有效性测试和审查等职能，化解当前该领域“九龙治水”的局面。其次，中国互联网协会从成立至今已有20余年，该协会职责之一就是通过制定并实施互联网行业自律规范和公约以规范会员行为。同时，其还承担维护国家网络与信息安全和保护公民个人信息安全的功能。基于中国互联网协会高度的专业性和自律性，行政监管部门可定期与其开展针对人工智能和算法决策行业的联合执法，并构建常态化监管、人才交流、信息通报、数据共享等合作机制，夯实监管力量。
具备较强的联合监管力量和充足的人才资源后，行政机关和行业协会即能通过常态化履职倒逼从业者公开算法决策分析过程和底层源代码，进而可浸入人工智能内部判断其是否包含歧视性算法并予以纠偏。但大部分算法实质是一个“黑箱”且有一定知识产权和商业秘密的保护性要求，并不适宜完全向社会公开。因此，在联合监管过程中，相关部门应秉持一个主要原则，即“有限公开和不侵犯商业秘密”，即不对外公开算法的源代码和具体架构，而仅限少数专业人士知晓，便于他们作出实质性判断的基础上不对企业的知识产权和商业机密造成侵害，如此才能将监管功能最大化实施且不影响相关企业的正常经营。
（二）
细化数据赋权，提高算法歧视实施难度
作为权利主体，用户应当对与其个人信息高度相关的基础数据或由其日常行为所产生的派生数据享有一定的知情权和控制权。欧美部分国家在对个人数据立法时都赋予了自然人对商业体采集并处理其数据信息时的知情选择权、数据访问权、更正权、删除权和反自动化处理等系列权利。我国的个人信息立法也秉持此种做法，个人信息保护法等行政法律规范与刑法、民法典等共同构成了个人数据保护的刑民行规范体系。但在具体实践中，因用户个体的保护意识和能力不足，其很难意识到自身受到的不平等待遇是算法歧视导致的，即使其有所察觉，也难以同数据采集者和算法开发设计者进行面对面沟通协商，地位上的天然差距使其只能选择是否继续使用软件，而无法决定不将哪些数据共享给软件运营商，亦难以拒绝算法的自动化决策分析。
因此，有必要继续细化个人数据赋权制度的内容。一是赋予用户请求算法设计开发者解释算法运行逻辑和规则的请求权，便于用户知晓软件运营商使用人工智能程序和算法的真实目的，再根据自身情况选择是否同意其继续采集并使用个人数据，以弥补因自身认知不足所产生的信息鸿沟。现行个人信息保护法第24条对算法解释权已有规定，但如何具体操作还有待明确。二是通过区分采集个人数据的不同场景、采集目的和被采集对象等，为软件运营商设置相应从业门槛和必须履行的法定义务，提高相关主体采集、处理个人数据并实施算法歧视的难度。当软件运营商采集并使用用户个人数据的目的仅是为了提升服务质量、增强用户粘性并提高经营利润等纯粹商业性目的时，应当赋予软件使用者个人数据自决权，即用户可自由选择是否共享相关数据信息，软件运营商不得以用户不授权其采集和使用数据而影响用户的正常使用。同时，当用户要求运营商更正或删除其先前采集的旧数据和自动化决策分析生成的新数据时，运营商应当接受并立即执行。但是，当相关主体采集并使用用户数据并作出自动化决策分析是为了国家和社会公共利益时，应当给予数据采集者和算法开发设计者更多自由空间。如，部分服务推荐类或网络购物类软件通过采集用户的使用偏好和消费数据等，为国家有关部门分析修正CPI指数提供重要参考。再如，导航类软件通过分析计算同一时间途经某条路段并正在使用该软件的驾驶员人数，据此推测该道路拥堵情况，并为其他驾驶者提供路线参考时，均是符合国家和公共利益的采集行为，应当予以支持。
（三）
开展公益诉讼，协同打击算法歧视行为
检察机关作为保护国家利益和社会公共利益的重要力量，针对利用算法歧视侵害不特定公众个人信息数据权益以及不特定消费者合法权益的违法行为，可以通过探索开展民事或行政公益诉讼，强化对公众个人数据信息的保护。首先，个人信息保护法第70条和反垄断法第60条均已明确授予检察机关提起个人信息保护公益诉讼和反垄断民事公益诉讼的诉权。软件运营商实施的算法歧视行为，其本质既是对用户个人数据的不当使用，也侵害了消费者的自主选择权和公平议价权，若放任不管极有可能助其垄断市场，进而继续实施垄断行为，严重侵害公共利益。因此，检察机关对算法歧视行为开展公益诉讼监督具有充足的法律基础。同时，部分地区检察机关也通过依法能动履职在个人信息保护和反垄断公益诉讼领域有所实践并取得积极成效，为检察机关优化办案经验并付诸打击算法歧视行为提供重要参考。
对于算法歧视行为，检察机关可从细化诉讼类型选择标准和强化办案协作机制两方面着手，为规范该领域公益诉讼开展方式和协同行政机关、行业协会打击软件运营商实施算法歧视奠定基础。一是选择开展民事或行政公益诉讼的标准界分。当实施算法歧视行为的软件运营商主体可明确时，检察机关一般应通过提起民事公益诉讼方式要求法院判决停止侵害、赔礼道歉或赔偿损失。当主体范围不定或难以明确时，宜通过行政公益诉讼进行监督，通过督促负有监管职责的行政机关加强执法力度，发挥辐射效应，提高算法歧视的违法成本，以此倒逼不特定实施主体放弃继续实施歧视行为。二是优化办案协作机制，强化协同打击算法歧视行为。民用领域算法歧视多发生在消费场景中，很多消费者协会掌握了大量案件线索，检察机关应当加强同消保协会、行业协会和工商联等组织和团体的沟通联络，通过联席会议常态化获取监督线索并相互通报信息，凝聚工作合力。同时，检察机关还应持续落实“府检联动”机制，借助磋商会和公开听证会等，加大与专业行政监管部门的交流协作，融合执法司法力量，为行政机关依法履职和建章立制提供决策参考，助力算法歧视的综合治理。
往期精彩回顾
上海市法学会官网