动机与挑战
当前的人工智能领域由中心化、封闭源和寡头垄断的科技巨头所主导。少数几家公司控制着最高性能的模型，这在很大程度上是由于极端集中化的力量促进了模型的开发和推断。
创建一个机器学习模型通常包括三个主要阶段：预训练、微调和推断。这些阶段对于开发出一个强大且准确的模型，能够很好地泛化到新的、未见过的数据，至关重要。
预训练阶段
在预训练阶段，模型训练于一个大型的、通用的数据集。该数据集与最终模型要执行的任务无关，而是旨在帮助模型学习各种特征和模式。例如，在语言模型的情况下，这可能涉及从大量的文本语料库中学习语言结构、语法和广泛的词汇。这里的目标是开发一个对将要处理的数据的基本结构有很好理解的模型，无论是文本、图像还是其他形式的数据。
在预训练阶段存在一些集中力量：
数据收集和排序 - 预训练阶段的关键是从各种来源（包括文献、数字文章和专业数据库）汇总大量数据集。行业巨头，如谷歌，历来利用用户生成的内容来打造无与伦比的高效模型，这种做法如今仍在继续，微软和 OpenAI 等实体通过独家联盟和专有平台获取顶级数据。这些能力的集中在少数几家公司内，导致了人工智能行业的明显集中化。
此外，依赖专有数据集进行模型训练引入了重要的伦理考虑和延续偏见的风险。AI 算法本质上是从基础数据中得出操作范式的，并由此产生内在的偏见，从而很容易被嵌入和复制。这种情况强调了在开发过程中进行细致审查和道德监督的必要性，确保模型反映公平和有意的模式和关联。
资源需求 - 已经确定，模型的效果与训练数据的数量呈对数增强关系，这表明受益于最广泛的 GPU 计算周期的模型通常表现最好。这种动态在预训练阶段引入了一个重要的集中化影响，由主要的科技和数据公司所拥有的规模经济和生产力优势推动。这一趋势在行业巨头 OpenAI、谷歌、亚马逊、微软和 Meta 的主导地位中显而易见。这些公司拥有并运营着全球大多数的数据中心，并且可以获得 NVIDIA 最新、最先进的硬件设备。
微调阶段
模型经过预训练后，进行微调。在这个阶段，模型会在一个较小的、特定任务的数据集上进行进一步训练。目的是调整模型在预训练过程中学习到的权重和特征，使其更适合当前的具体任务。这可能涉及教授语言模型理解医学术语，或训练图像识别模型区分不同种类的鸟类。
微调阶段使模型能够专注并提高在对终端用户感兴趣的任务上的性能。再次，在微调阶段中存在一些集中力量，其中最重要的是封闭源模型和可验证性。
在微调阶段，模型的参数被细化和设置，塑造其功能和性能。主流趋势是朝着专有的人工智能模型发展，比如 OpenAI 的 GPT 系列和 Google 的 Gemini，这意味着这些模型的内部运作和参数并未公开。因此，当用户请求推理时，他们无法验证回复是否真的来自他们认为正在互动的模型。
这种缺乏透明度可能会对用户造成不利影响，特别是在信任和可验证性至关重要的情况下。例如，在医疗领域，人工智能模型可能会帮助诊断疾病或推荐治疗方法，但医生无法确认模型推断的来源和准确性，可能会导致不信任甚至误诊。如果医疗专业人员无法确定 AI 的建议是基于最可靠和最新的模型，后果可能直接影响患者的护理和结果，强调了 AI 部署中透明度和问责制的重要性。
推理阶段
推理阶段是模型实际应用的阶段。此时，模型已经经过训练和微调，准备好对新数据进行预测。在 AI 模型的情况下，这可能意味着回答问题、翻译语言或提供推荐。这个阶段是将训练好的模型应用于实际问题的阶段，通常也是模型价值实现的阶段。
在推理阶段，导致集中化的因素有：
访问：中心化的前端用于 AI 模型访问可能会带来风险，可能会使用户无法访问 API 或推理。当少数实体控制这些门户时，他们可以自行决定出于各种原因拒绝访问重要的人工智能服务，包括政策变化或争议。这种集中化突出了需要采取分散化的方法，以确保更广泛、更具弹性的对人工智能技术的访问，减轻审查和访问不平等的风险。
资源需求：在人工智能中进行推理的成本，特别是对于需要大量计算资源的任务，成为技术行业内的一种集中力量。高推理成本意味着只有具有大量财力的大公司才能负担得起规模化运行先进的人工智能模型。这种财务壁垒限制了较小实体或个人开发者利用尖端人工智能技术的全部潜力。
因此，这一局势越来越被少数强大的参与者所主导，抑制了竞争和创新。这种中心化不仅影响了人工智能发展的多样性，还限制了对人工智能好处的获取，仅局限于一小部分资金充裕的组织，从而在技术生态系统中造成了重大不平衡。
在中心化的人工智能领域中，出现了一些反复出现的主题，特别是关于 Web2 公司的演变。最初作为开放网络成立的这些实体，通常会将焦点转向最大化股东价值。这种转变经常导致他们关闭网络，调整算法以阻止外部链接，这通常与用户的最佳利益相悖。
这种公司激励与用户需求不一致的情况通常发生在组织成熟并获得外部资金的时候。事实上，我们已经在 OpenAI 身上看到了这种现象，它最初是一个非营利组织，旨在使人工智能的使用普及化，这说明行业中的重心转变可以如何显现。这很容易归咎于这些个别公司，但我们认为这反映了科技行业内部集中力量引发的系统性问题，这种集中力量往往导致公司激励与广泛用户需求之间的不一致。
可能的未来：人工智能与 Web3
加密世界为人工智能提供了一个基础，使得信息和价值的交流变得无缝、开放和安全。区块链技术提供了一个清晰和可追溯的系统，用于管理交易和记录数据。在加密货币和人工智能的交汇处，出现了许多机会，两个领域可以相互增强和从对方的能力中受益。
激励对齐
分散计算在模型开发的预训练和微调阶段具有重要价值。基础模型通常需要大量的 GPU 计算周期，通常在集中的数据中心中运行这些过程。分散的物理基础设施网络（DePIN）可以提供分散的、无需许可的计算访问。通过加密货币的经济激励，软件可以自主地补偿硬件使用，无需中央治理实体。这使得网络的用户能够控制网络，调整激励机制，并确保数据和模型提供者得到足够的补偿。
可验证性
当前的人工智能基础设施主要倾向于专有模型，用户需要信任推理提供者通过指定模型执行查询并生成合法的输出。在这个背景下，密码学证明系统成为了一项关键技术，提供了一种在区块链上验证模型输出的机制。该过程使用户能够提交查询，推理提供者使用约定的模型进行处理，随后生成一个带有加密证明的输出。这个证明作为可验证的证据，证明查询确实通过指定的模型进行了处理。
这些举措的主要目标是将繁重的计算任务转移到链下环境，同时确保结果可以在链上进行验证。这种方法不仅减轻了区块链上的计算负担，还通过提供不可变的证据来引入透明度和可信度的层次，证明了链下计算的准确性和完成性。
将这些密码学证明纳入 AI 模型验证过程中，解决了与闭源 AI 系统相关的几个关键问题。它减轻了不透明或未经验证的计算风险，增强了计算过程的完整性，并促进了用户和推理提供者之间基于信任的关系。此外，这种方法与更广泛的去中心化和透明系统的趋势相一致，呼应了区块链技术的基本原则。
可组合性
去中心化金融和区块链网络的主要优势之一就是它们所能实现的可组合性。可组合性允许在 DeFi 中广泛使用“货币乐高”，即将不同的协议和输出组合在一起，以创建新的应用程序。尽管这种模块化性引入了新的风险形式到系统中，但也简化了开发者的应用开发，增加了创新和开发速度，并能够提供更简便的用户体验和便利。
类似于加密货币为金融产品提供了可组合性，它也将为人工智能网络和应用程序创造可组合性，通过作为一个无需许可和无需信任的层级，人工智能模块可以在其上构建并独立工作，同时与其他模块保持互联，形成能够提供各种服务的网络。通过区块链网络效应和加密货币，去中心化的人工智能项目和应用可以相互连接，完成人工智能的整体架构。
例如，可以使用 Akash 或 Filecoin 预处理的数据来使用 Marlin、Gensyn 或 Together 训练模型。经过微调后，这些训练好的模型可以通过 Bittensor 响应用户查询（推理）。尽管看起来更复杂，但最终用户只需与一个前端进行交互，而开发人员和应用程序则可以通过构建在不同的堆栈和应用程序之上获益。
通过分散式网络实现的组合性的另一个重要方面是数据组合性。随着用户对拥有自己生成的数据越来越感兴趣，并要求能够在不同的人工智能协议之间携带数据，他们将要求他们的数据不受限于封闭的环境。分散化和开源的 AI 应用程序使数据可移植。
数据保护
分散计算，结合外部数据和隐私解决方案，为用户提供了更多对其数据的自主权，使其成为比集中式对应方案更具吸引力的选择。特别是，像完全同态加密（FHE）这样的方法，允许在不需要先解密数据的情况下对加密数据进行计算。
通过 FHE，可以使用加密的数据集来训练机器学习模型，从而在整个训练过程中保持数据的隐私和安全。这提供了一个端到端的安全解决方案，具有强大的加密保证，允许在边缘网络中进行保护隐私的模型训练，并允许开发能够保护用户隐私并利用先进的人工智能能力的人工智能系统。
FHE 的作用扩展到在云环境中安全地运行加密数据上的大型语言模型。这不仅保护用户的隐私和敏感信息，还增强了在具有固有隐私的应用程序上运行模型的能力。随着人工智能在各个领域的整合，尤其是金融等敏感领域，对于像全同态加密这样能够防止潜在信息泄露的技术的需求变得至关重要。
自动升级能力
AI 可以用于根据一系列的变化和条件来维护、更新和自动升级智能合约。例如，AI 可以在协议方面使用，根据风险和其他市场条件的变化来调整风险参数。一个常见的例子是货币市场。货币市场目前依赖外部组织或 DAO 决策来调整借贷资产的风险参数。AI 代理可以简化更新和升级特定参数，与人类和 DAO 组织相比，这将是一个明显的改进，因为人类和 DAO 组织可能会慢而低效。
分散式人工智能的挑战
分散式人工智能面临一系列挑战，特别是在平衡密码学的开源性与人工智能的安全问题以及人工智能的计算需求方面。在密码学中，开源对于确保安全至关重要，但在人工智能领域，公开模型或其训练数据会增加其遭受对抗性机器学习攻击的风险。利用这两项技术开发应用程序面临着重大的挑战。此外，人工智能在区块链中的应用，如基于人工智能的套利机器人、预测市场和决策机制，引发了公平性和操纵性的问题。人工智能有潜力提高这些领域的效率和决策能力，但存在着人工智能无法完全把握人类驱动的市场动态细微差别的风险，从而导致意想不到的后果。
另一个令人担忧的领域是将人工智能用作加密应用程序的界面。虽然人工智能可以帮助用户在复杂的加密货币世界中导航，但它也存在风险，比如容易受到对抗性输入的影响，或者导致用户过度依赖人工智能做出重要决策。此外，将人工智能整合到区块链应用的规则中，如 DAO 或智能合约，存在着风险。对抗性机器学习可能会利用人工智能模型的弱点，导致被操纵或不正确的结果。确保人工智能模型准确、用户友好且免受操纵是一个重大挑战。
此外，将人工智能与零知识证明或多方计算相结合不仅计算密集，而且还面临诸如高计算成本、内存限制和模型复杂性等障碍。零知识机器学习（zkML）的工具和基础设施目前仍处于不发达状态，这个领域缺乏熟练的开发人员。这些因素导致了在 zkML 能够在适合消费品的规模上实施之前需要大量的工作。
小结
在保持区块链的去中心化精神和确保人工智能系统可靠性的同时，平衡去中心化和信任尤其重要，特别是在人工智能使用可信硬件或特定数据治理模型的情况下。在本文的下一部分中，我们将深入探讨能够支持分散式人工智能的技术以及 Marlin 基础设施在实现这一目标中的关键作用。
第二部分：实施技术概述
在本文的前一部分中，我们探讨了集中式人工智能的缺点以及 Web3 如何缓解这些问题。然而，在链上运行模型是不可能的，因为需要支付极高的 Gas 费用。试图增加底层区块链的计算能力将增加验证者的节点要求，这可能会降低去中心化，由于小型的家庭验证者将会面临困难。
在接下来的章节中，我们将介绍一些在 Web3 中进一步发展人工智能所必需的流行工具和技术，即零知识证明（ZKPs）、全同态加密（FHE）和可信执行环境（TEEs）。
ZKP 和 ZKML
零知识证明（ZKP）对于人工智能和 Web3 特别重要，因为它们可以提高扩展性和隐私保护。它们允许在链下进行计算，然后在链上进行验证（验证计算），这比在区块链的所有节点上重新执行计算要高效得多，从而减轻了网络负载并支持更复杂的操作。zkML 可以使 AI 模型在链上环境中运行。这确保了这些链下计算的输出是可信且经过验证的。
此外，zkML 可以验证机器学习过程的特定方面，例如确认某个特定模型用于进行预测，或者某个模型是在特定数据集上进行训练的。zkML 还可以用于验证计算过程。例如，它允许计算提供商通过可验证的证据证明他们已经使用了正确的模型处理数据。这对于依赖去中心化计算提供商（如 Akash）并希望确保计算的准确性和完整性的开发人员尤为重要。
zkML 对于需要在其数据上运行模型但希望保持数据私密性的用户也很有用。他们可以在自己的数据上执行模型，生成证明，并随后验证正确模型的使用，而不会损害数据的隐私性。
FHE
如前所述，完全同态加密（FHE）允许直接在加密数据上进行计算，而无需先解密。该技术在人工智能领域有重要应用，特别是在机器学习和敏感数据处理方面。
FHE 的主要应用之一是使用加密数据集进行机器学习模型的训练。这种方法确保数据在整个训练过程中保持加密和安全。作为结果，FHE 提供了一种全面的安全解决方案，从机器学习流程的开始到结束都能保持数据的隐私。这在边缘网络中尤为重要，数据安全和隐私至关重要，并且与集中式数据中心相比，计算资源通常更有限。
利用全同态加密技术可以开发出既保护用户隐私又能充分利用人工智能先进能力的系统。通过确保数据在存储和处理过程中保持加密，全同态加密（FHE）提供了强大的密码保证，防止未经授权的访问和数据泄露。这在处理敏感信息的场景中尤为重要，例如医疗应用中的个人数据或机密的财务记录。
全同态加密（FHE）将其实用性扩展到云环境中大型语言模型的运行。通过使这些模型能够处理加密数据，全同态加密（FHE）确保用户隐私和敏感信息得到保护。随着越来越多的人工智能应用在云环境中部署，数据安全成为一个重要问题，这种能力变得越来越重要。在需要严格保密的领域，如法律、医疗和金融行业，能够在加密数据上安全运行模型的能力增强了人工智能的适用性。
全同态加密（FHE）解决了保护敏感数据免受潜在信息泄露和未经授权访问的关键需求。在那些数据隐私不仅仅是偏好而是法规要求的领域，全同态加密（FHE）提供了一种在不损害数据安全和合规标准的情况下利用人工智能的方法。
TEE
可信执行环境（TEEs）在训练和执行人工智能推理方面具有显著优势，特别是在安全保证、隔离、数据隐私和保护方面。由于 TEE 作为安全的隔离环境，它们为数据和计算提供了强大的安全性和完整性。
第一个主要好处是提高了安全保障的保证。 TEEs 专门设计用于对抗具有广泛可信计算基础（TCBs）的系统中的漏洞，这些基础包括操作系统内核、设备驱动程序和库。由于其较大的攻击面，这些组件更容易受到攻击。通过提供安全的执行环境，TEE 可以保护关键应用程序，即使主机操作系统被入侵，也能保持隔离区内软件的完整性和机密性。另一个关键优势是隔离。在隔离区内，代码和数据被安全存储，并且仅限于隔离区内的代码才能访问。这种设计防止了外部访问，包括来自其他虚拟机或超级监视器的访问，从而保护免受物理攻击和来自其他虚拟机的威胁。
TEE（可信执行环境）有助于远程验证过程，以验证软件是否在真实的 TEE 内执行。这一功能对于确保在隔离区内运行的软件的真实性和完整性至关重要。它使得远程实体与可信执行环境之间建立了信任，确保软件及其执行环境是安全的，并且没有被篡改。
最后，TEE 在数据保护方面表现出色。TEE 的硬件实现的安全特性保护计算的机密性和完整性。这包括对代码和数据（如密钥）进行安全配送到隔离区内。TEE 还建立了可信通信通道，用于检索计算结果和输出，确保数据在隔离区内的整个生命周期中保持安全。这些特性使得 TEE 成为训练人工智能和执行人工智能推理的理想环境，特别是在需要高水平安全和数据完整性的应用程序中。
Marlin Oyster
Marlin Oyster 是一个供开发人员部署自定义计算任务或服务于可信执行环境的开放平台。类似于英特尔的 SGX 和 AWS 的 Nitro Enclaves。通过 Oyster，开发者可以在隔离环境中执行代码，并确保主机或其中的任何其他应用程序都无法改变可信执行环境中的计算的完整性。除了可信执行环境（TEE）提供的计算完整性和机密性保证外，Oyster 平台还提供额外的好处：
正常运行时间：Oyster 通过一种监控协议确保应用程序的可用性，对于停机时间进行惩罚，并将任务重新分配给正常运行的节点。这种机制确保了在 Oyster 上部署的开发人员为最终用户提供持续的应用功能和活力。
无服务器：类似于 AWS Lambda，Oyster 的无服务器框架允许开发人员在不专门租用特定节点的情况下部署应用程序。开发人员通过仅支付其应用程序的运行时间来节省成本并减少管理开销。
网络：Oyster 隔离区预先配备了网络功能，促进了在隔离区内建立安全的 TLS 连接。这一功能使得能够执行外部 API 查询并操作具有暴露端点的服务，增强了应用程序与互联网的集成。
中继：Oyster 通过中继合约支持将计算密集型任务转移到链下环境进行处理。这些智能合约使得在 Oyster 上执行功能成为可能，确保可靠的结果和基于事件的响应，从而优化链上资源的使用。
基准
在 zkML 框架和 TEE ML（Oyster）之间的基准比较中，性能指标表明 Oyster 的效率更高。具体而言，Oyster 框架在所有测试的机器学习模型中展示出明显更低的总计算时间。
对于 Iris 数据的普通最小二乘模型，zkML 框架（RisQ）需要超过 32 秒进行证明和验证，而 Oyster 只需 0.047 秒完成任务。同样，在相同数据集上，神经网络使用 zkML（EZKL 框架）对于 500 个输入的总时间超过了 212 秒，而 Oyster 只需要 0.045 秒。这个处理时间上的显著差异表明 Oyster 在这些情况下效率更高。
在 MNIST 数据集上，LeNet 模型进一步加深了这一观察。EZKL 的 zkML 框架需要 60 秒的验证和证明时间，而 Oyster 仅需要 0.056 秒。即使 DDKang 的 zkML 框架表现比 EZKL 更好，总时间约为 3.33 秒，但仍然不及 Oyster 的 0.056 秒。
总体而言，数据显示，与测试的 zkML 框架相比，Oyster 为机器学习任务提供了更高效的解决方案。它更快的计算时间表明，对于提供的基准测试，Oyster 可以在显著较少的处理时间内处理相同的任务，从而在效率和速度方面更具优势。
为了广泛采用可验证的、去中心化的人工智能，离链加密验证系统必须超越执行简单任务，如普通最小二乘计算。所需的关键进展是处理更复杂任务的能力，具体而言，是通过流行的 LLMs 高效地运行提示。这需要提高计算能力、算法效率和可扩展性，以处理现代 LLMs 的复杂和资源密集型需求，从而在分散的框架内实现更复杂和多样化的人工智能应用。zkML 框架仍处于初级阶段，目前阶段它们处理这些提示的能力受到严重影响，因为生成 zk 证明是一项计算密集型任务。
尽管尚未展示 zkML 协议处理 LLMs 的提示，但可以合理地假设 Oyster 的可信 TEE 和这些 zkML 框架之间的处理时间差异至少与之前讨论的示例一样显著。使用 Marlin 的 Oyster，可以建立各种 LLMs 的基准测试结果：
评估计数：响应中的标记数量；评估持续时间：生成响应所花费的纳秒时间
GPT2-XL 在 Oyster 内部的基准测试结果：
隔离区配置：12 CPU， 28 GB 内存（c6a.4xlarge）
提示语：以太坊是由社区运营的技术
结果：“以太坊是由社区运营的技术，使互联网能够正常运行。就像 Linux 对计算机的影响一样，以太坊将赋予互联网在未来的功能。”
生成输出所花费的时间：22.091819524765015 秒
每秒标记数：1.6295624703815754 秒
第二部分：结论
人工智能技术的发展和分发越来越被一小部分拥有先进硬件和复杂模型的大型企业所主导。这种集中程度引发了对审查制度、固有偏见以及验证人工智能系统的完整性和公平性的担忧。相比之下，加密货币的基本原则——即无需许可和抵制审查——为实现人工智能技术的民主化提供了一条途径。
区块链技术的去中心化和开源性使得去中心化人工智能能够与中心化对手竞争。这是通过 DePINs、加密证明和使用公私钥对等机制实现的，这些机制共同确保了人工智能的安全、透明和公平的发展和使用。为了实现去中心化人工智能的全部潜力，尤其是在区块链生态系统中，需要一个强大的链下计算基础设施。这对于高效、准确和可验证地处理复杂的人工智能任务至关重要。
目前，可信执行环境（TEE）成为满足这一要求的最可行解决方案。 TEE 为代码提供了一个安全且隔离的执行空间，保护正在处理的数据的机密性和完整性。这使得它们成为区块链上用于 AI 应用所需的链下计算的最佳选择。随着领域的发展，像 zkML、FHE 技术的进步以及可信执行环境（TEE）的增强对于去中心化人工智能生态系统克服当前的限制至关重要。这一进展将促进更加开放、可访问和安全的人工智能领域，与加密社区的去中心化理念相一致。