12月12日，“扯后腿新鸿沟·智见新往时”2024大模子技艺与欺诈改进论坛在北京举行。会上，中国工程院院士、清华大学计较机系训导郑纬民默示，本年大模子发展有两个特质，第一是基础大模子插足多模刻画态，文本除外，还有图像、视频，也便是多模态。第二是“用起来”，“大模子+”欺诈于九行八业，如“大模子+金融”“大模子+医疗”“大模子+汽车”“大模子+智能制造”等。
他默示，我国在“大模子+”限制，有但愿进步好意思国。通过训导大模子生命周期的五个要领，郑纬民合计，面前大模子发展的难点在于算力、存储、时候资本。构开国产万卡系统紧要但尚存贫苦，需要幸免“木桶效应”。
算力、存储、时候资本是大模子开辟经过的难点
郑纬民通过训导大模子生命周期的五个要领，叙述面前大模子发展的难点。他先容，大模子生命周期的五个要领差别是数据取得、数据预处理、模子现实、模子微归拢模子推理。
在数据取得要领，中枢任务是从人人各地蚁合现实数据。尽管蚁合到的文献体积较小，成心于省俭存储空间，但数目极其弘大，达到数百亿个。这些文献需要被存储在硬盘上，并纪录其在硬盘上的具体位置，这个经过被称为源数据处理。由于文献数目巨大，需要多台计较机协同使命以存储、操心这些位置，这对计较机来说是一项挑战。跟着位置数目的增多，查找特定文献的位置变得愈加耗时，因此若何高效地存储和检索数据成为数据取得阶段的关键问题。
其次是数据预处理要领。在这一阶段，蚁合到的数据由于质料狼籍不王人、方法不一致，何况包含告白、重叠内容等不需要的信息，因此需要进行预处理以普及数据质料。预处理包括去除重叠内容、告白等，以确保数据质料的提高梗概带来更好的现实限度。预处理经过出奇复杂，据统计，在GPT4的现实经过中，预处理占据了一半的时候，成为现实效力的瓶颈。若何提高预处理的速率，是大数据处理中的一个难题。
第三阶段是模子现实。这一阶段需要多数的算力和存储空间，最终得到基础大模子，濒临的问题宽绰。举例，若是在现实经过中硬件出现故障，就需要再行初始现实。为了幸免这种情况，不错在现实到一定时候后主动暂停，纪录那时的硬件和软件环境，以便在故障发生后梗概从纪录的点不竭现实，而不是重新初始。关联词，关于大模子来说，现实数据量巨大，主动保存数据到硬盘可能需要数小时，这会导致效力低下。因此，若何裁汰这也曾过，使其在10到20分钟内完成，是现实阶段需要处置的问题。
第四阶段是模子微调。基础大模子天然已经现实完成，但若要欺诈于特定限制，如医疗，还需要进一步的现实。微调是在基础大模子的基础上，针对特定限制的数据进行的第二次现实。举例，基础大模子现实数据中病院的数据量太少，因此需要在基础大模子的基础上进行微调，以符合病院的需求。这个经过不错不竭细分，举例，不错针对B超数据进行第三次现实，以得到额外用于B超的模子。微调实质上是在基础大模子的基础上，阐发不同限制的需求酿成限制、行业大模子。
终末是模子推理阶段，这是模子实质欺诈的经过。推理阶段雷同需要多数的算力和存储，何况耗时较长。悉数这个词大模子的开辟经过都需要推敲到算力和存储的需求，以实时候资本。
构开国产万卡系统应幸免“木桶效应”
谈到产业期待，郑纬民院士默示，构开国产万卡系统（由一万张及以上的加快卡，包括GPU、TPU尽头他专用AI加快芯片，构成的高性能计较系统）很紧要。当今，他乡卡、异构卡现实恶果较差，资金有限的公司暂时不要推敲，资金充裕的公司不错尝试。
领先，万卡系统的紧要性显而易见，咱们都相配但愿梗概领有这么的系统，但当今的发展气象并不睬思，达成起来出奇贫苦。构开国产万卡系统不仅紧要，而且难度很大。由于外部供应受限，咱们紧要需要确立我方的万卡系统，尽管这是一个坚苦的任务。对万卡系统而言，所谓的“好”，指的是一朝建成，梗概被庸俗接纳并合计好用，但要达到这么的联想相配具有挑战性。
当今，咱们构建的卡系统用户接纳度若何？举例，第一块卡来自A公司，第二块来自B公司，第三块来自C公司。当这些卡一齐使用时，使用的恶果取决于最差的那张卡。咱们应该幸免这种组合方式，提议减少数目，深远筹议，幸免“木桶效应”。1000个旧CPU和1000个新CPU组合使用时，性能致使还不如单独使用2000个旧CPU，咱们为什么要这么作念呢？
其次，他乡卡和异构卡在现实中的恶果相配差，当今不提议推敲。异构卡和他乡卡的策动现实恶果并不睬思。在异构卡的情况下，问题变得愈加复杂。即使是静态情况下足球投注app，咱们也不将它们组合使用，中国东谈主和好意思国东谈主都不这么作念，因为不合算。咱们所说的策动现实，以及他乡卡的问题，更是难上加难。举例，数据从北京传输到贵州可能需要5天时候，而贵州处理完限度再发送到上海又需要5天，这若何达成？因此，异构卡和他乡卡的现实恶果欠安。资金有限的公司暂时不要推敲，资金充裕的公司不错尝试。