问题
情报界(IC)将新兴技术整合到全源分析中的能力和速度如何,对于其产生及时、相关和准确的战略见解以及维持决策者相对有能力的竞争对手的决策优势的能力至关重要。
人工智能(AI)和相关技术无法复制制定策略分析的所有复杂性,但可以自动化、增强和启用分析过程的关键部分,并可以用于解锁新见解以为分析判断提供依据。
人工智能可以帮助分析师简化和解释指数级增长的情报数据。借助更少的任务,更好的数据和机器衍生的见解,分析师将拥有更多的战略带宽来运用他们的专业知识并为决策者提供高级分析。
为了利用先进技术,IC分析人员必须克服基础数据,算法以及最终分析人员自身的诸多挑战,障碍和局限性。
IC领导者和利益相关者(政策制定者,国会,技术和研究部门)必须为分析人员提供技术和培训,以使其今天蓬勃发展,同时为未来的成功奠定数字基础,机构优先事项和文化规范。
介绍
如果美国现在投资于技术改造,那么年的情报分析师将能够怀着怀疑甚至可怜的眼光回顾年的分析师。借助世界领先的AI,先进的数据分析和无限的云计算能力,分析师将保持对目标运营环境的几乎持续的了解。它们将在从开放源代码到高度分类的整个信息频谱中快速显示,融合,可视化并处理高质量数据。他们将为他们的保单客户提供高层次,数据丰富的快速见解。分析师将对他们的前任对技术的临时采用不屑一顾,而过时的“读,写,思考”分析过程则是与大数据的速度和规模不符的过去时代的遗物。
年的分析师既没有时间也没有时间去思考这个看似梦幻般的未来。随着数据呈指数增长,其处理数据的能力略有增长。他们的监视器充满了多个智能队列,孤立的共享驱动器,手动管理的电子表格和数据库以及纠错不解的.kmz文件,没有用于合成数据的界面。现在,提供给他们的众多新工具和“AI解决方案”使他们不知所措,而其实用性和战略分析适用性使他们不知所措。由于客户需求和时间表不懈,分析师默认使用他们的一小部分受信任的隔离消息源和经过时间考验的交易工具来收集其证据,并提供或多或少按时提供的“足够好”的情报产品。
尽管当前的局面不那么暗淡,而未来的优化可能不如上述那样,但年的IC分析师仍落后于技术曲线。数据和破坏性技术的爆炸式增长,快速发展和新的全球威胁的出现以及决策者决策周期的加速可能会破坏情报分析过程。IC将先进技术集成到全源分析中的方式和速度如何,对于其在未来情报环境中竞争以及交付及时,准确和相关分析产品的能力至关重要。
在设想和发展面向未来的分析师的同时,IC可以并且必须利用新兴技术来增强当今的分析师能力。在其三阶段研究的第二部分中,CSIS技术和情报工作组探索了AI1及其子集机器学习(ML)、2云计算、3和数据分析等技术如何实现情报分析。在研究的第一阶段(专注于情报收集)的基础上,第二阶段的核心研究问题是战略情报分析中新兴技术的机遇和局限性?为此,工作队召集了来自集成电路,技术,政策和研究领域的利益相关者和专家进行了一系列讨论。
该CSIS研究摘要总结了工作组第二阶段的主要发现。简要介绍从研究将技术集成到分析过程的近期方法开始。然后评估将AI和其他技术集成到战略分析中的主要障碍和局限性。简介的结尾部分探讨了技术和分析师将为决策者提供最大价值的地方,以及对构建未来集成电路的影响。
机会:创造战略带宽
正如ODNIAIM计划所描述的那样,“IC的工作”是“分析数据,连接不同的数据集,对数据应用上下文,从数据中推断出含义,并最终根据所有可用数据做出分析判断。”4然而,今天的分析师面临的问题是,“无论是通过收集还是公开获得的信息,生成数据的速度都呈指数级增长,而且很久以前已经超出了我们理解数据或寻找最相关数据的集体能力。做出分析判断。”如果分析师无法处理,吸收和整合正确的数据,他们就无法将其转变为对客户而言连贯,有见地和令人信服的分析。
人工智能和相关技术无法复制制定战略分析的所有复杂性,但可以自动化,增强和启用流程的关键部分,并可以用来解锁新见解,从而为分析判断提供依据。这些技术可以帮助优化情报流,自动化平凡而又至关重要的处理任务,增强分析师的判断力和批判性思维能力,甚至可以执行某些类型的分析。简而言之,新兴技术可以创造更多战略带宽以便分析师进行战略思考和撰写。有了更多的时间,更少的任务,更好的数据以及产生见解的新方法,分析师将更有能力运用其独特的专业知识,为决策者提供高水平,快速转变,增值的分析。
优化情报流量:进入分析人员“流量”队列的情报量和种类繁多,从传感器数据到信号拦截,再到外交电报再到社交媒体,都远远超出了他们的处理能力。人工智能和分析工具可以帮助优化信息流,并扩大和丰富它们,以在短时间内从更少的数据中获得更多的见解。
优先级:AI功能可以应用于分类,并显示分析人员优先级最高的相关信息和有用信息,从而自动执行耗时的智能流量管理任务。还可以训练5种AI工具来扫描,发现和标记被指定为关键或异常的信息分析师,并在他们的队列中排列优先级,为分析师提供早期指标和新动态警告,以警告决策者。6
个性化:随着支持AI的流量模型学习分析师的偏好,可以使用AI预测工具和推荐算法根据分析师的投资组合和搜索历史来查找和标记感兴趣的报告(例如,“如果您喜欢SIGINT在对手Y上拦截,您可能会喜欢来自X站的HUMINT报告”)。可以磨练7种ML模型,以便随着时间的流逝更好地进行自定义,了解分析师如何遍历数据并重视某些报告属性,从而得出更好的建议。8这样的强化学习可以利用云和协作过滤在团队和机构之间扩展。9
总结:ML的进步,尤其是自然语言处理(NLP)的进步,10可以使算法理解和总结情报流量中越来越大的,越来越多的非结构化文本主体-HUMINT报告,已处理的SIGINT和图像报告,外交电报和开放源代码-修剪和简化流量。11种机器学习工具可以帮助压缩甚至撰写报告摘要,同时识别和聚集感兴趣的主题或实体,使分析人员能够在时间允许的情况下扫描或深入研究报告。12
丰富:人工智能工具不仅可以用来汇总情报,还可以使用自动化工具嵌入时间,位置,演员和事件等元数据来增强和丰富情报。数据充实可以使分析师从每个报告中获取更多信息和上下文,并在所有报告之间建立联系。13,14
人工智能和分析工具可以帮助优化信息流,并扩大和丰富它们,以在短时间内从更少的数据中获得更多的见解。
更加智能的搜索和组织:在管理了分析师的日常流量之后,人工智能工具可以帮助分析师搜索,组织和开始理解相关报告。技术可以帮助分析师提出最佳问题,搜索正确的数据集并自动整理和分类数据。通过自动化平凡而又至关重要的分析任务,并更好地筛选“噪音信号”,人工智能工具可以使分析师更快地从数据结构转变为有意义的数据。
智能查询:借助AI,分析人员可以针对给定的智能问题磨练更智能的问题和搜索算法,在数据集中投射更广泛,更有效的网络,以组合关键但通常不明确的信息(例如,对手X对Y的策略是什么?)。分析人员可以与数据科学家合作,以定制如何标记数据(例如,与“策略”相关的词)以及如何对查询进行排序以使算法能够学习和发起更复杂或间接的搜索。15NLP的应用程序可以根据特定的分析需求来帮助总结和组织搜索结果。16
有针对性的筛选和表面化:借助AI量身定制的查询,分析人员应该能够利用ML工具在庞大和各种数据集之间进行搜索和筛选,并生成流向以显示价值情报。过滤结果后,NLP工具可以帮助检测,提取,汇总和收集优先信息和主题,例如人员,位置,组织和事件。17这种筛选和显示功能可以增强日常流量监控和搜索功能,但在危机时期至关重要,有助于分析师集中情报流,查找最佳数据并快速响应决策者的需求。18
自动化的编排和编目:分析人员收集了正确的情报后,便可以利用ML工具来自动化该情报的编目和组织。分析人员无需手动填充和集成散布在电子表格,数据库和.kmz文件中的数据,而是可以利用NLP生成“知识基础”,从而将报告聚集,整理和填充到分析人员的独特框架和本体中。19知识库可以进一步自动化,以通过新的情报报告不断进行分析和自我更新。20
增强的感官和检测功能:借助经过筛选和精简的情报,人工智能工具和高级分析可以帮助分析师理解它,从而增强他们实时识别和可视化目标环境中的模式,关系和变化的能力。分析师可以利用AI和云来维持对其目标的增强,持久和机器更新的态势感知。
模式和网络:通过将数据集汇总并集成到基于云的数据湖中,可以部署深度学习算法21来查找模式,趋势和关系,这对于分析师手动查看数据来识别是不可能的。22分析人员和数据科学家可以合作开发和指导ML模型,利用神经网络将数据分类,聚类并将其连接到节点和网络中。23将ML应用于图表数据(可以像人,组织,位置和事件一样被连接的数据,作为网络中的节点)可以使分析人员不仅能够识别关系和网络,而且可以推断出对关键影响者和网络本质的判断。联系,揭示新见解或验证初步评估。24
知识可视化:确定模式和网络后,分析人员可以利用AI对其进行可视化,以增强清晰度,含义并将其集成到分析中。AI工具综合了来自多个数据流和分析师内部知识库的数据,可以直观地捕获目标环境中的新情报和变化。25通过分析人员友好的界面,分析人员可以以引人注目和可操纵的格式“查看”其情报,并将其集成到面向消费者的创意产品中。
增强的态势感知能力:AI和数据可视化可以使分析师最终维护多个领域的对手活动的近乎实时的画面,从而提供与操作环境变化保持一致的通用操作画面(COP)。在一个界面中自动化和协调来自各种传感器,收集流和开放源代码情报(OSINT)的数据显示,可使分析人员捕获和监视新活动的信号和数据,并建立常规和正常情况的模式和基线。随着时间的推移,改进的COP可以对美国,友好,中立和敌对的活动进行全面,动态的评估,并为决策者提供持续的变化评估。
检测异常和增量变化:当分析人员和机器团队确定对手活动的基准和期望时,人工智能工具可以发现异常行为,并检测出微弱但重要的信号和偏差,以标记和直接进行分析。通过将分析性“绊网”集成到监视框架中,分析人员可以利用AI实时监视有意义的增量变化,否则这些变化将在日常情报流失中丢失,并在以后的战略意外和情报失败中达到高潮。
卸载分析和利用OSINT:AI工具不仅可以自动化和增强处理和有意义的分析任务,还可以执行某些类型的分析。IC分析人员可以利用这些工具以及OSINT日益增长的可用性,质量和相关性来生成输入和机器派生的见解进行分析,以及分担或外包由机器更好或更好完成的分析工作。
地缘政治和战场更新:要求分析师制作日常“情报”产品,以使决策者了解冲突地区的政治和军事发展情况,这些只是媒体和其他OSINT报告的摘要,归因于机密收集的滞后。分析师可以利用AI(尤其是NLP)来剔除相同的数据,总结发现并为分析师的更新,微调和其他环境生成书面摘要。26
稳定性和危机监控:分析人员可以利用支持AI的数据挖掘,情感分析和地理位置工具来帮助监控和预测破坏性事件(从大规模抗议活动到大流行病爆发),以预警潜在的危机和不稳定状况。当与数据筛选,可视化和NLP外来翻译工具结合使用时,先进的OSINT功能可以为分析人员提供快速准确的全球闪点的初步评估,以及将分类信息引向何处的关键指标。27
政治和经济预测:在IC的绩效跟踪记录复杂且比较优势不明确的领域,例如预测分析以及长期的地缘政治和经济预测,高级OSINT可以补充甚至替代全源分析师。28分析人员可以利用他们对对手和机器建模的历史性和机密知识以及计算能力来进行复杂的情景分析,从而确定影响力大但以前无法预见的情景和预测。
完善分析线:当分析人员建立分析线,收集关键证据并形成初步判断时,他们可以利用云,人工智能和数据分析来针对机器派生的和IC范围的见解来完善和测试分析。尽管无法复制分析师的认知,背景知识和批判性思维,但AI可以通过显示相反的数据,测量历史准确性并提出替代假设来测试和加强其分析。
扩展的智能协作:云和AI工具可以使分析师从共享和开发数据集和算法到共同创作产品,在分析过程中从头到尾更有效地进行协调和协作。29位分析师可以重新考虑将协调从简单的产品审查转变为扩展智能的协作过程,从而利用分散的人类专业知识和机器力量来产生见解。30合作不仅可以扩展到整个美国情报中心,还可以扩展到与外国联络伙伴的合作。
测试分析线:在建立评估时,分析师可以使用AI和高级分析来针对大数据和算法得出的结果测试假设,假设和初步判断。佐证可以加强分析思路,而另一些发现会促使分析师重新审视他们的证据,逻辑和结论。随着对算法的信心增强,分析人员可以使用机器得出的发现,不仅可以审查他们的分析,还可以利用来自数据的新见解来提供信息。
克服分析师的偏见:机器知识和对过去分析路线,源准确性和竞争假设的判断,可以使分析过程更加严格,同时帮助分析师应对偏见和集体思考。人工智能可能会浮现异常,被低估和反补贴的报告,即认为信任少量,零散的来源基础的分析师可能会错过或打折的报道。31矛盾分析可以帮助分析师克服对既定分析体系的确认和偏见,并提高分析师的信心水平的透明度。32
虽然无法复制分析师的认知,背景知识和批判性思维,但AI可以通过显示相反的数据,测量历史准确性和提出替代假设来测试和加强其分析。
支持分析学科和任务:可以直接应用AI和高级分析并将其集成到核心分析学科和任务中。这些技术可以为反恐(CT),军事和政治分析以及科学,技术和信息战分析中长期存在的贸易手段提供信息并增强其重要性,而这种分析的重要性正在迅速提高。
目标和网络分析:AI,数据分析和情报融合工具可以实现用于目标行动的高级网络分析,以及对CT和其他行动情报至关重要的“大海捞针”分析异常检测。机器学习和图形分析可以增强任何以网络为中心的分析任务,例如打击武器采购和扩散,非法贩运,逃避制裁和跨国犯罪。
军事分析:AI和多INT融合与可视化工具可以使军事分析员建立外国军队的动态战役并进行近实时战斗跟踪,从而增强对敌人的战略能力和当前行动的见解,包括秘密行动和不定期的战争活动。33AI和云可以推动先进,更逼真的战争游戏和模拟。深度学习和NLP可以将有关对手决策变量的各种数据集(从地理空间和后勤数据到政治情报和军事理论)整合到一起,并整合到决策模型和行动方案中。34先进的模拟和建模可以增强未来情景的战争游戏,而且还可以对对手的近期行为和行动方针进行日常评估。
政治和领导力分析:机器学习,图形分析和数据可视化工具可以帮助政治分析员构建和理解影响力网络,“内部圈子”以及外国政府领导人的决策过程。情绪分析的进步可以使分析师更好地预测政治趋势和影响外国决策的影响者,而个人属性建模可以帮助预测领导人对美国各种政策的潜在反应。35
科学与技术(S&T)分析:分析人员长期以来一直在分析外国武器系统和国防工业,因此在可预见的将来,了解外国S&T创新以及将其整合到军事和情报任务中将是IC分析和政策客户的头等大事。随着IC分析人员变得更加知识渊博,并且善于运用AI和其他新兴技术,他们的专业知识可以为攻击者的S&T计划,意图,能力和威胁提供更深刻的见解和分析。技术素养对于评估外国网络,信息不实和影响力活动以及下一代技术(如生物技术和量子计算)的影响至关重要。
限制和采用限制
尽管对于分析人员来说,人工智能和相关技术的好处可能是巨大的,但在采用这些工具并将其应用于全源分析时,IC面临着几个主要障碍和局限性。工作队第一阶段认为阻碍情报收集和处理任务的技术获取,数字基础架构和数据架构面临的广泛挑战也将影响分析任务。但是结构性障碍既不是唯一的障碍,也不是主要的障碍。与新兴技术的分析采用不同的是,这些技术在满足分析人员的工艺水平和可解释性标准方面存在自身的局限性,以及分析人员和机构对于传统情报和分析方法的文化和制度偏爱。
捕获和集成数据:准确而有见地的AI应用需要捕获,清理和整理正确的数据。潜在相关情报和数据的庞大数量甚至可能超过大多数技术支持的分析师进行处理,过滤和吸收的能力。数据的利用将进一步复杂化,这是标准化和集成最佳数据集的挑战,这些数据集既是通过分类手段收集的,也是从开源中浮现出来的。
与数据保持同步:智能和数据处理工具的IC集成的速度和规模必须与智能和数据的数量和多样性的增长保持同步。即使通过支持AI的优化和精简,由5G和IoT设备加速的传感器,情报流和OSINT数据的激增仍可能淹没分析师的处理能力。无法捕获和分析实时数据将使IC分析人员在向决策者提供态势感知方面处于落后状态。
集成数据:分析人员最好的AI应用程序可以在训练算法和获得见解中利用分类数据和OSINT数据,但是不兼容的体系结构和安全性障碍可能会阻碍“低端”/“高端”数据集成。连同数据一起,在开源上磨练的ML算法和模型可能会面临类似的障碍,这些障碍将被迁移到分类系统中并集成到分析工作流中。
标记数据:最佳的AI应用程序还需要大量数据,而这些数据又需要大量的标记和标记,这是一个繁琐,耗时且仍主要是人工的任务。36与私营部门可以众包并采用“零工经济”标签的私营部门不同,IC的分类数据集要求内部进行标记,并且大多数情况下应由已清理的分析师和承包商手动进行。尽管在短期内也许足够了,但是随着数据的持续增长,手动标记和标签将变得站不住脚。37
算法的局限性:分析取决于严格的技巧和对用于得出结论的逻辑,证据,假设和推论的清晰解释和推理。战略分析的复杂性,透明度和情报保证的标准和要求,以及分析过程和性能建模的固有挑战,将把当前的AI功能应用于分析工作流将产生理论和实践上的限制。
战略建模:战略分析的复杂技巧和认知技能天生就难以定义,标准化,复制和建模,从而为AI应用程序创建了实际限制。情境化和认识到新情报的含义,权衡并连接数据以形成情报图景,以逻辑和说服力将情报组织到论证和评估中—分析过程是艺术与科学,标准化的贸易手段和个人启发法的结合,以及从硬性得出的判断数据和演绎推理,以及文化专业知识和分析直觉随着时间的推移而磨练。如果无法数字化定义分析任务,则应用AI的能力将受到限制。38
偏见:从AI产生见解需要分析师帮助塑造,磨练和引导算法和模型,但分析师在如何概念化智能问题,设计模型以及选择数据输入方面引入了偏见,导致偏见且可能不准确。数据固有的偏差,模型的使用方式以及它们对结论和置信度的影响的透明度至关重要,但客户可能不容易理解。39
可解释性:要使用源自AI的发现,分析人员将需要了解用于生成它们的算法和模型的逻辑,偏见,假设和推论-可能知道或可能不知道。许多最复杂的AI应用程序和机器洞察力都来自“黑匣子”算法,在这些算法中,即使不是不可能定义的,机器逻辑和流程也很难。证据链,使用AI的位置和方式以及有效性条件的缺乏透明度,意味着机器的发现将是不可信且无法使用的。40
真实性:分析人员必须继续评估智力的质量,准确性和相关性,同时学习如何衡量一旦被视为理所当然的新因素:真实性。欺骗技术使算法误分类为错误的数据,以及使用生成的对抗性网络41创建伪造的分类和开放源数据的深造,可能会引起分析师的困惑,从而导致分析不善和决策错误。42随着对手越来越擅长于快速,大规模地更改数据和开展针对性的虚假宣传活动,确保数据和情报的真实性只会变得更加困难。
安全性:来自敌对外国情报服务的分析师也将面临有针对性的对抗性AI努力,这些服务旨在渗透和破坏AI系统,从而使分析人员对AI工具和结果充满信心。急于采用AI可能会牺牲严格的AI安全标准,协议和测试要求,从而造成从一系列“反AI”威胁的脆弱性,从注入AI模型的“中毒”数据到完全被黑客入侵和操纵的系统。43即使对手无法获得这样的访问权限,也可以说服分析人员说服他们的AI遭到破坏并且无法使用,也可以达到同样的效果。44
对变化的分析厌恶:尽管技术障碍是重大而真实的,但采用AI的最大障碍可能是分析师自己。机构,官僚和文化偏好深深地嵌入在分析社区中,并且偏向于经过时间考验的贸易技巧和技术,它们被视为全球黄金标准。对数字敏锐度的投资不足,AI和OSINT任务价值的不确定性以及对风险和变革的文化厌恶甚至可能阻碍最创新的分析师和部门将新兴技术集成到他们的任务中。
数字素养:分析师将需要基本的数字技能,以有效地在分析中利用AI和分析工具,并向数字化程度较低的政策客户解释AI衍生的发现。要开发这些技能,分析人员不仅需要专门的培训,还需要重视和激励它的支持性领导者和管理人员。但是,机构负责人将需要在数字能力方面的投资与传统的技术,语言和其他针对特定地区的培训之间取得平衡,这些培训对于IC的分析优势也仍然至关重要。
官僚抑制措施:人工智能投资需要多年的承诺才能通过采用和整合,了解社会资本的管理支出以获取机构支持,以及领导者接受风险和偶然的失败。但是,管理人员通常只能担任2-3年的职位,并且可能不愿将他们已经紧张的时间和资源用于新技术,而这些技术和新技术却带来不确定的任务回报和失败的机会,尤其是如果他们的IC领导者和监督机构没有这样做激励这种冒险。
使命价值:如果分析人员和管理人员没有从技术中获得明显且可观的“任务收益”,那么培训,激励措施和领导者支持仍可能不足以激发技术的采用。洞察力和生产力的边际收益可能无法证明获得AI和分析能力所需的时间,费用和机会成本是合理的。可能还会向分析师提供太多的技术工具,以至于看不到任何工具的价值,尤其是那些没有专门为满足其独特的分析需求而专门设计和定制的工具。对传统手工艺品有信任和信心的分析家更倾向于抛弃不适合的技术,而不是遵循它们。
信任非传统:利用AI功能需要将OSINT视为重要的分析输入,并学习获得对机器衍生结果的信任。阻碍这种接受的是IC偏向于分类报告,以形成判断,对OSINT的怀疑(仅随着深造和虚假信息而增长)作为诊断数据,对AI安全的