Open Source Intelligence for National Security: The Art of the Possible
开源情报与可能性的艺术
引言
- Paul Kolbe 介绍自己，作为哈佛肯尼迪政府学院贝尔弗中心情报项目的主任，欢迎大家参加关于开源情报的讨论。
情报收集的历史变迁
- 过去，情报收集主要由政府负责，使用昂贵且复杂的资源进行秘密分析，以保护信息来源和方法。
- 如今，每天有80亿人生成大量数据，这些数据被组织精确记录并收集，用于商业分析和人口控制。
开源情报的发展
- 大量公开可获取的信息，如果经过分析，可以提供以前只能通过高风险、昂贵的方法获得的深刻见解。
- 本次讨论将探讨这一领域及行业的发展，包括如何利用这些信息帮助政府、企业、媒体和非政府组织等。
会议安排与参与者
- Maria Robson-Morrow 感谢参与者，并说明此次活动是有记录的，但禁止未经授权录音或分发内容。
- 与会者来自不同领域，包括私营部门、学术界和政府，他们在思考如何有效利用丰富的信息资源。
演讲者介绍与主题讨论
- Kristen Wood 表示很荣幸能参与此次活动，并介绍了多家在各自领域内做出贡献的公司，包括非营利组织和商业企业。
C4ADS的工作与GNSS欺骗活动
C4ADS简介
- Varun Vira是C4ADS的首席运营官，曾担任分析主管，负责多个非法系统的项目和调查，包括毒品贩运、资产追踪、野生动物追踪和冲突融资。
- C4ADS成立于公开可用信息（PAI）时代，致力于利用这些信息来检测对手的GNSS和GPS欺骗活动。
PAI的重要性
- 公开可用信息在理解全球物流功能方面具有强大力量，可以帮助识别并干扰非法活动。
- 凭借对全球经济及其交叉点的理解，C4ADS认为几乎所有挑战都可以通过某种形式的PAI解决方案来监测和干扰。
C4ADS的使命与能力
- C4ADS是一家位于华盛顿特区的非营利组织，专注于打击跨国威胁网络。
- 该组织结合人员、数据和技术构建调查能力，以支持政府进行有效行动。
GNSS欺骗概述
- GNSS欺骗是一个新兴的问题，它涉及到操纵定位、导航和时间数据，这些数据通常以未加密形式传输。
- 此类操纵可能导致严重后果，例如误导武器攻击目标或影响股票市场交易。
项目启动与研究方法
- C4ADS开始了一个项目，以检测俄罗斯在黑海地区的远程欺骗活动，并使用开放源信息进行研究。
俄罗斯海岸的GPS干扰活动调查
船只异常行为观察
- 观察到一艘油轮在俄罗斯Gelendzhik沿海地区似乎跳跃到陆地上，显示出不寻常的活动。
- 通过叠加卫星图像，发现该船只的信号似乎被伪装成位于机场跑道中间，这引发了进一步调查的兴趣。
数据异常与分析
- 为了确认是否为数据故障，研究人员围绕机场绘制边界框，并寻找其他船只的AAS数据，以验证是否有类似情况。
- 在同一天，同一时间内，发现多艘船只也显示出相似的活动模式，表明这种现象并非孤立事件。
扩大调查范围
- 分析师们提取了一年内所有在俄罗斯附近显示GPS位置指向某个机场的船只传输路径，以确定这种干扰是否更为普遍。
- 使用Palantir软件分析结果后，发现多个区域，包括索契周围，有大量船只被伪装至几个机场。
干扰源追踪
- 根据时间序列分析信号关闭和开启的时机，推测这些干扰是手动控制而非自动系统。
- 开始进行视线计算，因为GPS伪装需要从发射器直接看到目标船只，从而识别可能的位置。
确定发射器位置
- 经过分析，仅有一两个地点能够覆盖98%以上受干扰船只的视线，其中一个地点显得尤为重要。
- 调查发现，该地点附近土地归FSB（联邦安全局）所有，并且存在复杂的壳公司结构，与高级官员有关联。
最终发现与结论
- 卫星图像显示该设施有无线电天线等设备，很可能是干扰源。最终确认该设施是普京的一座豪华宫殿。
战争中的移动系统与电子战
俄罗斯的电子战活动
- 当前在乌克兰出现了大量的移动作战系统，这些系统与美国最近捕获并返回的设备相似。
- 使用ADS-B数据（飞机的应答器）追踪俄罗斯图波列夫214空军机队，显示出其飞行轨迹与干扰活动区域密切相关。
- 观察到伊朗在波斯湾也有类似的干扰活动，表明其他对手国家也在进行电子战。
干扰活动的重要性
- 在敏感时刻，例如油轮被扣押时，周围船只显示出干扰活动，这可能是为了制造进入伊朗领海的借口。
- 通过共享信息，与多个合作伙伴合作，可以获得更多关于船只GPS信息的数据。
中国地区的特殊情况
- 一位船长报告称，在上海附近看到许多干扰活动，进一步调查发现这些活动集中在几个中国海军基地附近。
- 在中国观察到一种新型圆形干扰行为，围绕一个废弃烟囱旋转，这种现象尚未得到解释。
PAI数据的重要性
- PAI（公开可获取的信息）提供独特优势，有多种开放的数据源可供使用，不仅限于单一信息来源。
- 整合不同类型的数据，如位置数据、运输数据和社交媒体信息，以构建综合视图，是当前分析的重要方法。
人工智能与分析师角色
- 数据和技术都已可用，但需要具备吸收和整合这些信息的能力。熟练的分析师仍然是关键，因为人类判断对于洞察和方法论至关重要。
谁是Altana？
Altana的愿景与使命
- Altana是一家位于纽约的初创公司，创始人在供应链数据领域有着丰富的经验。其目标是实现全球化2.0，以应对过去75年全球化1.0所导致的生产系统崩溃。
- Altana旨在恢复全球商业网络中的透明度、可见性、韧性和信任，尤其是在当前“供应链问题”成为常态的背景下。
Atlas知识图谱
- Altana的核心价值在于其知识图谱——Atlas，代表数亿家公司和设施以及数十亿次货物运输，通过独特的数据访问填补智能空白。
- Atlas利用机器学习转化数据，创建一个融合视角，使用户能够更好地理解全球商业环境。
如何利用Atlas进行情报分析
情报分析案例研究
- Atlas被用于支持政府分析师发现、扩展和利用俄罗斯的扩散网络，以识别新威胁和线索。
- 分析流程从任务开始，围绕已知与俄罗斯公司有业务往来的企业展开调查。
关键情报问题
- 在调查中回答四个关键问题：能否使用Atlas验证信息？能否开发已知公司的网络？能否识别与这些公司直接相关的威胁联系？能否通过光谱分析定义生活模式以识别外部威胁联系？
具体案例分析：Riol Chemie与TD Chimmed
贸易关系确认
- Atlas证实了Riol Chemie与TD Chimmed之间的贸易关系，并揭示了近2500次双用途商品运输记录。
- Riol Chemie由多名俄罗斯公民拥有并管理，其管理者Vladimir Kulagin与俄罗斯联邦科学与高等教育部有关联。
威胁网络识别
- 进一步探索Atlas后，发现了多个潜在威胁指标，包括一批列入澳大利亚集团双用途化学武器前体清单的乙基二氟磷酸酯，这种物质被认为是Novichok神经毒剂的前体。
扩展分析与新线索
新兴公司及调查进展
- 一家名为Acros Organics的新公司向TD Chimmed发送了相关货物，同时还发现其他两家具有国有背景的俄罗斯公司也收到了类似货物。
- 通过Atlas，我们确定了Rochester Chemical LLC、Americargo Express LLC和Global Chemical Co等公司直接向TD Chimmed及其他俄罗斯公司发送商品。
方法论总结
地缘政治评估与金融AI的结合
HS编码及其应用
- HS（协调系统）编码是一种标准化的数值方法，用于对贸易产品进行分类。
- 该方法论用于从BIS实体名单中获取自身实体，定义基于地理、产品类型、运输数量和贸易方向的签名。
- 算法通过程序化比较候选者的签名，识别出新的潜在目标，并为未来的分析调查提供线索。
3AI团队介绍
- Kristen感谢Amanda的精彩演讲，并引入3AI团队的Jacob Ayres-Thompson和Hassan Salamony。
- Jacob拥有24年的数据科学、精算咨询和股权交易经验，是Jess Group投资数据科学团队负责人。
- Hassan同样有24年全球市场和金融经验，曾任高盛国际欧洲全球市场部董事总经理。
3AI公司的核心业务
- Hassan介绍了3AI公司的使命，即利用金融AI进行公司评估，提供投资管理者所需的洞察与分析。
- 公司使用深度广泛的AI因子框架来分析公司，并构建多种投资指数，以便更好地理解国家层面的动态。
分析框架与方法论
- 通过深入了解公司的组成部分，可以建立自下而上的细致分析，从而推导出国家层面的重要见解。
- 这种方法使得在不同地区（如受战争制裁影响区域）获得有价值的信息成为可能。
因子框架与数据处理
- 3AI开发了326个因子，用于全面研究公司的各个方面，包括会计、技术处理和信用风险模型等。
- 利用公开和商业可用的数据集，以及超过18,000份研究分析师报告，实现对公司深度剖析。
市场覆盖与竞争优势
- 在覆盖超过20,000家公司的基础上，3AI能够深入分析全球99%的股票市场，为客户提供独特视角。
公司表现预测的能力
识别最佳与最差公司的能力
- 我们能够预测公司的表现，包括哪些公司可能会表现良好，哪些公司可能会表现不佳。这种能力在时间上得到了持续验证。
- 我们的分析框架使我们能够深入研究国家层面的经济前景，并理解各国的展望。
机器学习与分析师的比较
- 我们的机器学习应用程序在性能上超越了传统分析师，因为它可以处理大量数据并从中学习。
- 机器学习是一种条件概率分析工具，能够结合多种信息源进行深度测试和预测。
对俄罗斯市场的洞察
- 我们探讨了制裁对俄罗斯的影响，以及战争对其经济造成的后果。
- 股票市场反映了全球投资社区对未来财富创造的预期，俄罗斯入侵乌克兰时市场已经出现下滑。
AI模型在评估中的应用
- 我们使用AI模型评估俄罗斯股票市场，发现战争开始前我们的评估并未显著下降。
俄罗斯股票市场的负阿尔法现象
- 分析显示，俄罗斯股票市场的预期回报呈现出负阿尔法，即相较于其他股票表现不佳。
- 投资社区观察到，俄罗斯企业商业模型的不确定性对其业绩影响更大，而非信用风险。
商业模型的不确定性
- 机器学习表明，俄罗斯公司在业务模式上进行了调整，尽管仍能运营，但面临新的交易伙伴，如中国和土耳其。
- 不确定性对商业模型造成了负面影响，这种情况在中国也有所体现，可能与持续的封锁措施有关。
人类贩卖网络的发现
Samuel Curet及其背景
- Samuel Curet是Zero Trafficking公司的首席运营官，他曾是一名海军情报官员和国际房地产律师。
- Zero Trafficking致力于打击人类贩卖及相关犯罪网络，通过在线追踪组织贩卖者来实现目标。
人类贩卖问题的重要性
- 人类贩卖是一个全球性的普遍问题，自2000年《反人贩法》实施以来，美国在打击此犯罪方面做出了重大努力，但问题依然严重。
- 过度依赖受害者证词限制了调查进展，因此需要优先关注人类贩卖网络，以提高起诉率。
开放源智能与人类贩卖
人类贩卖与有组织犯罪的联系
- 人类贩卖是许多有组织犯罪活动之间的关键环节，与数据世界密切相关，不应孤立看待。
- 学术研究支持这一观点，人类贩卖并非独立存在，而是与其他犯罪网络紧密相连。
公共信息的重要性
- 与毒品、洗钱等其他犯罪活动不同，人类贩卖需要在公开网络中进行广告，这为收集开放源智能提供了丰富的数据来源。
人类贩卖与广告的关系
政府与私人组织的目标活动
- 左侧提到的活动更频繁地受到政府和私人风险专注组织的关注，这些活动并未将其签名公开，但存在一个共享网络连接它们。
- 买家和卖家在市场中需要相互联系，虽然他们不总是彼此认识，因此需要广告活动来促进交易。
武器贩运与性贩运的对比
- 在武器贩运场景中，由于交易金额高，进行大量尽职调查是合理的，以确保不向政府代理人出售。
- 相较之下，性贩运中的交易规模小，买家希望立即购买，因此不会进行太多尽职调查。
广告中的关键信息
- 广告中包含的信息满足买卖双方的需求，包括联系方式、电话号码、电子邮件地址、实际位置及可用日期和时间等。
- 买家为了降低风险，会发布评论信息以防止在交易中被欺诈，从而形成了一个公开可用的人口贩卖市场数据集。
数据收集与分析步骤
- 不同地区有不同论坛供买卖双方互动，但数据在各个地方都是普遍存在的。
- 第一步是识别广告背后的组织，而非独立个人；第二步是判断是否为骗局，以及是否会发生实际见面。
进一步的数据挖掘
- 收集所有联系信息后，通过公共信息扩展这些数据，包括关联资料、位置及生活模式信息等。
- 在第二步中，我们寻找任何表明广告中的人物不是单独行动的迹象，例如多个女性出现在广告中或多个联系方式分布广泛。
案例研究：按摩业务分析
- 在大凤凰城发现300多家非法按摩业务，其中两家最受客户青睐，并且许多女性在这两家公司之间轮换工作。
人类贩卖网络的调查与分析
位置数据与个人信息收集
- 通过绘制地理围栏，识别出与个人尹黄相关的多个匿名位置信号，这些数据均来自公开的商业数据。
- 尹黄的个人信息广泛在线发布，包括他的军事历史、电话号码、社交媒体账号和电子邮件地址等，显示出他在自我宣传方面的信息量巨大。
生活模式分析
- 尹黄及其妻子频繁往返洛杉矶国际机场，并前往凤凰城的新员工工作地点，表明他们可能涉及非法劳工活动。
- 这种模式符合新女性被引入美国从事非法工作的预期，同时金融交易分散在多个机构，以避免触发可疑交易报告。
扩展调查与其他业务地点
- 调查发现，与该犯罪网络相关的其他商业地点位于佛罗里达州奥兰多，这些水疗中心运营模式类似于凤凰城的两家水疗中心。
- 工作人员流动性大，企业实体不断变更以保持纸面记录轻便，从而掩盖真实活动。
数据监控与旅行路径追踪
- 客户评论监测显示工作人员从凤凰城前往佛罗里达，结合手机定位和租车记录确认了这一行程。
- 整个网络故事揭示了人类贩卖如何与其他威胁网络活动相互关联。
人类贩卖与其他犯罪活动的联系
- 人类贩卖并非孤立存在，而是与许多其他威胁网络活动紧密相连，包括墨西哥库利亚坎和加勒比海游艇公司之间的毒品贸易关系。
反虚假信息技术应用
Mike Spears 的介绍
- Mike Spears 是Faculty AI高级经理，他专注于通过技术解决复杂现实问题，尤其是在国家安全领域。
Faculty AI 的使命
- Faculty AI 是欧洲最有经验的数据科学专家团队，专注于公共部门和国家安全领域的数据科学及人工智能应用。
案例研究：2018年索尔兹伯里的中毒事件
俄罗斯的反应与虚假信息传播
俄罗斯对指控的回应
- 俄罗斯在被指控参与攻击后，首先否认了所有指控，并将责任推回给西方国家。
- 他们开始利用“恐惧症”这一概念，转而指责他国，并向公众灌输各种理论和替代事实，即使这些叙述相互矛盾。
- 在社交媒体上，大约有20到30种不同的叙述迅速传播，从英国情报机构MI6策划阴谋到尤利娅和谢尔盖·斯克里帕尔在索尔兹伯里的药物过量事件。
信息需求与谣言扩散
- 事件发生后的48小时内，公众对信息的渴求极为强烈，这一时期是谣言和虚假信息快速传播的重要时机。
- 英国外交大臣鲍里斯·约翰逊在下议院发表声明，这是首次表明俄罗斯可能涉及此攻击。政府需要全面掌握事实，但也必须迅速行动以反制虚假信息。
反制虚假信息的重要性
三个主要因素
- 限制威胁：早期响应可以限制叙述的传播，与恐怖主义宣传类似，越早处理越有效。
- 信息环境规模：现代互联网高度互联，使得虚假信息能够迅速跨平台传播，形成复杂网络。
- 持续影响：研究显示，即使虚假叙述被揭穿，其影响仍会持续存在，例如关于COVID疫苗的信息。
当前反制措施中的挑战
决策过程中的痛点
- 政府过于依赖第三方提供者，以及手动查看社交媒体内容导致决策缓慢。
- 分析基于静态信息，难以实时监测干预效果，这导致决策延误且可能不准确。
人工智能的双重角色
虚假信息与人工智能
信息传播与反信息平台的构建
目标受众与虚假内容
- 人们试图接触正确的目标受众，这有助于传播信息，同时也提供证据，尤其是关于AI生成的虚假内容，这可能支持某种叙述或成为虚假叙述的基础。
数据驱动决策与技术应用
- 利用开放源数据、自然语言处理技术和机器学习算法，可以加速决策过程，并在更大范围内理解虚假叙述，而不仅仅是逐个帖子分析。
反信息平台的数据基础
- 该平台的数据基础包括社交媒体数据和商业数据集，特别关注社交媒体上已知传播虚假信息的渠道，以确保隐私问题得到妥善处理。
社交媒体数据处理方法
- 从七个社交媒体平台收集的数据被嵌入到一个向量空间中，通过语义搜索来理解相关帖子，从而提高对虚假叙述的准确理解，减少噪音干扰。
威胁评估的方法论
- 威胁评估主要由两个要素组成：规模和严重性。规模关注叙述的传播范围，而严重性则考察语言性质及其是否包含暴力或仇恨言论等特征。
实时监测与案例分析
- 平台能够提供关于特定叙述（如“西方负责破坏北溪管道”）的信息，包括时间段内帖子的数量变化，帮助分析师识别趋势和模式。
协调攻击与机器人检测
- 严重性评估包括四个要素，其中之一是暴力呼吁，另一个是仇恨言论。此外，还需检查是否存在协调行为，如使用机器人账户推动特定叙述。
案例研究：北溪管道事件前后的动态
关于信息传播与数据分析的讨论
信息传播的初期阶段
- 在政府没有正式发布消息的48小时内，谣言和猜测开始蔓延，最终导致对俄罗斯及普京可能参与攻击的怀疑。
- 这一时期被认为是最危险的，因为平台可以帮助提高对正在传播叙事的意识，并识别出潜在由敌对国家支持的信息。
数据分析与反虚假信息
- 利用开放源代码数据和商业数据集，可以快速生成分析报告，以应对虚假信息，这一过程从以前需要几天缩短到几分钟。
- 及时处理流传中的叙事对于防止其造成持久性影响至关重要。
Eric Sapp 的观点与方法
- Eric Sapp介绍了公共民主组织，专注于利用数字商业解决方案来填补数据空白并服务于被低估社区。
- 他强调所有工作都基于同理心，理解每个数字背后都是一个人，这是成功的关键。
数据分析的方法论
- 使用空间、受众和内容三个主要视角进行数据分析，通过将这些元素结合，可以获得更深入的见解。
- 引入时间维度以观察行为变化，从而评估干预措施的效果。
人工智能与多样性
- 团队实施了AI多样性倡议，通过机器学习理解人类需求，从而优化广告和标题创作。
- 所有行为数据均为众包解决方案，团队通过早期发现者提供的信息来推动研究进展。
案例研究与实际应用
如何利用数据应对药物滥用和公共卫生危机
数据驱动的干预措施
- 通过分析城市中的高药物销售和过量死亡点，改变了对阿片类药物的干预方式。强调大数据的重要性，但并不总是需要统一清理所有数据。
- 通过可视化叠加映射未清理的数据，发现Adderall作为阿片成瘾的前兆风险，揭示其与阿片类药物相同的脑部影响。
COVID-19早期识别
- 在2020年3月，通过分析匿名用户在搜索和内容上的变化，提前识别出美国主要疫情爆发，并发现嗅觉丧失是COVID的前兆。
- 一些社区在COVID被广泛认知之前，就已经关注到嗅觉丧失和呼吸急促等症状。
临床试验中的包容性
- 与新奥尔良和巴吞鲁日社区合作，完成了一些首个完全包容性的临床试验，打破了关于低收入群体参与临床试验的偏见。
- 单身母亲通常是育儿资源消费的主力军，她们因信息获取不平等而未能参与临床试验。
反人口贩卖工作
- 在脆弱地区开展反人口贩卖工作，通过识别虚假信息网络来应对相关问题。
- 强调了解这些网络的重要性，以便更好地提供准确的信息，而不是仅仅关注问题本身。
信息传播与公众教育
- 与全国60多个非营利组织合作，通过广告向受虚假信息影响的人群提供更好的答案和信息。
如何应对虚假信息的传播
参与度与虚假信息识别
- 哈佛和麻省理工学院提出了“推动理论”，表明当人们被问及是否能识别虚假信息时，他们分享的可能性会降低。
- 在针对福克斯新闻观众的研究中发现，几乎所有接触到虚假信息的人都是被误导进入这个领域，而非故意为之。
社区互动与反响
- 在处理1月6日委员会工作时，社区的反应非常积极，许多人在Breitbart和InfoEpic Times等网站上表现出极高的互动率。
- 我们没有告诉人们关于1月6日事件应该相信什么，而是提供了让他们自己探索的信息，这成为成功的关键。
竞争分析与市场动态
- 随着我们推广乌克兰正面新闻，Cato Institute突然成为我们的主要竞争者，其广告流量在8月份大幅增加。
- 一些看似基督教团体实际上在吸引军事人员，通过商业和其他信息进行目标定位，从而实现激进化。
广告策略与再营销
- 一些广告商（如Mike Flynn和Clay Clark）通过简单的商业资源吸引退伍军人，并将其引入更深层次的网络。
- 用户输入个人信息后，会被重新营销并最终加入极端主义活动，如“大觉醒”。
信息收集与情报挑战
- Kristen感谢所有小组成员，并强调每位成员在各自领域内所做出的贡献。
- Paul总结道，开放源或商业可用的信息中嵌入任何情报需求，使得情报界面临前所未有的挑战，因为它不再拥有独占权。
未来展望