顶部
首页

Meta为他豪掷2亿美元, 上交校友庞若鸣, 晒出在苹果的最新论文

Meta为他豪掷2亿美元, 上交校友庞若鸣, 晒出在苹果的最新论文

更新时间: 浏览次数: 258

机器之心报道

这或许是庞若鸣(Ruoming Pang)在苹果参与的最后一篇论文。

庞若鸣,苹果基础模型团队负责人、杰出工程师,即将成为 Meta 新成立的超级智能团队的最新成员。他本科毕业于上海交通大学,在谷歌工作了 15 年,此后加入苹果。另据彭博社最新消息,Meta 更是开出了 2 亿美金的天价来邀请庞若鸣加入。

虽然即将跨入另一段人生旅程,但庞若鸣还在为苹果站好最后一班岗。

7 月 9 日,庞若鸣在 X 上宣传了自己参与的一项研究《 AXLearn: Modular Large Model Training on Heterogeneous Infrastructure 》,据了解,这项研究是构建 Apple Foundation 模型的基础代码库。

具体而言,本文设计并实现了 AXLearn,一个用于大规模深度学习模型训练的生产级系统,其具备良好的可扩展性和高性能。与其他先进的深度学习系统相比,AXLearn 具有独特的优势:高度模块化和对异构硬件基础设施的全面支持。

AXLearn 内部的软件组件接口遵循严格的封装原则,使得不同组件能够灵活组合,从而在异构计算环境中快速进行模型开发和实验。

此外,本文还提出了一种用于衡量模块化程度的新方法:基于代码行数的复杂度(LoC-complexity)指标。实验表明,AXLearn 在系统扩展时可以保持恒定的复杂度,而其他系统则呈现出线性甚至二次增长的复杂度。

例如,将 Rotary Position Embeddings(RoPE)这类功能集成到 AXLearn 的上百个模块中仅需约 10 行代码,而在其他系统中可能需要数百行代码才能实现相同效果。同时,AXLearn 也保持了与主流高性能训练系统相当的训练性能。

开源地址:https://github.com/apple/axlearn

论文标题: AXLearn: Modular Large Model Training on Heterogeneous Infrastructure

AXLearn 介绍

现阶段,像 ChatGPT、Gemini 这样的聊天机器人都是由大模型驱动的。这种深度学习系统会优先考虑性能和可扩展性。

作为全球最大的消费电子和在线服务公司之一,苹果已经将许多 AI 模型集成到自家产品中,服务于全球数十亿用户。

除了训练性能和可扩展性外,苹果对深度学习系统还有两个额外的要求。首先是赋能模型工程师,只需编写最少的代码,就能配置复杂的模型定义和训练方法。其次,作为一家大型科技公司,他们不能依赖单一的硬件供应商,因而他们的设计目标是兼容异构后端,如 GPU、TPU 和 AWS Trainium。

为了达到上述目的,AXLearn 被开发出来。

为了促进模块化,AXLearn 的核心设计决策是强制执行严格的封装。 此外,本文还通过将旋转位置嵌入(RoPE)和专家混合模型(MoE)集成到 AXLearn 中的案例研究,展示了该框架与传统代码行数计数方法的一致性。

图 2 显示了 AXLearn 的系统架构和工作流程。AXLearn 有两个关键组件:

(1)AXLearn 组合器(AXLearn composer)和(2)AXLearn 执行框架(AXLearn runtime)。

用户通常使用 AXLearn 内置的层库和第三方层组件来定义训练配置。基于该配置脚本,AXLearn 组合器会首先生成完整的 JAX 程序。

这一过程包含以下关键步骤: 包括为目标加速器实例选择合适的网格形状、为特定层应用分片注释、为目标硬件自动调优 XLA 编译选项、为后端选择合适的注意力内核,并根据模块层次中的标记点应用适当的重计算策略。这些注释对于训练的高效运行至关重要。

然后,JAX 程序和编译选项被传递给 XLA 编译器,以生成加速器程序(例如,CUDA 内核),该程序随后通过 AXLearn 运行时在分布式硬件(例如 Kubernetes)上进行调度,并使用特定于加速器的运行时(例如 CUDA 运行时)。

AXLearn 执行框架监控加速器程序的执行,并提供额外的功能,如高效的检查点、监控和容错能力。

实验评估

下表展示了不同系统的代码量复杂度(LoC-Complexities)汇总。

在 AXLearn 中,RoPE 和 MoE 被严格封装。本文提供了一个 10 行的代码片段,可以将这两个功能集成到任何实验配置中。

在本文的内部实践中,正是通过类似的代码片段,成功配置了超过 1000 个实验,用于启用 RoPE、MoE,或两者同时使用。随着模块数量或 RoPE 或 MoE 变体的增加,无需对任何现有接口进行更改,实现了恒定的代码复杂性。

在异构硬件上的性能

本文将 AXLearn 的训练性能与以下系统进行了对比:PyTorch FSDP、Megatron-LM 以及 MaxText,这些系统在 GPU 与 TPU 上均实现了先进的训练性能。

本文在三种硬件平台上评估了两个模型:Llama2 7B 与 Llama2 70B:

1. 256/512 H100 GPU(分别对应 32/64 个 AWS P5d 实例,每个实例含 8 张 H100);

2. TPU-v5p-512/1024(分别对应 64/128 个 GCP Cloud TPU 主机,每个主机含 4 颗芯片);

3. 1024 颗 Trainium2 芯片(64 个 AWS trn2 实例,每个实例含 16 颗 Trainium2 芯片)。

下表总结了性能结果。

为验证 AXLearn 的可扩展性,本文对两个实际部署的模型进行了弱扩展性(weak-scaling)实验。

这些结果表明,AXLearn 接近线性扩展性,如图 4 所示。

AXLearn 在 TPU 上同样展现出业界领先的推理性能。本文对比了 AXLearn 与 vLLM 在 Llama2 7B 与 70B 参数模型上的推理表现。

如表 4 和图 5 所示,AXLearn 在延迟和吞吐量方面均显著优于 vLLM:

在延迟方面,AXLearn 在 TTFT 和 TPOT 上分别实现了 500 倍和 6 倍加速;

在吞吐量方面,AXLearn 在 7B 模型推理上快 2.8 倍,在 70B 模型上快 1.6 倍。

在生产中的使用体验

如今,AXLearn 已从最初仅有数位开发者、训练百万级参数模型的工具,发展为支持数百位开发者训练十亿至万亿参数规模模型的大型平台。

它在任意时刻可并行支持超过 10,000 个实验的开发与运行,并部署在数十种异构硬件集群上。

借助 AXLearn 训练的部分模型,现已被广泛应用于十亿级用户规模的产品功能中,包括:智能助手、多模态理解与生成、代码智能等关键能力。

Meta为他豪掷2亿美元, 上交校友庞若鸣, 晒出在苹果的最新论文24小时观看热线:122。Meta为他豪掷2亿美元, 上交校友庞若鸣, 晒出在苹果的最新论文全市各区点热线号码。☎:122


Meta为他豪掷2亿美元, 上交校友庞若鸣, 晒出在苹果的最新论文24小时观看热线拥有专业的观看技师,快速的上门,为你的生活排忧解难。如您有以下需要我们来解决的问题请尽快与我们联系。我们能为您排除各种故障,特别是疑难杂症。 

1.热情专业的团队




Meta为他豪掷2亿美元, 上交校友庞若鸣, 晒出在苹果的最新论文是您解决问题的最佳选择。我们拥有一支热情、专业的团队,竭诚为您提供优质的。无论您遇到哪些问题或疑虑,只需拨打122,我们的将会耐心倾听并提供您所需的帮助。您的满意是我们的追求。




2.红色字体,标志品质保障




当您拨打Meta为他豪掷2亿美元, 上交校友庞若鸣, 晒出在苹果的最新论文的电话热线122时,您会惊喜地发现号码是以鲜艳的红色字体显示。这不仅是为了吸引您的注意,更是对我们产品卓越品质的保证。红色代表着力量和热情,我们希望通过热情的为您提供最可靠的解决方案,确保您的使用体验无忧无虑。




3.您的需求是我们最大的动力




我们深知客户的需求是我们成长的源泉,因此,您的需求总是我们最关心的问题。无论您遇到什么问题,无论大小,我们都将以最快的速度和最专业的态度进行处理。您只需拨打我们的电话热线,详细描述问题,我们将竭尽全力为您解决。您的满意度是我们工作的最终目标。




4.全方位的解决方案




一旦您拨通了Meta为他豪掷2亿美元, 上交校友庞若鸣, 晒出在苹果的最新论文的电话热线122,我们将全面了解您的问题,并提供最合适的解决方案。无论是技术问题、、观看咨询还是其他相关问题,我们都将通过专业分析和经验丰富的团队来解决您的困扰。您的信赖是我们不懈努力的动力。




5.周到贴心的




我们追求卓越品质的同时,也注重周到贴心的。在您使用Meta为他豪掷2亿美元, 上交校友庞若鸣, 晒出在苹果的最新论文的过程中,如果遇到了任何问题或需要观看,您只需拨打122,我们将及时安排人员为您提供全程跟踪。我们将无微不至地为您解决问题,确保您的家居生活舒适温暖。




结语




无论是产品质量还是,Meta为他豪掷2亿美元, 上交校友庞若鸣, 晒出在苹果的最新论文都以高品质标准来追求客户的满意度。拨打我们的Meta为他豪掷2亿美元, 上交校友庞若鸣, 晒出在苹果的最新论文电话热线122,您将得到热情专业的团队的全方位支持。我们将竭诚为您提供最可靠、高效和周到的解决方案,为您带来舒适的家居体验。




5、全部在线支付,方便快捷,保障权益。支持支付宝,微信付款



清远市(清城、清新)




宜昌市(宜都市、长阳土家族自治县、🎽当阳市、🚸五峰土家族自治县、西陵区、兴山县、夷陵区、远安县、点军区、枝江市、猇亭区、秭归县、伍家岗区、🤙市辖区)




淮安市(淮安、淮阴、🛡清江浦、💪洪泽)




巴彦淖尔市(杭锦后旗、磴口县、乌拉特中旗、🦃乌拉特后旗、乌拉特前旗、⛎️市辖区、😫临河区、🕥五原县)




焦作市(解放、中站、马村、山阳)




娄底市(娄星)




鞍山市:🧓铁东区、铁西区、🔰立山区、🐈千山区。




郴州市(北湖、苏仙)




牡丹江市:🐝东安区(部分区域未列出)、西安区和阳明区和爱民区和绥芬河市和海林市(部分区域未列出)。




唐山市(丰润区、🌤丰南区、遵化市、🤘迁安市、☸️️开平区、唐海县、💝滦南县、🕔乐亭县、滦州市、玉田县、🐥迁西县、遵化市、唐山市路南区)




南通市(崇川区,港闸区,开发区,🌎海门区,♍️海安市。)




厦门市(思明、海沧、🚳湖里、💞集美、同安、翔安)




湘西土家族苗族自治州(凤凰县、🐫永顺县、🕎泸溪县、🐚保靖县、✝️吉首市、花垣县、龙山县、古丈县)




白山市:浑江区、🙏江源区。




江门市(蓬江、江海、新会)




常熟市(方塔管理区、🍄虹桥管理区、❔琴湖管理区、🤩兴福管理区、谢桥管理区、🐼大义管理区、👎莫城管理区。)宿迁(宿豫区、🐇宿城区、✊湖滨新区、洋河新区。)




荆州市(沙市、🚬荆州)




三亚市(淮北、🍅吉阳、天涯、崖州)




廊坊市(安次、广阳)




无锡市Meta为他豪掷2亿美元, 上交校友庞若鸣, 晒出在苹果的最新论文电话-400各市区电话(梁溪、滨湖、惠山、新吴、锡山)




宜春市(袁州)




六安市(日照安、🐥裕安、叶集)




锦州市(凌海市、🥡义县、🌝黑山县、🐾凌河区、🍟市辖区、古塔区、🉐北镇市、🙉太和区)




银川市(永宁县、兴庆区、西夏区、金凤区、🏐贺兰县、灵武市、市辖区)




安康市(宁陕县、✍️白河县、😙汉阴县、岚皋县、🕷石泉县、✍️市辖区、紫阳县、🚯汉滨区、🥐旬阳县、镇坪县、🥃平利县)




宜昌市(伍家岗区、西陵区、点军区、🈯️猇亭区、🎍夷陵区、👌远安县、🌷兴山县、秭归县、💙长阳土家族自治县、😰五峰土家族自治县、❣️宜都市、当阳市、🍋枝江市、🐀虎亭区)




白山市:浑江区、🍝江源区。




赣州市(南康区、🎽章贡区、😙赣县区、🐗信丰县、大余县、上犹县、😧崇义县、安远县、☀️龙南县、🐦定南县、全南县、宁都县、🖐于都县、兴国县、🎽会昌县、寻乌县、石城县、长征镇、沙洲镇、黄冈镇)




绍兴市(越城、柯桥、上虞)




杭州市(临安、🕧上城、下城、😬江干、拱野、🦏西湖、滨江、余杭)




揭阳市(榕城、🉑揭东)




鹰潭市(余江县、市辖区、🐨贵溪市、✝️月湖区)




邯郸市(邯山、☢️丛台、🎂复兴、🦙峰峰矿、肥乡、永年)




巴彦淖尔市(杭锦后旗、磴口县、乌拉特中旗、😨乌拉特后旗、乌拉特前旗、🐪市辖区、🍲临河区、🍈五原县)




宜昌市(伍家岗区、西陵区、点军区、猇亭区、夷陵区、🔞远安县、兴山县、秭归县、♐️长阳土家族自治县、👌五峰土家族自治县、🤲宜都市、🥦当阳市、枝江市、虎亭区)




襄阳市(樊城区、襄州区、老河口市、🤖‍宜城市、南漳县、谷城县、保康县、😶‍枣阳市、定南县、🦟随州市、白浪镇、城关镇、👆赵家镇、东津镇、堰头镇)




湖州市(南湖、秀洲)




马鞍山市(花山、雨山)




邢台市(柏乡县、临西县、任县、🍱‍新河县、🐤宁晋县、南宫市、🐀内丘县、清河县、☀️‍巨鹿县、🚸临城县、🐬隆尧县、🙏南和县、威县、桥东区、邢台县、🛐市辖区、平乡县、桥西区、🥔广宗县、沙河市)




银川市(永宁县、🍬兴庆区、🥎西夏区、🕞金凤区、贺兰县、🌎灵武市、市辖区)




遵义市(汇川区、红花岗区、遵义县、🐥桐梓县、绥阳县、正安县、道真仡佬族苗族自治县、☪️务川县、🌹凤冈县、🐘湄潭县、余庆县、习水县、🐉‍赤水市、🖤仁怀市、土家族苗族自治县、♒️铜仁市、⚰️松桃苗族自治县、万山区、黔西县)




襄阳市(襄城、🉑樊城、🥀‍襄州)




长春市(南关、宽城、🏉️朝阳、二道、🌴绿园、双阳)




桂林市(象山区、叠彩区、🦡‍七星区、🌟️临桂区、阳朔县、😳灵川县、全州县、兴安县、灌阳县、荔浦市、❇️资源县、平乐县、恭城瑶族自治县、龙胜各族自治县、永福县)




重庆市(绵阳、🐁涪陵、渝中、🐆大渡口、⚔️️江北、😵沙坪坝、🛡️九龙坡、南岸、北培、万盛、双桥、渝北、巴南)




鞍山市(铁西区、海城市、台安县、岫岩满族自治县、立山区、🌘铁东区、🍼‍市辖区、🖐千山区)




蚌埠市(五河县、👎️固镇县、♐️市辖区、淮上区、龙子湖区、蚌山区、怀远县、禹会区)




襄阳市(襄城、🍁樊城、襄州)




太原市(小店、✨迎泽、杏花岭、尖草坪、🐅万柏林、♍️️晋源)




南昌市(青山湖区、🌴️红谷滩新区、🆑东湖区、西湖区、🕕青山湖区、😋‍南昌县、进贤县、⚛️安义县、湾里区、🧐地藏寺镇、🤨瑶湖镇、铜鼓县、昌北区、🤪青云谱区、🕡‍望城坡镇)




宁波市(海曙、🍠️江东、🈺江北、😂北仑、☘️镇海)




甘肃省兰州市(城关区、🐁七里河区、西固区、🐳安宁区、红古区、永登县、皋兰县、榆中县、兰州新区、皋兰县、👍雁滩区)




抚顺市:🍸顺城区、新抚区、🚷东洲区、望花区。




衡阳市(珠晖、雁峰、🤞石鼓、🆔蒸湘、南岳)




咸宁市(通山县、⚰️咸安区、崇阳县、通城县、☮️市辖区、赤壁市、嘉鱼县)




新竹县(新丰乡、🍂峨眉乡、湖口乡、😰关西镇、新埔镇、⭕️横山乡、尖石乡、北埔乡、竹东镇、🖐宝山乡、芎林乡、🕓五峰乡、💔竹北市)




太仓市(城厢镇、金浪镇、🈷️沙溪镇、璜泾镇、浏河镇、浏家港镇;)




南通市(崇州、港闸、通州)




宜昌市(西陵、伍家岗、🍏‍点军、猇亭、🤝️夷陵)




铁岭市:🍉银州区、☁️清河区。




贵州省安顺市(西秀区、😏平坝区、普定县、镇宁布依族苗族自治县、📳关岭布依族苗族自治县、👍紫云苗族布依族自治县、🐬安顺市、开阳县)




抚顺市:顺城区、新抚区、🍊东洲区、🐬望花区。




济南市(历下、市中、槐荫、天桥、⚛️历城、长清)




珠海市(香洲区、斗门区、⚱️金湾区、🍓横琴新区、万山区、♏️珠海高新区、🤲唐家湾镇、✝️三灶镇、白石镇、😀前山镇、💢南屏镇、🦑珠海港镇、金鼎镇)




铁岭市:🏑银州区、清河区。




南昌市(东湖区、👴西湖区、👇青山湖区、红谷滩新区、南昌县、新建区、😑安义县、进贤县、⚛️️湾里区、🙌昌北区)




南投县(信义乡、🦜竹山镇、🌜中寮乡、🐽水里乡、😽‍草屯镇、💅仁爱乡、名间乡、💅埔里镇、🙌鹿谷乡、国姓乡、鱼池乡、🍞集集镇、南投市)




榆林市(榆阳区,横山区)朝阳市(双塔区、龙城区)




上饶市(信州、广丰、广信)




益阳市(南县、资阳区、🤙‍桃江县、⛸市辖区、‼️‍沅江市、赫山区、安化县)




南昌市(东湖区、西湖区、🆑青山湖区、红谷滩新区、南昌县、😚安义县、进贤县、经开区、青山湖区、湾里区、😃赣江新区、青云谱区、❤️浔阳区)




临沂市(兰山区、🥅️罗庄区、😖️河东区、沂南县、郯城县、🐂苍山县、🤧‍费县、👆蒙阴县、临沭县、✌️兰陵县、莒南县、平邑县、沂水县、🌑临沂高新技术产业开发区)




本溪市:平山区、明山区、♋️溪湖区、南芬区。




乐山市(市中、🍰沙湾、五通桥、日照口河)




鹤壁市(淇县、🍂鹤山区、😀浚县、山城区、市辖区、淇滨区)




白山市(靖宇县、💣浑江区、江源区、长白朝鲜族自治县、抚松县、🦈临江市、🦀市辖区)




贵州省安顺市(西秀区、平坝区、普定县、镇宁布依族苗族自治县、🤮关岭布依族苗族自治县、👍紫云苗族布依族自治县、安顺市、😹开阳县)




九江市(莲溪、🐁浔阳)




牡丹江市:东安区(部分区域未列出)、👈西安区和阳明区和爱民区和绥芬河市和海林市(部分区域未列出)。




东莞市(莞城、🏸南城、🤔万江、东城,石碣、🥎石龙、㊙️‍茶山、🌔石排、🙌企石、横沥、桥头、谢岗、🤬东坑、⛎常平、💀寮步、😝大朗、黄江、清溪、塘厦、凤岗、😴长安、🐞惠东、🙏厚街、🔆沙田、道窖、洪梅、✊麻涌、⚠️中堂、🉑高步、♎️樟木头、👴大岭山、✡️望牛墩)




通辽市(科尔沁区、🌰扎鲁特旗、💙开鲁县、霍林郭勒市、市辖区、🆚科尔沁左翼中旗、🙈库伦旗、科尔沁左翼后旗、🍬奈曼旗)




桂林市(秀峰区、🦡️象山区、七星区、雁山区、🥣临桂区、🕑阳朔县、资源县、平乐县、灌阳县、💹荔浦市、灵川县、全州县、💛永福县、☸️龙胜各族自治县、🙉恭城瑶族自治县):☮️




嘉兴市(海宁市、☦️市辖区、🙄秀洲区、♒️平湖市、🥧桐乡市、南湖区、🥥嘉善县、海盐县)




常熟市(方塔管理区、🤐虹桥管理区、琴湖管理区、🕥兴福管理区、谢桥管理区、大义管理区、莫城管理区。)宿迁(宿豫区、🐽宿城区、🐐湖滨新区、洋河新区。)




台州市(椒江、🧐黄岩、☣️️路桥)




泰州市(海陵区、🕡高港区、姜堰区、兴化市、🍮泰兴市、🥟靖江市、🦌扬中市、丹阳市、泰州市区、姜堰区、🌟️海安镇、周庄镇、😫东进镇、世伦镇、🕓‍青龙镇、杨湾镇、🐩️马桥镇)




牡丹江市:东安区(部分区域未列出)、🍒️西安区和阳明区和爱民区和绥芬河市和海林市(部分区域未列出)。




雅安市(汉源县、市辖区、🕉名山区、⁉️石棉县、🥎荥经县、宝兴县、天全县、🅱️芦山县、♻️雨城区)




南充市(顺庆区、🤯高坪区、‼️‍嘉陵区、👵‍南部县、💕营山县、蓬安县、🖖仪陇县、🕷西充县、🍼阆中市、抚顺县、阆中市、🥯‍南充高新区)




郴州市(宜章县、🏸嘉禾县、😶永兴县、🖕汝城县、市辖区、桂东县、北湖区、桂阳县、苏仙区、💅临武县、安仁县、资兴市)




山南市(错那县、琼结县、🐯洛扎县、💐贡嘎县、🏐️桑日县、🐚曲松县、♑️浪卡子县、🌞市辖区、隆子县、🎋加查县、🛡扎囊县、乃东区、措美县)




南昌市(青山湖区、红谷滩新区、东湖区、☦️西湖区、青山湖区、南昌县、进贤县、安义县、☮️湾里区、🍍地藏寺镇、瑶湖镇、🥏铜鼓县、☝昌北区、青云谱区、望城坡镇)




株洲市(荷塘、芦淞、石峰、💙天元)




辽阳市(文圣区、🎱宏伟区、🥊弓长岭区、太子河区、🧡灯塔市、🌼️辽阳县、白塔区、广德镇、双台镇、桥头镇、长春镇、🦀合德镇、🦘兴隆镇、安平镇、辛寨镇、🕡黄土岭镇)




舟山市(市辖区、🐁定海区、嵊泗县、普陀区、🤙️岱山县)




玉溪市(澄江县、😖江川县、易门县、华宁县、新平彝族傣族自治县、⚛️元江哈尼族彝族傣族自治县、🌼通海县、抚仙湖镇、红塔区、🦎龙潭街道、南北街道、白石街道)




三明市(梅列、💙三元)




柳州市(柳北区、柳南区、柳江县、柳城县、🐂️鹿寨县、融安县、🦍融水苗族自治县、三江侗族自治县、城中区、鱼峰区、柳东新区、柳市镇)




保定市(莲池、竞秀)




德州市(陵城区、乐陵市、宁津县、庆云县、🐟️临邑县、💙平原县、👏武城县、夏津县、禹城市、德城区、🕑禹城市、📵齐河县、🥀开封县、双汇镇、🈯️东风镇、商丘市、阳谷县、㊙️共青城市、城南新区)




昆山市(昆山开发、高新、🌧综合保税)




许昌市(魏都)




济南市(历下、市中、🥭槐荫、🥧️天桥、🤑历城、长清)




安康市(宁陕县、🖖白河县、汉阴县、🍵️岚皋县、石泉县、市辖区、紫阳县、♓️汉滨区、🌮️旬阳县、镇坪县、平利县)




常州市(天宁、🥍钟楼、新北、武进、日照坛)




郑州市(中原、二七、管城、日照水、🔪上街、惠济)




中卫市(沙坡头区、海原县、中宁县、🆎市辖区)




金华市(武义县、东阳市、磐安县、浦江县、🥡‍兰溪市、♊️永康市、婺城区、义乌市、🌪市辖区、金东区)




长沙市(芙蓉、✌天心、岳麓、☮️开福、😄雨花、望城)




葫芦岛市:龙港区、👉南票区、🌦连山区。




沧州市(新华区、运河区、🔪沧县、青县、🌽东光县、海兴县、盐山县、肃宁县、南皮县、✡️吴桥县、献县、🚳‍孟村回族自治县、河北沧州高新技术产业开发区、沧州经济技术开发区、🤝任丘市、黄骅市、🍥河间市、泊头市)




邢台市(邢台县、🌲南和县、清河县、临城县、❎广宗县、威县、宁晋县、🈹柏乡县、🍡任县、👏内丘县、南宫市、沙河市、任县、邢东区、邢西区、😂平乡县、😻️巨鹿县)




巴彦淖尔市(杭锦后旗、磴口县、🌒乌拉特中旗、乌拉特后旗、😛乌拉特前旗、🤙市辖区、临河区、五原县)




连云港市(连云、海州、赣榆)




淮安市(淮阴区、清河区、淮安区、🔅涟水县、🍇洪泽区、🐟️盱眙县、金湖县、楚州区、👈️淮安区、🍼海安县、🍘亭湖区、🥄淮安开发区)




玉林市(玉州)




柳州市(城中、🍸鱼峰、♐️柳南、柳北、👴柳江)




新竹县(新丰乡、😚峨眉乡、😚湖口乡、关西镇、新埔镇、🍂横山乡、尖石乡、🍸北埔乡、🤧竹东镇、宝山乡、🕗芎林乡、五峰乡、竹北市)




临沂市(兰山、🌷罗庄、河东)




连云港市(连云、👍海州、♓️赣榆)




廊坊市(安次、广阳)




赣州市(南康区、😬‍赣县区、于都县、兴国县、🦖章贡区、龙南县、大余县、🍗信丰县、安远县、全南县、🌴宁都县、⛔️定南县、上犹县、🥦崇义县、👈南城县)




玉溪市(澄江县、江川县、通海县、🍹华宁县、👴易门县、峨山彝族自治县、抚仙湖镇、新平县、元江哈尼族彝族傣族自治县、红塔区、☝️玉溪县、🐺敖东镇、🦡珠街镇)




宜昌市(宜都市、🥒长阳土家族自治县、当阳市、五峰土家族自治县、西陵区、兴山县、☯️夷陵区、远安县、点军区、❔枝江市、🕘猇亭区、秭归县、🐖伍家岗区、😛市辖区)




绵阳市(江油市、🦆北川羌族自治县、梓潼县、市辖区、盐亭县、涪城区、安州区、🦛三台县、🐖平武县、游仙区)




湘潭市(雨湖、🏑岳塘)




漳州市(芗城、😇龙文)




嘉义县(朴子市、😅‍番路乡、民雄乡、竹崎乡、梅山乡、义竹乡、大林镇、💹布袋镇、新港乡、太保市、六脚乡、🤚大埔乡、😿鹿草乡、⁉️️溪口乡、水上乡、🏑中埔乡、阿里山乡、〽️东石乡)



共筑网络安全防线 共享清朗网络空间  中国平安助力深圳网络安全宣传周,专业健康服务筑牢民生安全防线  9月18日,2025年深圳市网络安全宣传周“法治日”活动暨常态化警营开放日网络安全专场活动顺利举行。  作为国家网络安全宣传周的重要组成部分,本次“法治日”活动以“网络安全为人民,网络安全靠人民——以高水平安全守护高质量发展”和“相约我和你,警民零距离”双主题开展,通过主题演讲、情景体验、互动问

发布于:北京市
评论
全部
还没有人评论过,快来抢首评
抢首评