编辑:小舟、泽南
「原驼」大模型输出的内容和 ChatGPT 比,人类也无法区分谁好谁坏。
用微调的方法,现在羊驼模型也可以打 ChatGPT 了,这不是随便说说,有测试结果为证。
最近,来自华盛顿大学的 QLoRA 成为了 AI 领域的热门,很多人把它形容为里程碑级、改变规则的技术。
【资料图】
新方法训练出的模型在评测基准上可以做到 ChatGPT 99% 的能力,而且 33B 的版本只需要在单块 24GB GPU 上进行微调,65B 的版本只需要 46GB 的 GPU。
现在用一块 RTX 4090,就能做 ChatGPT 一样的事,这样的结果让人高呼不敢相信:
具体来说,QLoRA 使用 4 位量化来压缩预训练的语言模型。然后冻结 LM 参数,并将相对少量的可训练参数以 Low-Rank Adapters 的形式添加到模型中。模型体量大幅压缩,推理效果几乎没有受到影响。
对于大型语言模型(LLM)来说,微调(Finetuning)是提高性能、减少错误输出的有效方式。但众所周知,微调大模型是一个成本比较高的工作,举例来说,LLaMA 65B 参数模型的常规 16 位微调需要超过 780 GB 的 GPU 内存。
来自华盛顿大学的研究者首次证明,我们也可以在不降低任何性能的情况下微调量化的 4 位模型,其新方法 QLoRA 使用一种新的高精度技术将预训练模型量化为 4 位,然后添加一小组可学习的低秩适配器权重,这些权重通过量化权重的反向传播梯度进行调整。
论文《QLORA: Efficient Finetuning of Quantized LLMs》:
论文链接:/abs/
GitHub:/artidoro/qlora
作者开源了代码库和 CUDA 内核,并已将新方法集成到了 Hugging Face transformer 堆栈中。QLoRA 发布了一系列适用于 7/13/33/65B 的版本,在 8 种不同的指令跟随数据集上进行了训练,总共有 32 种不同的开源微调模型。
与 16 位完全微调的基准相比,QLoRA 将微调 65B 参数模型的平均内存需求从大于 780GB 的 GPU 降低到小于 48GB,同时也不降低运行时或预测性能。这标志着 LLM 微调的可访问性发生了重大转变:现在最大的公开可用模型也可以在单块 GPU 上进行微调了。
使用 QLORA,研究人员训练了 Guanaco(原驼)系列模型,第二好的模型在 Vicuna 基准测试中达到了 ChatGPT 性能水平的 %,同时在单个消费级 GPU 上训练时间不到 12 小时,如果在 24 小时内使用单块专业 GPU,最大的模型能达到 %,基本上可以说缩小了在 Vicuna 基准测试上与 ChatGPT 的差距。
另外在部署时,最小的 Guanaco 模型(7B 参数)仅需要 5 GB 内存,并且在 Vicuna 基准测试中比 26 GB Alpaca 模型性能高出 20 个百分点以上。
表 1. 模型之间竞争的 Elo 评级,以 GPT-4 为标杆,GPT4 之后 Guanaco 33B 和 65B 获胜次数最多,而 Guanaco 13B 的得分比 Bard 好。
QLoRA 引入了多项创新,目标是在不牺牲性能的情况下减少内存使用,其中包括:
4 位的 NormalFloat,这是一种信息理论上最优的正态分布数据量化数据类型,可产生比 4 位整数和 4 位浮点数更好的经验结果。
Double Quantization,一种对量化常数进行量化的方法,每个参数平均节省约 位(65B 型号约 3GB)。
Paged Optimizers,使用英伟达统一内存来避免在处理具有较长序列长度的 mini-batch 时出现的梯度 check point 内存尖峰。
这些贡献被结合到了一个更好调整的 LoRA 方法中,该方法在每个网络层都包含适配器,从而避免了之前工作中出现的几乎所有准确性权衡。
QLoRA 的效率让我们能够在模型规模上对指令微调和聊天机器人性能进行深入研究,此前由于内存开销的限制,使用常规微调是不可能的。
因此,作者在多个指令调优数据集、模型架构和 80M 到 65B 参数大小之间训练了 1000 多个模型。
除了展示 QLoRA 恢复 16 位性能和训练最先进的聊天机器人 Guanaco 的能力之外,该研究还分析了训练模型的趋势。首先,作者发现数据质量远比数据集大小重要。例如 9k 样本数据集 (OASST1) 在聊天机器人性能方面优于 450k 样本数据集(FLAN v2,二次采样),即使两者都旨在支持泛化后的指令。
其次,强大的大规模多任务语言理解 (MMLU) 基准性能并不意味着强大的 Vicuna 聊天机器人基准性能,反之亦然 —— 换句话说,数据集适用性比给定任务的大小更重要。
图 1:不同的微调方法及其内存要求。QLoRA 通过将 transformer 模型量化为 4 位精度并使用分页优化器来处理内存峰值提升了性能。
QLoRA 与标准微调
QLoRA 是否可以像全模型微调一样执行呢?默认 LoRA 超参数与 16 位性能不匹配,当使用将 LoRA 应用于查询及值注意投影矩阵的标准做法时,我们无法复制大型基础模型的完整微调性能。如图 2 所示,在 Alpaca 上进行 LLaMA 7B 微调,最关键的 LoRA 超参数是总共使用了多少个 LoRA adapter,并且所有线性 transformer 块层上的 LoRA 都需要匹配完整的微调性能。其他 LoRA 超参数,例如投影维度 r 则不影响性能。
图 2. LLaMA 数据集上 LLaMA 7B 模型的 RougeL,每个点代表使用不同随机种子的运行。
4 位 NormalFloat 产生了比 4 位浮点更好的性能。虽然 4 位 NormalFloat (NF4) 数据类型在信息理论上是最优的,但这里仍需要确定此属性是否转化成为了经验优势。在图 3 和表 2 中,我们看到 NF4 比 FP4 和 Int4 显着提高了性能,并且双量化在不降低性能的情况下减少了内存占用。
表 3:在 GLUE 和 Super-NaturalInstructions 上比较 16 位 BrainFloat (BF16)、8 位整数 (Int8)、4 位浮点数 (FP4) 和 4 位 NormalFloat (NF4) 的实验。QLoRA 复制 16 位 LoRA 和 fullfinetuning。
该研究的实验结果一致表明,具有 NF4 数据类型的 4 位 QLoRA 在具有完善的评估设置的学术基准上与 16 位完全微调和 16 位 LoRA 微调性能相匹配,而且 NF4 比 FP4 更有效,并且双量化不会降低性能。综合起来,这形成了令人信服的证据,证明 4 位 QLoRA 调整可靠地产生与 16 位方法匹配的结果。
与之前关于量化的工作 [13] 一致,QLoRA 的 MMLU 和 Elo 结果表明,在给定的微调和推理资源预算下,增加基本模型中的参数数量同时降低其精度是有益的。这凸显了 QLoRA 带来的效率优势。该研究在实验中发现,相比于全参数微调(full-finetuning),使用 4 位微调的方法性能并没有下降,这就引出了 QLoRA 调优中性能 - 精度的权衡问题,这将是未来的研究方向。
用 QLoRA 改进对话机器人模型
在该研究发现 4 位 QLoRA 在规模、任务和数据集方面与 16 位性能相当以后,该研究对指令微调进行了深入研究,并评估了指令微调开源模型的性能。
具体来说,该研究在具有挑战性的自然语言理解基准 MMLU 上进行了评估,并开发了用于真实世界聊天机器人性能评估的新方法。在 MMLU 上评估的结果如下表 4 所示
基于 Chiang et al. [10] 提出的评估协议,该研究使用 GPT-4 来评估不同系统相比于 ChatGPT ( Turbo)的 Vicuna 基准测试结果。这被该研究称为自动化评估方法。
Guanaco:GPT-4 之后性能最好的模型
通过自动化评估和人工评估,该研究发现在 OASST1 的变体上微调的顶级 QLORA 调优模型 Guanaco 65B 是性能最佳的开源聊天机器人模型,其性能可与 ChatGPT 媲美。与 GPT-4 相比,Guanaco 65B 和 33B 的预期获胜概率为 30%,该结果基于人类注释者系统级成对比较得出的 Elo 等级分(Elo rating),这也是迄今为止报告的最高水平。
该研究还进行了与 ChatGPT 对比的 Vicuna 基准测试,结果如下表 6 所示:
该研究发现 Guanaco 65B 是 GPT-4 之后性能最好的模型,可以实现 ChatGPT % 的性能水平。Guanaco 33B 的参数比 Vicuna 13B 模型要多,但其权重仅使用 4 位精度,因此内存使用效率更高,内存占用更少(21 GB VS 26 GB)。此外,Guanaco 7B 可轻松安装在 5 GB 内存的智能手机上。
总体而言,GPT-4 和人工注释者的系统级判断是适度一致的,因此基于模型的评估是人类评估的一种可靠替代方案。
在定性分析方面,如下表 7 所示,该研究发现与人类评分相比,GPT-4 为其自己的输出给出了更高的分数(Elo 为 1348 vs 1176)。未来该研究会进一步检查自动评估系统中是否存在潜在偏差,并提出可能的缓解策略。
©THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@
X 关闭
推荐内容
- 单GPU实现99%ChatGPT性能,「原驼」火了:手机也能微调大模型
- (遇见中国)吉尔吉斯斯坦商人纳伦:人生每一个小目标都离不开中国的发展
- 广西丹泉酒洞藏15臻藏级怎么样?广西丹泉酒洞藏15臻藏级配料表|全球球精选
- 夏日炎炎,打造一个可以“深呼吸”的家_天天热讯
- 全球简讯:中证指数公司公布沪深300等指数样本定期调整方案
- Åí»ªÍ¢(1866¡«1943)
- 世界今亮点!2023年6月几号是父亲节
- 河南省信阳市2023-05-27 04:55发布雷暴大风黄色预警_天天快播
- 【环球聚看点】造梦西游3宠物排名子鼠_造梦西游3宠物代码大全要有子鼠
- 如何在电脑上赚q币
- 飞凯材料:调整后“飞凯转债”转股价格为15.41元/股
- 5月26日山西晋南螺纹钢价格下调
- 兴证全球基金出席联合国金融倡议会议 全球播报
- 环球时讯:澳大利亚悉尼灯光秀节日活动闪亮登场
- 中药上市公司迎来研发兑现机遇期 世界热议
- “什么漫游?”“乌海,漫游!”-世界即时
- 罗马诺:贝林厄姆与皇马合同有效期至2029年,薪水将逐年提升
- 星网锐捷:维实投资拟减持不超过2.35%-全球聚看点
- 如何查看电脑分辨率win10(如何查看电脑分辨率)
- 天天热门:银联技管委发布开放银行数据保护与合规实践案例报告
- 同行举报,看客嘲笑:降薪、裁员、停产……车企逃杀,创业者的悲歌
- 因编制虚假报告等 长安保险被罚100万元|环球热门
- 女子失手机私密视频泄露,8个月内百次开房 环球新视野
- 全球通讯!民生银行大连分行社区嘉年华活动正式启幕
- 速看!地铁16号线又有新进展→-天天时快讯
- 高中男生肺活量标准表_高中男生
- 午评:沪指跌0.14% 存储芯片板块大涨 看点
- 顺德启动“桑榆红·助力打造最友好的制造业强区”系列活动_世界独家
- 世界新资讯:2023年中国农机行业市场发展现状
- 喵可莉的兔玩偶dlc后续同人文:未剪断的恨:二十四
- 当前速看:12家创业板公司上半年业绩亮相 75.00%预增
- 网易Q1营收增长6.3%,研发投入37亿元、占营收15%
- 疤痕贴的作用与功效_美皮护疤痕贴官网_每日视讯
- 啥时候收麦最合适? 河南“三夏”期间天气趋势看这里
- 5月25日基金净值:华安精致生活混合A最新净值1.2179,跌0.51% 热讯
- 广发恒生科技ETF(QDII)净值下跌2.21% 请保持关注_全球头条
- 宝宝脸上起湿疹怎么办
- qq手机登录功能在哪(qq手机版登陆)-天天消息
- 董万才_关于董万才的简介_全球即时
- 有机助焊剂(关于有机助焊剂介绍) 世界观天下
- 手机贷款哪个平台安全可靠利息低?银行、互联网巨头、消费金融、持牌小贷公司都有
- 【环球报资讯】怎么可以把自己揉出水呢_怎么可以把自己揉出水
- 环球速递!“清洁工躺车库被碾身亡案”司机申请65万国家赔偿:无罪被羁押一年,女儿都不认识我了
- 郑东新区提升教育水平 建设高素质队伍 头条
- 全球快报:欧化(01711)发盈警,预期年度净亏损不多于2200万港元
- 河北邯郸地区专科院校排名 邯郸学院专科咋样?
- 速递!人名币对日元 人名币兑日元
- 湖北宜化:控股股东拟增持5000万元-1亿元公司股份-精选
- 每日报道:科普一下 | 抑制骨龄能让孩子长得更高吗?
- 新动态:打造“创新飞地”助力引凤入巢 厦门科学城(北京)创新成果培育基地揭牌
- 欧普,回家!
- 张良拜师告诉了我们什么道理_张良人物介绍
- 摊牌了,要让轻薄潮流手机换个档次,卷到友商招架不住
- 天津:在津无房家庭首次公积金贷款还清后,仍可按首套房贷款
- 黄山到上海自驾经过哪些地方
- [快讯]宁波色母:关于公司部分监事减持计划进展暨减持数量过半
- 头条:赛前环节!俱乐部董事长为获评第七轮最佳球员的武磊颁发荣誉奖杯
- 轮台县阳霞镇:党建领航赋能乡村振兴
- 蓝天燃气不超8.7亿可转债获上交所通过 招商证券建功 每日快播
- 让品牌更具生命力 品牌专利、技术创新推动区域经济发展 快资讯
- 我国核技术应用产值预计2025年可达万亿元市场规模
- 顺德鳗鱼、加州鲈鱼、皇帝鱼……佛山水产品首次集体亮相上海市场|信息
- 5月24日基金净值:易方达新常态灵活配置混合最新净值0.572,跌0.52%-环球关注
- 晓悟互动小说:三口之家怪谈 攻略_天天热文
- 俄联邦委员会投票支持废除《欧洲常规武装力量条约》|全球今日报
- 天天通讯!猪肉保鲜柜怎么调_如何调猪肉保鲜柜
- 热议:试验观察到现有的膳食补充剂可逆转与HIV相关的器官损伤
- 涵子(关于涵子介绍)|全球要闻
- 世界看热讯:关羽败走麦城的故事30字概括_关羽败走麦城的故事
- 门锁十大品牌华锋 门锁十大品牌
- 【天天报资讯】国际抖音怎么联网(国际抖音怎么登录)
- ucs怎么使用_ucs怎么用
- 天天最新:世乒赛:樊振东晋级男单16强
- 全球资讯:据彭博消息,壳牌公司将为越南提供首批液化天然气
- 【全球时快讯】注意!白云机场将于6月15日召开股东大会
- 当前快看:夜市寻“味” 餐饮消费活力迸发
- 重庆空港新城项目鹿山隧道正式建成通车_天天播资讯
- 环球观焦点:2023Q1印度PC市场战报:惠普领衔、联想第二、苹果Mac下跌42.4%
- 一顿重庆火锅 每三片毛肚中就有一片产自合川-当前热议
- 生石花表皮发皱怎么回事?-天天消息
- 环球微资讯!湖人赛季结束后!三人正式确认,施罗德公布新决定,哈姆调侃老詹
- 雪媚娘的制作方法不用黄油视频 雪媚娘的制作方法
- 国泰航空歧视的不是“非英文”乘客,而是中文乘客
- 瑞丰光电(300241.SZ):目前中科创占公司总业务比例较少 世界即时看
- 中国妇女出版社知识书包惠及超7万家庭-环球今热点
- 沥青路面一般用粗粒式还是细粒式 粗粒式和细粒式沥青混凝土路面有什么区别
- 今日王源的礼物_王源塞礼物给张杰
- 盈利转为大幅亏损 海马汽车被质疑“洗大澡”
- 全球速看:六安市成立首支大学生国防动员志愿服务团
- 世界热推荐:西洋参孕妇可以吃嘛_孕妇西洋参可以吃吗
- 全球快看:五角大楼证实:两架美国轰炸机在波罗的海上空遭俄方拦截
- 怎么对齐word下划线(word里的下划线怎么对齐)
- 环球快讯:川崎VS凯越“针尖对麦芒” 2023北京摩博会VLOG
- 枯鱼之肆音乐_枯鱼之肆
- 湖记:湖人打算留住里夫斯&八村塁 即便需要匹配两人的最高报价
- 领奖展示五星红旗,他说:我怕台湾人忘记回家的路-即时焦点
- 女人打麻将前的禁忌_打麻将怎样增加运气
- 已成定局是成语吗_已成定局翻译 当前热议
- 世界百事通!k1格斗_关于k1格斗的介绍
- 快看点丨认识、适应、引领我国人口发展新常态
精彩推荐
-
单GPU实现99%ChatGPT性能,「原驼」火了:手机也能微调大模型2023-05-27
-
(遇见中国)吉尔吉斯斯坦商人纳伦:人生每一个小目标都离不开中国的发展2023-05-27
-
广西丹泉酒洞藏15臻藏级怎么样?广西丹泉酒洞藏15臻藏级配料表|全球球精选2023-05-27
-
夏日炎炎,打造一个可以“深呼吸”的家_天天热讯2023-05-27
-
全球简讯:中证指数公司公布沪深300等指数样本定期调整方案2023-05-27
-
Åí»ªÍ¢(1866¡«1943)2023-05-27
-
世界今亮点!2023年6月几号是父亲节2023-05-27
-
河南省信阳市2023-05-27 04:55发布雷暴大风黄色预警_天天快播2023-05-27
-
【环球聚看点】造梦西游3宠物排名子鼠_造梦西游3宠物代码大全要有子鼠2023-05-27
-
如何在电脑上赚q币2023-05-27
-
飞凯材料:调整后“飞凯转债”转股价格为15.41元/股2023-05-27
-
5月26日山西晋南螺纹钢价格下调2023-05-27
-
兴证全球基金出席联合国金融倡议会议 全球播报2023-05-27
-
环球时讯:澳大利亚悉尼灯光秀节日活动闪亮登场2023-05-27
-
中药上市公司迎来研发兑现机遇期 世界热议2023-05-26
-
“什么漫游?”“乌海,漫游!”-世界即时2023-05-26
-
罗马诺:贝林厄姆与皇马合同有效期至2029年,薪水将逐年提升2023-05-26
-
星网锐捷:维实投资拟减持不超过2.35%-全球聚看点2023-05-26
-
如何查看电脑分辨率win10(如何查看电脑分辨率)2023-05-26
-
天天热门:银联技管委发布开放银行数据保护与合规实践案例报告2023-05-26
-
同行举报,看客嘲笑:降薪、裁员、停产……车企逃杀,创业者的悲歌2023-05-26
-
因编制虚假报告等 长安保险被罚100万元|环球热门2023-05-26
-
女子失手机私密视频泄露,8个月内百次开房 环球新视野2023-05-26
-
全球通讯!民生银行大连分行社区嘉年华活动正式启幕2023-05-26
-
速看!地铁16号线又有新进展→-天天时快讯2023-05-26
-
高中男生肺活量标准表_高中男生2023-05-26
-
午评:沪指跌0.14% 存储芯片板块大涨 看点2023-05-26
-
顺德启动“桑榆红·助力打造最友好的制造业强区”系列活动_世界独家2023-05-26
-
世界新资讯:2023年中国农机行业市场发展现状2023-05-26
-
喵可莉的兔玩偶dlc后续同人文:未剪断的恨:二十四2023-05-26
-
当前速看:12家创业板公司上半年业绩亮相 75.00%预增2023-05-26
-
网易Q1营收增长6.3%,研发投入37亿元、占营收15%2023-05-26
-
疤痕贴的作用与功效_美皮护疤痕贴官网_每日视讯2023-05-26
-
啥时候收麦最合适? 河南“三夏”期间天气趋势看这里2023-05-26
-
5月25日基金净值:华安精致生活混合A最新净值1.2179,跌0.51% 热讯2023-05-26
-
广发恒生科技ETF(QDII)净值下跌2.21% 请保持关注_全球头条2023-05-26
-
宝宝脸上起湿疹怎么办2023-05-26
-
qq手机登录功能在哪(qq手机版登陆)-天天消息2023-05-26
-
董万才_关于董万才的简介_全球即时2023-05-26
-
有机助焊剂(关于有机助焊剂介绍) 世界观天下2023-05-26
-
手机贷款哪个平台安全可靠利息低?银行、互联网巨头、消费金融、持牌小贷公司都有2023-05-26
-
【环球报资讯】怎么可以把自己揉出水呢_怎么可以把自己揉出水2023-05-26
-
郑东新区提升教育水平 建设高素质队伍 头条2023-05-26
-
全球快报:欧化(01711)发盈警,预期年度净亏损不多于2200万港元2023-05-25
-
河北邯郸地区专科院校排名 邯郸学院专科咋样?2023-05-25
-
速递!人名币对日元 人名币兑日元2023-05-25
-
湖北宜化:控股股东拟增持5000万元-1亿元公司股份-精选2023-05-25
-
每日报道:科普一下 | 抑制骨龄能让孩子长得更高吗?2023-05-25
-
新动态:打造“创新飞地”助力引凤入巢 厦门科学城(北京)创新成果培育基地揭牌2023-05-25
-
欧普,回家!2023-05-25
-
张良拜师告诉了我们什么道理_张良人物介绍2023-05-25
-
摊牌了,要让轻薄潮流手机换个档次,卷到友商招架不住2023-05-25
-
天津:在津无房家庭首次公积金贷款还清后,仍可按首套房贷款2023-05-25
-
黄山到上海自驾经过哪些地方2023-05-25
-
[快讯]宁波色母:关于公司部分监事减持计划进展暨减持数量过半2023-05-25
-
头条:赛前环节!俱乐部董事长为获评第七轮最佳球员的武磊颁发荣誉奖杯2023-05-25
-
轮台县阳霞镇:党建领航赋能乡村振兴2023-05-25
-
蓝天燃气不超8.7亿可转债获上交所通过 招商证券建功 每日快播2023-05-25
-
让品牌更具生命力 品牌专利、技术创新推动区域经济发展 快资讯2023-05-25
-
我国核技术应用产值预计2025年可达万亿元市场规模2023-05-25
-
顺德鳗鱼、加州鲈鱼、皇帝鱼……佛山水产品首次集体亮相上海市场|信息2023-05-25
-
5月24日基金净值:易方达新常态灵活配置混合最新净值0.572,跌0.52%-环球关注2023-05-25
-
晓悟互动小说:三口之家怪谈 攻略_天天热文2023-05-25
-
俄联邦委员会投票支持废除《欧洲常规武装力量条约》|全球今日报2023-05-25
-
天天通讯!猪肉保鲜柜怎么调_如何调猪肉保鲜柜2023-05-25
-
热议:试验观察到现有的膳食补充剂可逆转与HIV相关的器官损伤2023-05-25
-
涵子(关于涵子介绍)|全球要闻2023-05-25
-
世界看热讯:关羽败走麦城的故事30字概括_关羽败走麦城的故事2023-05-25
-
门锁十大品牌华锋 门锁十大品牌2023-05-25
-
【天天报资讯】国际抖音怎么联网(国际抖音怎么登录)2023-05-25
-
ucs怎么使用_ucs怎么用2023-05-25
-
天天最新:世乒赛:樊振东晋级男单16强2023-05-25
-
全球资讯:据彭博消息,壳牌公司将为越南提供首批液化天然气2023-05-24
-
【全球时快讯】注意!白云机场将于6月15日召开股东大会2023-05-24
-
当前快看:夜市寻“味” 餐饮消费活力迸发2023-05-24
-
重庆空港新城项目鹿山隧道正式建成通车_天天播资讯2023-05-24
-
环球观焦点:2023Q1印度PC市场战报:惠普领衔、联想第二、苹果Mac下跌42.4%2023-05-24
-
一顿重庆火锅 每三片毛肚中就有一片产自合川-当前热议2023-05-24
-
生石花表皮发皱怎么回事?-天天消息2023-05-24
-
环球微资讯!湖人赛季结束后!三人正式确认,施罗德公布新决定,哈姆调侃老詹2023-05-24
-
雪媚娘的制作方法不用黄油视频 雪媚娘的制作方法2023-05-24
-
国泰航空歧视的不是“非英文”乘客,而是中文乘客2023-05-24
-
瑞丰光电(300241.SZ):目前中科创占公司总业务比例较少 世界即时看2023-05-24
-
中国妇女出版社知识书包惠及超7万家庭-环球今热点2023-05-24
-
沥青路面一般用粗粒式还是细粒式 粗粒式和细粒式沥青混凝土路面有什么区别2023-05-24
-
今日王源的礼物_王源塞礼物给张杰2023-05-24
-
盈利转为大幅亏损 海马汽车被质疑“洗大澡”2023-05-24
-
全球速看:六安市成立首支大学生国防动员志愿服务团2023-05-24
-
世界热推荐:西洋参孕妇可以吃嘛_孕妇西洋参可以吃吗2023-05-24
-
全球快看:五角大楼证实:两架美国轰炸机在波罗的海上空遭俄方拦截2023-05-24
-
怎么对齐word下划线(word里的下划线怎么对齐)2023-05-24
-
环球快讯:川崎VS凯越“针尖对麦芒” 2023北京摩博会VLOG2023-05-24
-
枯鱼之肆音乐_枯鱼之肆2023-05-24
-
湖记:湖人打算留住里夫斯&八村塁 即便需要匹配两人的最高报价2023-05-24
-
领奖展示五星红旗,他说:我怕台湾人忘记回家的路-即时焦点2023-05-24
-
女人打麻将前的禁忌_打麻将怎样增加运气2023-05-24
-
已成定局是成语吗_已成定局翻译 当前热议2023-05-24
-
世界百事通!k1格斗_关于k1格斗的介绍2023-05-24
-
快看点丨认识、适应、引领我国人口发展新常态2023-05-24