①o1在“化学、生物、放射和核”武器相关的问题上存在“中等”风险——这也是OpenAI有史以来对其模型打出的最高风险评级；②专家称，具有更先进功能（例如执行逐步推理的能力）的AI软件，在恶意行为者手中更容易被滥用。美国人工智能公司OpenAI承认，其最新的o1模型“显著”增加了被滥用于制造生物武器的风险。当地时间周四（9月12日），OpenAI发布了新一代o1系列模型，宣称可以推理复杂的任务并解决比以前的科学、编码和数学模型更难的问题。这些进展也被认为是朝向通用人工智能（AGI）的关键突破。根据测试，o1模型在国际数学奥林匹克的资格考试中，能够拿到83%的分数，而GPT-4o只能正确解决13%的问题。在编程能力比赛Codeforces中，o1模型拿到89%百分位的成绩，而GPT-4o只有11%。OpenAI表示，根据测试，在下一个更新的版本中，大模型在物理、化学和生物学的挑战性基准测试中，表现能够与博士生水平类似。但能力越强的AI模型意味着其潜在的破坏力也更强。同一时间，OpenAI公布了o1的系统卡（用于解释AI如何运作的工具），报告概述了包括外部红队测试和准备框架（Preparedness Framework）等细节，并介绍了其在安全及风险评估方面所采取的措施。报告提到，o1在“化学、生物、放射和核”（CBRN）武器相关的问题上存在“中等”（medium）风险——这也是OpenAI有史以来对其模型打出的最高风险评级。OpenAI表示，这意味着该技术“显著提升”了专家制造生物武器的能力。据了解，评级一共分为“低、中、高和严重”四档，评级在“中”或以下的模型才可以部署，在“高”或以下的才可以进一步开发。专家称，具有更先进功能（例如执行逐步推理的能力）的AI软件，在恶意行为者手中更容易被滥用。图灵奖得主、蒙特利尔大学计算机科学教授Yoshua Bengio表示，如果OpenAI现在在化学和生物武器方面构成“中等风险”，那么这“进一步加强了”立法的必要性和紧迫性。Bengio提到了有望即将落地的“SB 1047法案”，全称“前沿人工智能模型安全创新法案”。该法案要求大型前沿人工智能模型的开发者采取预防措施，其中就包括减少模型被用于开发生物武器的风险。Bengio称，随着前沿AI模型向AGI迈进，如果没有适当的防护措施，风险将继续增加，“AI推理能力的提升及其利用该技能进行欺骗的潜力尤其危险。”OpenAI首席技术官米拉·穆拉蒂（Mira Murati）告诉媒体，由于o1模型的先进功能，公司在向公众推出该模型时采取了特别“谨慎”的态度。她补充道，模型通过了红队测试，在整体安全指标上远优于之前的版本。编辑/ping OpenAI's o1 model has a 'medium' risk in issues related to 'chemical, biological, radiological, and nuclear' weapons- the highest risk rating ever given to its model by OpenAI; Experts say that AI software with more advanced capabilities (such as the ability to carry out step-by-step reasoning) is more likely to be abused by malicious actors.The American artificial intelligence company OpenAI acknowledges that its latest o1 model has 'significantly' increased the risk of being abused to manufacture biological weapons.On Thursday local time (September 12), OpenAI released a new generation of o1 series models, claiming to be able to reason about complex tasks and solv.

①o1在“化学、生物、放射和核”武器相关的问题上存在“中等”风险——这也是OpenAI有史以来对其模型打出的最高风险评级；②专家称，具有更先进功能（例如执行逐步推理的能力）的AI软件，在恶意行为者手中更容易被滥用。美国人工智能公司OpenAI承认，其最新的o1模型“显著”增加了被滥用于制造生物武器的风险。当地时间周四（9月12日），OpenAI发布了新一代o1系列模型，宣称可以推理复杂的任务并解决比以前的科学、编码和数学模型更难的问题。这些进展也被认为是朝向通用人工智能（AGI）的关键突破。根据测试，o1模型在国际数学奥林匹克的资格考试中，能够拿到83%的分数，而GPT-4o只能正确解决13%的问题。在编程能力比赛Codeforces中，o1模型拿到89%百分位的成绩，而GPT-4o只有11%。OpenAI表示，根据测试，在下一个更新的版本中，大模型在物理、化学和生物学的挑战性基准测试中，表现能够与博士生水平类似。但能力越强的AI模型意味着其潜在的破坏力也更强。同一时间，OpenAI公布了o1的系统卡（用于解释AI如何运作的工具），报告概述了包括外部红队测试和准备框架（Preparedness Framework）等细节，并介绍了其在安全及风险评估方面所采取的措施。报告提到，o1在“化学、生物、放射和核”（CBRN）武器相关的问题上存在“中等”（medium）风险——这也是OpenAI有史以来对其模型打出的最高风险评级。OpenAI表示，这意味着该技术“显著提升”了专家制造生物武器的能力。据了解，评级一共分为“低、中、高和严重”四档，评级在“中”或以下的模型才可以部署，在“高”或以下的才可以进一步开发。专家称，具有更先进功能（例如执行逐步推理的能力）的AI软件，在恶意行为者手中更容易被滥用。图灵奖得主、蒙特利尔大学计算机科学教授Yoshua Bengio表示，如果OpenAI现在在化学和生物武器方面构成“中等风险”，那么这“进一步加强了”立法的必要性和紧迫性。Bengio提到了有望即将落地的“SB 1047法案”，全称“前沿人工智能模型安全创新法案”。该法案要求大型前沿人工智能模型的开发者采取预防措施，其中就包括减少模型被用于开发生物武器的风险。Bengio称，随着前沿AI模型向AGI迈进，如果没有适当的防护措施，风险将继续增加，“AI推理能力的提升及其利用该技能进行欺骗的潜力尤其危险。”OpenAI首席技术官米拉·穆拉蒂（Mira Murati）告诉媒体，由于o1模型的先进功能，公司在向公众推出该模型时采取了特别“谨慎”的态度。她补充道，模型通过了红队测试，在整体安全指标上远优于之前的版本。编辑/ping OpenAI's o1 model has a 'medium' risk in issues related to 'chemical, biological, radiological, and nuclear' weapons- the highest risk rating ever given to its model by OpenAI; Experts say that AI software with more advanced capabilities (such as the ability to carry out step-by-step reasoning) is more likely to be abused by malicious actors.The American artificial intelligence company OpenAI acknowledges that its latest o1 model has 'significantly' increased the risk of being abused to manufacture biological weapons.On Thursday local time (September 12), OpenAI released a new generation of o1 series models, claiming to be able to reason about complex tasks and solv.