《生成式人工智能服务管理暂行办法》下，8家备案模型的内容真实性评估

随着人工智能技术的飞速发展，生成式人工智能服务已成为信息传播与创意生成的重要工具，如ChatGPT等模型在各界引起广泛关注。然而，这种技术也带来了一个亟待解决的问题：如何确保生成内容的真实性？尤其是在我国《生成式人工智能服务管理暂行办法》实施后，对这一问题的关注度更是达到了前所未有的高度。

《生成式人工智能服务管理暂行办法》明确指出，提供者应基于服务类型特点，采取有效措施，提升生成式人工智能服务的透明度，提高生成内容的准确性和可靠性。在这样的背景下，国内8家备案模型近日成为焦点，它们生成内容的事实准确性备受期待。这些模型是否能够在信息传播中胜任其角色，以及它们在实际应用中的效果如何，都是公众关心的核心问题。

为了评估这些备案模型在事实准确性上的表现，上海交通大学清源研究院生成式人工智能研究组进行了一项全面的评估工作。评估涵盖了七个场景，包括通用知识、科学、医药、法律、金融、数学以及中国近代史，旨在全方位考察模型在日常生活各个领域中的应用能力。评估团队从七个场景中收集了125个题目，并以OpenAI公司的GPT-4作为对照组。

评估结果显示，虽然部分模型在某些领域表现出色，但整体而言，所有模型在事实准确性上均存在不足。即使是表现最好的模型，其得分率也仅为61%，远低于人们对于“事实准确性”的期待。特别是在科学研究领域，大部分模型的表现令人失望，回答正确率普遍低于30%。

这些发现揭示了生成式人工智能服务在当前阶段面临的巨大挑战：如何在保证内容创新性的同时，确保其事实准确性？针对这一问题，清源研究院提出了一系列建议，包括加强基础数据的真实性核查、优化模型的训练方法以及提高模型的自我纠错能力等。

此外，《生成式人工智能服务管理暂行办法》也为行业发展指明了方向。它鼓励生成式人工智能算法、框架、芯片及配套软件平台等基础技术的自主创新，同时也要求提供者建立健全的投诉、举报机制，及时处理公众对于生成内容的异议。可以预见，在政策的引导和市场的共同努力下，生成式人工智能服务将在未来实现更高水平的发展。

综上所述，《生成式人工智能服务管理暂行办法》的实施无疑对保障生成内容的真实性起到了积极的推动作用。然而，要确保生成式人工智能服务在各个领域中的广泛应用和深度融入，仍需全产业链的共同努力。从数据源头到模型训练，再到服务提供和监管环节，每一步都需要精益求精，以实现生成式人工智能服务的可持续发展。