12月6日,谷歌正式发布Gemini人工智能模型。根据谷歌官方称,Gemini1.0是目前为止谷歌能力最强的通用人工智能模型,一共有三种不同规模的优化版本,其中Pro版本已经安装到Bard上了,综合能力和GPT3.5相当。
https://bard.google.com/
谷歌Gemini一共有三个版本,分别是:
Gemini Ultra:谷歌最大、最强模型,适用于高度复杂的任务
Gemini Pro:可扩展至各种任务的Gemini模型
Gemini Nano:适用于端侧设备的高效Gemini版本(1.8B/3.25B)
其中Ultra的能力最强,复杂度最高,能够处理最为困难的任务,Pro能力稍弱,可以用来处理多任务,Nano则更注重于端侧的处理能力。
谷歌表示,对Gemini模型进行了严格的测试,并评估了它们在各种任务中的表现。
从自然图像、音频和视频理解,到数学推理等任务,Gemini Ultra在大型语言模型研发被广泛使用的32个学术基准测试集中,在其中30个测试集的性能超过当前SOTA结果。
另外,Gemini Ultra在MMLU(大规模多任务语言理解数据集)中的得分率高达90.0%,首次超越了人类专家。MMLU数据集包含数学、物理、历史、法律、医学和伦理等57个科目,用于测试大模型的知识储备和解决问题能力。
针对MMLU测试集的新方法使得Gemini能够在回答难题之前利用其推理能力进行更仔细的思考,相比仅仅根据问题的第一印象作答,Gemini的表现有显著改进。
谷歌还专门公布了在各方面能力上与OnpeAI目前最强的大语言模型GPT-4进行的对比,结果显示,在文本处理方面,除了在MMLU得分90%超过GPT-4的86.4%以外,Gemini Ultra在推理、数学、代码等方面能力的得分均高过GPT-4。
在多模态方面,Gemini也在包括图像、视频、音频等各个方面全面超越了GPT-4的能力。根据谷歌首席科学家、人工智能负责人的描述,Gemini模型在多模态模型推理能力方面已经达到惊人的程度。