Is the Sun bigger than the Earth？研究大語言模型（LLMs）對真實世界中物體大小的理解能力

#POSQA物體大小問答數(shù)據(jù)集

一個名為POSQA的物體大小問答數(shù)據(jù)集。用于研究大語言模型（LLMs）對真實世界中物體大小的理解能力。研究發(fā)現(xiàn)，盡管LLMs在一定程度上能夠利用上下文信息提高性能，但它們仍然無法達到人類對真實世界物體大小的理解水平。此外，研究還發(fā)現(xiàn)，LLMs對問題格式的敏感性仍然存在挑戰(zhàn)。

原文精華：

“實驗表明，LLMs仍然無法穩(wěn)定地理解物體的大小。其表現(xiàn)與人類理解相比存在明顯差距?！?/span>“LLMs傾向于利用給定上下文中的信息，而不是依靠其內部權重。” “研究結果表明，為原始問題提供額外信息可以提高LLMs的性能，并增強其對真實世界的理解。然而，LLMs想要達到人類對真實世界的理解水平仍然存在難度，同時，LLMs對問題格式的理解存在挑戰(zhàn)?！?br>

以下是POSQA數(shù)據(jù)集中的一些示例問題和答案：

示例問題1：Question: Is the Sun bigger than the Earth? Answer: Yes 示例問題2：Question: Is an atom smaller than a planet? Answer: Yes 示例問題3：Question: Which one is smaller between an elephant and a mouse? Answer: Mouse 示例問題4：Question: Is a mountain bigger than a hill? Answer: Yes 示例問題5：Question: Which one is smaller between a car and a bus? Answer: Car

https://arxiv.org/pdf/2310.13394.pdf

# 我們可以使用續(xù)寫的提示技巧，來讓LLM回答這些問題：（如圖所示