A Computational Framework for Unifying Vision and Language

Authors:
Janice Glasgow
Published Online:
21 Sep 2010
DOI:
10.1080/002075998400178
Pages:
421–437
Volume/Issue No:
Volume 33 Issue 6

Additional Options

This paper presents a knowledge representation framework that provides an integrated approach to reasoning about vision and language in spatial domains. Images are stored using a representation that preserves information such as shape and distance; linguistic information is represented in a descriptive, semantic network. We incorporate a model‐based formalism as an intermediate representation, which can be used to transform visual to descriptive representations and vice versa.

Cet article présente une structure de représentation de la connaissance qui fournit une approche intégrée de la vision et du langage dans les domaines spatiaux. Les images sont emmagasinées en utilisant une représentation qui préserve l'information relative à la forme et à la distance; l'information linguistique est représentée par un réseau descriptif sémantique. Nous incorporons un formalisme basé sur un modèle comme représentation intermédiaire, qui peut ětre utilisée pour transformer l'information visuelle en représentations descriptives et vice‐versa.

© 1998 International Union of Psychological Science