Artículo Científico

 

Técnica de Evaluación de Conocimiento en Procesos de Integración Ontológica

 

 

Oscar Antezana, Rodrigo Martínez-Béjar

Universidad Católica Boliviana
Cochabamba, Bolivia
e-mail: oscar.antezana@jalasoft.com rodrigo@dif.um.es

 

 

---

Resumen

En la construcción de bases de conocimiento, es muy importante evaluar la calidad del conocimiento ingresado. En este trabajo, se presenta un método para la evaluación del conocimiento que es aplicado como parte de un proceso de integración de ontologías.

El método presentado aprovecha la estructura de las ontologías (que representan el conocimiento)para realizar diversas comparaciones entre las ontologías a integrar y la ontología integrada, a fin de evaluar el aporte de cada ontología.

Palabras clave: Ontología, Memoria corporativa, Integración de conocimiento.

---

 

 

1.    Introducción

El conocimiento se ha convertido en el elemento distintivo para la competitividad de las organizaciones, de manera que la gestión del conocimiento es uno de los factores clave para lograr un óptimo uso del mismo. Según [7], "los objetivos de la gestión del conocimiento en una organización son: promover el crecimiento, la comunicación y la preservación del conocimiento en la misma".

Con respecto a la distribución del conocimiento, uno de los ejemplos más importantes de los Sistemas Distribuidos de Gestión del Conocimiento es la Memoria Corporativa (MC). Según [3], "la MC es un repositorio de conocimiento y know-how de un conjunto de individuos que trabajan en una firma en particular". Dentro de la construcción de la MC, es muy importante evaluar el conocimiento antes de incluirlo en el sistema. En este artículo, se presenta un proceso de evaluación de la calidad del conocimiento que cada experto ingresa en el sistema, mediante comparaciones entre las ontologías presentadas por cada uno de ellos y comparaciones con la ontología final integrada.

2.    Fundamentos Ontológicos

Una ontología puede definirse como "Una comprensión compartida y común de algún dominio que pueda ser comunicada a través de personas y computadoras" [2]. Uno de los tipos más importantes de ontologías, es la ontología de dominio, la cual puede ser definida como "La especificación de una conceptualización del conocimiento de un dominio" [5]. En este artículo, las ontologías serán representadas por medio de Multiple Hierarchical Restricted Domains (MHRD), esto es, un conjunto de conceptos que posee las siguientes propiedades [4]:

•  Se definen a través de un conjunto de atributos, de modo que la presencia de axiomas entre atributos no será considerada.

•  Puede haber relaciones taxonómicas (basadas en la relación IS-A) entre conceptos, de forma que está permitida la herencia (múltiple) de atributos.

•  Puede haber relaciones mereológicas (basadas en la relación PART-OF) entre conceptos.

Las relaciones taxonómicas son irreflexivas, antisimétricas y transitivas, mientras que las relaciones mereológicas son irreflexivas y antisimétricas, pero no son transitivas[4].

 

3.    Criterios y técnicas para la evaluación

Por lo general, las ontologías a evaluar pueden provenir de distintas fuentes, en nuestro caso distintos (usuarios) expertos. Cada experto posee una visión sobre el área de dominio de una forma particular y posee mayor experiencia en algún área del conocimiento que el resto [6]. Por ejemplo, consideremos que existen dos expertos (A y B) quienes proponen dos ontologías reflejadas en las figuras 1 y 2. Como se puede ver, algunos conceptos pueden ser expresados de forma diferente (Person y People), y por lo tanto requieren ser integrados de forma que se obtenga una sola ontología con todos los conceptos y relaciones expresados por los expertos, pero sin conceptos duplicados o inconsistencias. La figura 3 muestra la ontología integrada y personalizada (a nivel del vocabulario) al experto B.

Sin la información adicional sobre la experiencia de la fuente de cada ontología, se puede considerar que el conocimiento que es expresado por el mayor número de expertos es el mejor. Por ejemplo, el concepto de Building está presente en ambas ontologías de entrada y por lo tanto representa un concepto más apoyado que Teacher o Student, los cuales son presentados sólo por uno de los expertos. De esta forma, se puede evaluar el conocimiento contenido en cada ontología según el apoyo que éste posee por parte de los otros expertos.

La técnica de evaluación presentada en este artículo tomará únicamente la información contenida en las ontologías de entrada, permitiendo que la evaluación sea automática. En el caso del modelo ontológico a ser utilizado, se evaluarán independientemente las relaciones y los conceptos expresados en cada ontología. La evaluación dada a cada elemento de la ontología se basará en el apoyo que posee con respecto a las otras ontologías.

Es fácil observar que los criterios utilizados en esta técnica de evaluación sólo son válidos si el conocimiento contenido en las ontologías es correcto y no es inconsistente con el contenido en las otras ontologías. Por esta razón, se tomarán como ontologías entrantes aquellas que no son inconsistentes y que además utilizan los mismos nombres para describir los mismos conceptos y atributos.

3.1. Funciones ontológicas

Para permitir un mejor manejo de los elementos que forman parte de una ontología. se hará uso de algunas funciones ontológicas, basándose en las presentadas en anteriores trabajos [4, 1], las cuales se describen en la tabla 1.

3.2. Notación para la evaluación

Consideremos que se desea evaluar un conjunto de N ontologías. Definiremos K₀ como el conjunto de los N MHRD correspondientes a las ontologías de entrada, es decir:

Por otro lado, definiremos a K_C como el conjunto de conceptos que son expresados en las N ontologías que forman parte de K_o, formalmente:

Función E-concepts. Sea c_j un concepto perteneciente a K_C, el conjunto de conceptos equivalentes a c_j, denotado E-concepts(c_j) se define como el conjunto de conceptos con el mismo nombre que aparecen en K_O, formalmente:

donde EQUALS(a, b) significa "el nombre del concepto a es igual al nombre del concepto b".

3.3. Evaluación de Relaciones

Siguiendo con el criterio mencionado anteriormente, y utilizando una notación similar a la presentada en [6] para la evaluación de las relaciones, se parte por crear una estructura que facilite el proceso de análisis de las relaciones expresadas por todas las ontologías a evaluar. La estructura mencionada se crea de la siguiente forma:

Primero se construye una lista de conceptos a la que llamamos CL y una lista de relaciones a la que llamamos RL. Formalmente:

donde R_t es la relación taxonómica y R_m es la relación mereológica.

En el caso del ejemplo presentado, CL y RL serían construidos de la siguiente forma (A cada concepto se asocia una letra para simplificar la aplicación sobre el ejemplo):

Posteriormente para cada tipo de relación (taxonómica y mereológica) se crea una matriz RM por cada experto (u ontología de entrada), donde se expresa numéricamente la existencia de relaciones entre conceptos. Cada matriz está organizada por la lista de conceptos (CL), tanto en las filas como en las columnas. Si existe una relación entre dos conceptos entonces en la intersección se marca un 1 caso contrario se marca con un 0. Formalmente, estas matrices se definen usando la ecuación 10.

donde RM^k,l significa matriz de la relación k y la ontología l.

Para el caso del ejemplo, las matrices resultantes están detalladas en los cuadros 2 (relaciones taxonómicas para el experto A), 3 (relaciones taxonómicas para el experto B), 4 (relaciones mereológicas para el experto A), 5 (relaciones mereológicas para el experto B).

 

 

 

Para construir la matriz de evaluación de las relaciones, RE, se procede a evaluar una a una las matrices RM definidas anteriormente. Para cada experto (l) y cada tipo de relación (k) se evalúa el apoyo a cada relación en las matrices de los otros expertos. La evaluación será realizada utilizando la fórmula 11, la que puede entenderse de la siguiente forma: por cada relación k, y para cada par de conceptos, los valores correspondientes en una matriz intermedia, se obtienen sumando los valores de las matrices de los otros expertos; este valor es considerado solamente cuando la relación fue expresada por el experto. Al valor obtenido se le suma el valor propuesto por el experto, y el resultado es la evaluación de la relación para un experto dado l y una relación dada k. Matemáticamente, se escribe de la siguiente manera:

En el ejemplo usado hasta ahora, para el experto A, la relación mereológica (B, A) es evaluada de la siguiente forma: En la matriz RM^m,B correspondiente al experto B, la relación tiene el valor de 1, y al no haber otros expertos, la suma de la evaluación de los otros expertos es 1; y por estar presente en la matriz RM^m,A, ese valor es considerado y se suma al valor que tiene la relación en la matriz del experto A, lo que da como resultado 2. Si se realiza el mismo procedimiento para todas las celdas presentes en la matriz RM^m,A se obtendrá la evaluación del experto A en relaciones mereológicas.

Despues de aplicar la fórmula 11 al ejemplo presentado, se obtiene como resultado la matriz RE reflejada en el cuadro 6.

3.4. Evaluación de Conceptos

De forma muy similar a la evaluación de relaciones, se procederá a evaluar los conceptos, creando una estructura previa que facilite la tarea de evaluación.

Primero se construye una lista de atributos por cada concepto que forma parte de la lista CL.

Formalmente:

donde CL_j representa el j-ésimo concepto de CL y AL_j la lista de atributos del concepto CL_j.

Haciendo referencia al ejemplo presentado, AL_BUILDING estaría formado por: height, construction date, floor, los que representan los atributos del concepto en la ontología del experto A más los atributos del concepto equivalente en la ontología del experto B. Este mismo trabajo se puede aplicar sobre todos los conceptos de CL.

También se construye un conjunto de matrices representadas por CM, una matriz por cada concepto de CL.

donde CM^j representa la matriz de evaluación de CL_j

Como se puede observar, CM es una matriz en la cual se refleja la presencia o ausencia de cada atributo de AL para cada concepto dentro de la ontología presentada por el experto. Por ejemplo, para el caso del concepto BUILDING, la matriz resultante se refleja en el cuadro 7.

Para realizar la evaluación, se procede a evaluar cada una de las matrices que forman parte de CM. Por cada atributo de una matriz, se procede a evaluar el grado de apoyo que posee por parte de los otros expertos, utilizando la fórmula 14, presentada a continuación:

La matriz CE resultante representa la evaluación realizada a cada concepto de CL, y es muy similar a la matriz de evaluación de relaciones (RE). Por cada concepto, se evalúa el apoyo que cada experto ha tenido en términos de los atributos provistos en la ontología del experto. Si se considera el concepto de BUILDING, el experto A ha presentado dos atributos: height que no fue presentado por ningún otro experto y por lo tanto es evaluado en 1, y el atributo construction date que si está presente en O_intB y por lo tanto tiene un valor de 2, haciendo un total de 3 como la evaluación del concepto. El resultado de aplicar este paso a cada concepto de CL, se puede observar en el cuadro 8.

 

4.    Proceso de evaluación

El proceso de evaluación es realizado dentro de un entorno para la integración de ontologías [4]. Este entorno ha sido diseñado para construir ontologías utilizando las brindadas por un conjunto definido de usuarios. El entorno maneja los problemas de inconsistencia entre las ontologías a integrar. Cada vez que un usuario agrega o modifica su conocimiento a su ontología privada, tal conocimiento es incorporado en O_int. Se toma en cuenta que varios usuarios pueden enviar su conocimiento para construir la ontología integrada al mismo instante. Por lo cual, se distinguen entre las piezas de conocimiento proveídas por los diferentes usuarios.

En este entorno, cada vez que un usuario envía una solicitud a O_int, verá una ontología O_int "virtual". En esta ontología, los nodos conceptos que resulten ser sinónimos de otros contenidos en la ontología correspondiente al usuario serán remplazados por el término utilizado por el usuario en cuestión. Esta estrategia se puede expresar de la siguiente forma:

Dada una ontología derivada de la integración O_int y una ontología correspondiente a un usuario O_i, ambas ontologías consideradas en un instante particular, la versión instanciada de la ontología integrada para el usuario será aquella que mantenga las siguientes condiciones:

1.  Sus enlaces (topológicos) son los mismos que los de O_int.

2.  Todo concepto debe pertenecer, bien a la MHRD correspondiente a la ontología O_i (si hay al menos un concepto perteneciente a la MHRD de la ontología derivada de la integración 0 O_int, que es el sinónimo del concepto en cuestión) bien a la ontología global.

3.  Todo concepto perteneciente a la MHRD correspondiente a la ontología derivada de la integración, O_int, debe pertenecer bien a la MHRD correspondiente a O_i (si hay al menos un concepto perteneciente a la ontología derivada de la integración sinónimo del concepto en cuestión), bien a la ontología derivada de la integración.

Dado que la evaluación de las ontologías debe ser realizada en igualdad de condiciones, lo que significa que sólo se tomará en cuenta aquellas ontologías libres de ambigüedades, que no sean ni equivalentes ni inconsistentes entre sí y que posean los mismos nombres para expresar los mismos conceptos, se realizará la evaluación entre las ontologías que forman parte de la ontología integrada e instanciada (O_temp).

Para el proceso de evaluación, se toman en cuenta dos tipos de evaluación:

1.  Evaluación Expert to Expert (E2E): Que realiza una evaluación entre las ontologías de entrada, comparándolas entre sí. También es posible llamar a esta evaluación como: Initial Evaluation o IE dado que se realiza al inicio del proceso antes de obtener la ontología personalizada e integrada.

2.  Evaluación Expert to Personalized ontology (E2P): Aquí se realiza una evaluación entre la ontología provista por un experto y la ontología personalizada e integrada. También es posible llamar a esta evaluación como Final Evaluation o FE, dado que serealiza cuando ya se tiene la ontología personalizada.

En la evaluación E2E, se intenta obtener una evaluación que muestre el nivel de conocimiento presentado por las ontologías (sin tomar en cuenta cómo será el resultado final), mientras que en la evaluación E2P se pretende evaluar el aporte que una ontología tiene sobre el resultado del proceso de integración y personalización.

En el caso de la evaluación E2E, se utilizará el algoritmo de evaluación de ontologías tomando como entrada las N ontologías de los N expertos. Y en el caso de la evaluación E2P, se realizaran N evaluaciones de ontologías tomando en cada caso la ontología O_i tal que O_i es una ontología de entrada, junto con la ontología personalizada e integrada. Para obtener la calificación final de cada ontología se realizará una suma de los puntos obtenidos en la evaluación E2E (tanto a nivel de relaciones como a nivel de conceptos) más la suma de los puntos obtenidos en la correspondiente evaluación E2P (igualmente tanto a nivel de relaciones como a nivel de conceptos).

Debido a que el ejemplo utilizó las ontologías de entrada (comparando la ontología del experto A con la del experto B), se realizó una evaluación E2E. Usando la matriz RE presentada en el cuadro 6, se puede obtener como resultado de relaciones, la evaluación de 7 para el experto A y de 8 para el experto B. Usando la matriz CE presentado en el cuadro 8, la evaluación a nivel de conceptos resulta en 11 para el experto A y 12 para el experto B. Un ejercicio similar al del ejemplo aplicado entre cada ontología de entrada y la ontología integrada permitirá realizar una evaluación P2P.

 

 

Para la evaluación final, se obtiene la suma de los puntos de cada experto en cada una de las evaluaciones y se obtiene el porcentaje de la suma total para todos los expertos. En el ejemplo presentado, la evaluación para el experto A da como resultado 39 (formado por la suma de las evaluaciones E2E and E2P tanto a nivel de relaciones como de conceptos), que representa el 47

 

5.    Conclusiones

El gran impacto que la IA distribuida posee en la actualidad obliga al desarrollo de herramientas de administración del conocimiento para entornos multiusuario. En esta área de trabajo, la construcción de bases de ontologías, como repositorios de conocimiento, utilizando diversas fuentes que trabajan cooperativamente, requiere de medios de evaluación de las ontologías de entrada, del proceso de integración y de la ontología de salida. Los resultados obtenidos de las evaluaciones sirven al ingeniero del conocimiento como guías para medir la calidad del repositorio.

El trabajo presentado en este artículo muestra una técnica para evaluar de forma automática el conocimiento proporcionado por expertos durante el proceso de integración de ontologías. La técnica aprovecha la estructura utilizada para representar las ontologías y mide el conocimiento contenido en las mismas mediante comparaciones entre todas las ontologías. La evaluación obtenida brinda una calificación relativa, pero que puede ser utilizada para diferentes propósitos, entre ellos mejorar el proceso de integración de forma que tome en consideración las calificaciones anteriores cuando se tengan que resolver inconsistencias, dando mayor "confianza" al experto que posea mejores evaluaciones en anteriores procesos.

Como consecuencias directas de la técnica propuesta, es necesario discutir dos aspectos de suma importancia. Primeramente, para poder aplicar la técnica propuesta, es necesario contar con fuentes muy confiables, dado que el principio base es que todas las ontologías de entrada representan conocimiento válido y, por lo tanto, no se incluye como parte de la calificación la confiabilidad de la fuente, aspecto que puede ser abordado en futuras investigaciones. En segundo lugar, los resultados obtenidos brindan medidas relativas, por lo que no sirve para comparar entre varias ejecuciones del proceso, ni evaluaciones de integraciones en otros dominios. Los dos aspectos mencionados anteriormente presentan limitaciones en la aplicabilidad de la técnica propuesta, pero en ningún caso opacan las ventajas que se obtienen de una evaluación automática y basada exclusivamente en los elementos que participan del proceso de integración.

 

Referencias

[1] R. Martínez Béjar, V.R. Benjamins, y F. Martín Rubio. Designing operators for constructing domain knowledge ontologies. En Lecture Notes in Artificial Intelligence, Vol. 1319 de Lecture Notes in Computer Science, pp 159-173. Springer-Verlag, 1997.

[2] V.R. Benjamins, B. Wielinga, J. Wielemaker, y D. Fenser. Towards brokering problem-solving knowledge on the internet. En Lecture Notes in Artificial Intelligence, Vol. 1621 de Lecture Notes in Computer Science, pp 183-292. Springer-Verlag, 1999.

[3] J. Euzenat. Corporate memory through cooperative creation of knowledge based systems and hyper-documents. En Proceedings in Knowledge Acquisition Workshop '96, pp 36-1 36-20, Banff, Canada, 1996.

[4] J. Fernandez-Breis y R. Martínez Béjar. A web-based framework for integrating knowledge. En Industrial Knowledge Management - A Micro Level Approach, pp 123-138. Springer-Verlag, 2000.

[5] G. Van Heijst, A. Shreiber, y B. Wielinga. Using explicit ontologies in kbs development. En International Journal of Human-Computer Studies, Vol. 45, pp 183-292, 1997.

[6] S. Puuronen y V. Terziyan. Knowledge acquisition from multiple experts based on semantics of concepts. En Lecture Notes in Artificial Intelligence, Vol. 1621 de Lecture Notes in Computer Science, pp 256-273. Springer-Verlag, 1999.

[7] L. Steels. Corporate knowledge management. En Proceedings of International Symposium on the Management of Industrial and Corporate Knowledge '93, pp 223—235, Compiegne, Francia, 1993.