MÍSTICA / FUNREDES

Proyecto Aplicaciones Piloto MISTICA (Yanapanako)

Aplicación Piloto: Listas de discusión y sitios web en la salud pública latinoamericana

Responsable: José Antonio Iturri

Equipo: André Falcão - Kenneth Rochel de Camargo 

INFORME FINAL 

RESUMEN:

El medio académico de la salud pública brasileña necesita agilizar y mejorar sus procesos de producción científica, fortalecer su posición en los rápidos cambios de las sociedad y renovar su papel como referencia en el debate público sobre salud. Con el propósito de conocer mejor el uso de la tecnología Internet en ese medio se evaluaron, entre Julio y Agosto de 2000, los sitios web de los 21 principales programas de post-grado ofrecidos por 18 instituciones académicas del área de la salud pública en el Brasil y se correlacionó esa evaluación con la calificación académica oficial (calificación CAPES) atribuida a esas instituciones. En base a la metodología "HiperVínculos" (anexo 1) y a una adaptación de la propuesta de Johnson e Misic (1999) para evaluación de sitios web, que define aspectos de orden "absoluto" (variables importantes para cualquier persona que visita un sitio) y "relativo" (variables definidas desde la perspectiva de usuarios específicos), se elaboraron 7 indicadores para analizar la "funcionalidad y navegabilidad" de los sitios y 20 indicadores para analizar su "calidad de información / comunicación". Estos últimos fueron divididos en 3 "perspectivas posibles", supuestas como frecuentes entre los usuarios de este tipo de web: "de interés en educación", "de interés en investigación" y "de interés no estrictamente académico".

Se atribuyó un punto por indicador presente; un sitio que presentase todos los indicadores obtendría la puntuación máxima posible. El conjunto de la muestra presenta puntuaciones bajas: Las puntuaciones máximas posibles y los promedios generales para cada grupo de indicadores fueron los siguientes: en navegabilidad: 7 y 3,3, en perspectiva de interés en educación 8 y 3, perspectiva de interés en pesquisa 10 y 2,8, perspectiva no estrictamente académica 2 y 0,3. En relación a esos promedios, las puntuaciones de las variables relativas se distribuyen de forma diferenciada entre los programas de post-grado con calificación CAPES 3 (mínimo para reconocimiento oficial) y aquellos con calificación CAPES 4 o 5 (buenos o muy buenos): En la perspectiva de educación 33% de los CAPES 3 vs. 78% de los CAPES 4 o 5 tienen puntajes superiores al promedio, en la perspectiva de pesquisa 8 % vs 67% tienen puntajes superiores al promedio, en la perspectiva no-académica la puntuación general es muy baja y no permite una comparación. Estos resultados evidencian una apropiación institucional incipiente e insuficiente de la tecnología web en los aspectos evaluados y sugieren una tendencia a la concentración de la características positivas analizadas en las instituciones mas consolidadas y que presentan un mejor desempeño académico en las evaluaciones oficiales. Se discuten: la insuficiencia de la apropiación en relación al supuesto potencial del espacio web para la ciencia, los indicios de concentración en relación a la hipótesis de que los indicadores relativos correlacionan con el desarrollo institucional y los problemas específicos de la apropiación de las nuevas tecnologías en el medio académico en relación al concepto de "tecnologías intelectuales" (Levy, 1993). 

TERMINOS DE BUSQUEDA: Internet; salud pública; salud colectiva; educación superior; evaluación. 
 
 

 
INTRODUCCIÓN: DESARROLLO Y CONTEXTO DEL PROYECTO

La lectura los informes varias de las aplicaciones piloto Yanapanako disponibles en Enero/2001 (Lara, 2000; Johnson, 2000, Paredes, 2000; Veraaquimb, 2000) es reveladora: En todos los variados escenarios de esos proyectos (comunidades indígenas, pequeñas comunidades, instituciones universitarias) los usos de las llamadas nuevas tecnologías se adaptan y se tensan, entran en resonancia, con "el peso de la historia". Los informes muestran que las acumulaciones que conforman esas comunidades e instituciones, sus tendencias de cambio y de permanencia determinan buena parte del "impacto social" de esas tecnologías. Para no hablar de lo imprevisible... que a veces puede pesar más. 

En esta aplicación piloto esperamos mostrar algunos indicios de que ese peso influye también en la apropiación de las nuevas tecnologías de información / comunicación en un campo científico específico en América Latina. Esos indicios, aún más por ser los primeros que registramos, están ser objeto de crítica en relación a su representatividad y a la forma en que los interpretamos. Pero si consideramos los fenómenos sociales como procesos complejos lo importante es avanzar en interpretarlos / comprenderlos mejor más que en elaborar explicaciones exhaustivas que agoten sus posibles "causas", esforzándonos por construir la pertinencia de lo que conocemos, "en lugar de la evidencia, cuya pretensión era el conocimiento indudable de las cosas" (Hartz, 1997) . 

Como toda investigación, esta fue un proceso de "idas y vueltas en espiral" (esperemos que ascendente) en relación a la idea original que teníamos y a nuestro objeto de estudio. Por diversos motivos, algunos relacionados al objeto de la investigación y otros a limitaciones de nuestros métodos de contacto con webmasters y responsables de listas acabamos no desarrollando todos los objetivos que nos propusimos inicialmente. Esperamos que la parte de la realidad que logramos construir (como es construido todo conocimiento científico) con ayuda del enfoque teórico sirvan para comprender mejor la apropiación de las nuevas tecnologías de información / comunicación en este medio social específico. En este sentido, algunas personas pueden considerar que el mundo académico es "menos social" que el resto de la sociedad. Pensar así sería un error, por que sería considerar que las dinámicas que constituyen la sociedad (poder, dominación y resistencia, creación, clases y grupos, intereses, alianzas, conflictos) están ausentes de las instituciones y de los quehaceres universitarios. Bien que los científicos quisieran que creyésemos eso. Por otro lado, nos parece reduccionista limitar "lo social" a "lo popular"; la sociedad puede ser vista como "holografica", con cada faceta de ella conteniendo elementos del resto de la imagen.

Desarrollo del proyecto y modificaciones de la propuesta original.

Comenzaremos resumiendo las varias fases de la etapa inicial del proyecto (hasta Junio/2000): revisión metodológica, exploración inicial del campo, constatación de dificultades para reunir la muestra originalmente programada de sitios web y listas, redefinición de la muestra, recolección de informaciones, inicio del análisis. 

Constatamos la escasez relativa de referencias bibliográficas sobre metodologías para la evaluación del tipo de producto que estudiamos. No es que no existan pero aún son difíciles de encontrar y no hay todavía "obras de referencia" en este campo. Es de esperarse que esto suceda para casi cualquier tema relacionado con Internet y aún más con estudios de tipo evaluación que tienen menos de 10 años (en el caso de la evaluación de sitios web) o poco mas de 10 años (en el caso de listas electrónicas de discusión). 

Lo interesante, y que nos dejo una impresión de vino añejo en botella nueva, ha sido notar que la mayoría de los problemas que este tipo de evaluación plantea tienen equivalentes en la experiencia de evaluación de proyectos y de instituciones en general. Por ejemplo la importancia que tiene para una evaluación conocer los criterios con los cuales fue diseñado un proyecto; las dificultades de definir parámetros objetivos de evaluación. Así como los paralelos con la investigación de ciencias sociales en general, en especial en antropología; por ejemplo la permanencia y reactualización de las cuestiones clásicas sobre "objetividad", el papel del "observador" en relación al objeto de estudio, "representatividad" de muestras y universos, y "control de resultados" así como las cuestiones y dudas relacionadas a la observación de espacios de comunicación como las listas de discusión 

Pero lo más importante en esto de hallar viejos problemas en relación a nuevos objetos fue confirmar la necesidad de esforzarse en tener alguna creatividad, en especial en las alternativas metodológicas, analizando propuestas ya publicadas, combinándolas cuando fuera pertinente. 

En relación a nuestros dos objetos específicos de interés (listas y sitios) resumimos los avances y dificultades así: 

  1. Listas electrónicas de discusión académica en salud pública: En nuestra primera tentativa de localización de estas listas distribuimos un total de 310 mensajes de correo electrónico (incluyendo entre estos, mensajes distribuidas en las listas de noticias de dos instituciones académicas). Nuestro mensaje pedía que nos informasen sobre listas de discusión definidas como "listas cuyas tematicas o participantes sean principalmente latinoamericanos. Pueden ser listas restringidas a una institucion o a un grupo de especialistas o abarcar publicos mas amplios (participantes de varios puntos de un pais o de varios paises). Las tematicas pueden ser academicas, de servicios, de investigacion etc." (anexo 2). Obtuvimos una tasa de respuesta extremamente baja: 29 mensajes de respuesta, refiriendo 5 listas que se aproximaban a nuestra definición; 4 eran brasileñas y 1 de un organismo regional. El mensaje fue re-enviado y no recibimos respuesta adicionales. 

La cuestión de la baja tasa de respuesta continua aún sin una explicación definitiva. Nuestra primera hipótesis es un error metodológico (y en realidad existirían un número significativamente mayor de listas que todavía no conseguimos localizar) y/o una deficiencia intrínseca de las técnicas de búsqueda de información a través de solicitudes escritas (Oppenheim, 1991) y por correo electrónico (Urribarrí, 1999; Rojo, 1995). La segunda es que la baja tasa de respuesta sea un reflejo de la realidad (y en realidad existirían pocas listas de discusión propiamente científica en esta área). 

A partir de Junio enviamos mensajes a los responsables de listas de discusión para invitarlos a participar de la investigación y pedirles autorización para usar las informaciones de las listas. Recibimos 1 respuesta, favorable. A esta falta de respuesta se sumaron (a) nuestra dificultad para tomar una decisión sobre la representatividad de las 7 listas que identificamos (5 mediante las respuestas mencionadas y 2 que conocíamos anteriormente) en relación a un supuesto universo de listas, (b) problemas del coordinador del proyecto. En estas circunstancias llegamos a Setiembre/2000 sin informaciones significativas sobre este asunto. En este punto decidimos alterar el diseño inicial eliminando del estudio las listas de discusión. 

  1. Sitios web de instituciones académicas: 

Durante la primera etapa decidimos modificar la propuesta original de la investigación y restringir también el universo de sitios web evaluados. Así como en el caso de las listas de discusión, nos fue difícil elaborar un criterio suficientemente objetivo para decidir cual era un número "significativo" de sites de instituciones latinoamericanas. A la dificultad de encontrar un número menor que lo esperado de webs de instituciones académicas de salud pública en la región, se sumó la dificultad de evaluar su peso relativo en cada país y en la región con el fin de realizar algún tipo de comparación entre ellas. Aprovechando una característica específica del sistema de educación superior brasileño se opto por restringir el universo de la investigación, enfocando el estudio en el post-grado del Brasil. Se resolvió entonces usar el criterio de clasificación de programas de post-grado implantado por el organismo federal CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior) que evalúa todos los programas de post-grado del país y atribuye una calificación para cada uno (ver pag. 5).  

Dos dificultades adicionales, en relación a los objetivos originales con alcance regional:

  1. la definición de "hechos con repercusión en la opinión pública" o "temas de actualidad". Esta calificación depende de la opinión de observadores de cada país (los únicos en condiciones de evaluar y acompañar coyunturas nacionales específicas) que no conseguimos contactar (y en lo que reconocemos que no aprovechamos la oportunidad que ofrece el espacio MISTICA para encontrar esos contactos). Esta fue otra motivación para restringir el universo de la investigación.
  2. Nuevamente las dificultades de contacto con "los humanos que están por atrás de la red": En Setiembre/2000 enviamos un mensaje (anexo 3) a los responsables (técnicos, administrativos o personas de contacto) de los sitios evaluados. Recibimos, después del segundo re-envio, una (01) respuesta. Lo que nos dejó sin una aproximación a los procesos mediante los cuales se genera y desarrolla un site, un aspecto importante en nuestro enfoque, que permitiría comprender mejor las características encontradas. 

Simultáneamente conseguimos realizar una revisión razonablemente amplia de los materiales disponibles sobre evaluación de web y definir mucho mejor y operacionalmente las variables a ser evaluadas. Consideramos que este es uno de los aportes útiles de esta investigación.

 
Salud pública1 y campo de la salud pública en el Brasil

Comenzamos caracterizando el medio en el cual desarrollamos la investigación. La salud pública es un amplio conjunto de saberes y prácticas cuya definición es objeto de continua discusión y que en algunos casos se superpone, en otros engloba y en otros entra en conflicto con términos como "salud colectiva" o "medicina comunitaria". En realidad estas concepciones se interpenetran y no siempre se puede delimitar nítidamente sus dominios y fronteras (Castiel, s/f). Pueden identificarse por lo menos 5 connotaciones diferentes en que se usa la expresión "salud pública": (1) el término pública equivale al sector público, gubernamental; (2) puede incluir la participación de la comunidad organizada, "el público"; (3) se identifica con los servicios dirigidos a la dimensión colectiva de la salud (por ejemplo: servicios de saneamiento básico, programas de vacunación en masa, campañas educativas), en contraste con la atención médica individualizada; (4) incluye, en lo antes citado, servicios dirigidos a grupos vulnerables (por ejemplo, Programas de Salud Materno Infantil); (5) se refiere a problemas de elevada frecuencia o amenazadores para el conjunto de la sociedad (por ejemplo, epidemias, catástrofes) (Castiel, s/f). Una definición, que no busca resolver el debate y que reconoce las mencionadas facetas, considera la "salud pública" como un dominio genérico de prácticas y conocimientos, organizados institucionalmente en una determinada sociedad, dirigidos a un ideal de bienestar de las poblaciones, en el sentido de acciones y medidas que eviten, reduzcan y/o minimicen prejuicios a la salud, garantizando condiciones pata el mantenimiento y sostén de la vida humana (Sabroza, 1994). La existencia de diversas acepciones de salud pública se relaciona también con los diferentes intereses de instituciones y grupos que actúan en esa área; pueden considerarse un reflejo de esto las diversas denominaciones ("salud colectiva", "epidemiología", "salud pública" etc.) de los programas de post-grado incluidos en este estudio. Para interpretar esto debe también considerarse la densa dinámica que se establece entre debates epistemológicos, enfoques teóricos y modificaciones políticas e institucionales al interior del campo. Los resultados de este estudio debe leerse a la luz de la heterogeneidad institucional y conceptual del área. 

La mencionada definición de Sabroza (1994) es importante por que introduce la idea de la "organización institucional" de los saberes y prácticas. Las organizaciones que actúan en esta área pueden ser servicios de salud públicos o privados (estos con fuerte influencia sobre el financiamiento del área y sobre las expectativas de salud de la población), organismos oficiales que regulan las intervenciones, organizaciones gremiales e instituciones científicas. Este estudio se centra en las últimas, que en el caso brasileño tienen un papel central en la historia moderna de la salud del país. 

Un número significativo de las instituciones e individuos que componían el llamado "movimento da reforma" (movimiento de amplia base social y política que desde la década de los 70 llevo adelante una intensa lucha por el reconocimiento del derecho a la salud como un elemento esencial de la ciudadanía) ocuparon un número paulatinamente creciente de cargos y papeles de importancia en la estructura política oficial del sector salud y en las instituciones universitarias (Ribeiro, 1991; Paim & Almeida Filho, 1998; Campos, 2000). En las universidades impulsaron su progresivo desarrollo y creciente mejora de calidad y competitividad en el medio académico. Desde estas influyeron, y continúan influyendo significativamente, en la orientación del sistema de salud brasileño, desempeñado un papel importante en el debate político y público sobre esa orientación. El área de saber de la salud pública se relaciona con otras áreas científicas y con el poder público. Se considera que desde la mitad de los 70 esta área se consolida como un campo científico, constituyendo un área específica de producción de conocimientos científicos e implementación de políticas públicas "un campo de investigación y formación de recursos humanos, con una razonable red de centros de docencia e investigación (...) cuyas actividades vienen recibiendo apoyo financiero - institucional de las principales agencias gubernamentales de fomento al desarrollo científico y tecnológico" (Ribeiro, 1991). En esta investigación se usa la definición oficial de instituciones reconocidas por el Estado (CAPES / Ministério de Educación) en el área, uno de los principales factores que afecta ese apoyo. 

Para entender mejor el medio académico estudiado, es importante mencionar el consenso que existe en el Brasil (y en el mundo) sobre la crisis de la salud pública, tanto como forma de intervención para el bienestar de las poblaciones, así como espacio de producción de conocimiento científico. No solamente la situación de salud de la mayoría de la humanidad se deteriora si no que las formas de actuación de la salud pública parecen nítidamente incapaces de mejorarla y sus abordajes epistemológicos y sus propuestas teóricas se muestran insuficientes no solo para remediarla como para explicarla y proponer alternativas (dos revisiones amplias sobre la crisis de la salud pública en la América Latina, con énfasis en el Brasil, son Campos (2000) y Paim & Almeida Filho (1998)). En el debate sobre la crisis se ha discutido en várias ocasiones la cuestión de una "nueva salud pública" (Frenk, 1992; OPS, 1992) que a pesar de ser objeto de diversas críticas dejó planteada una pregunta central: Cuales son los nuevos temas y los nuevos públicos a los que debe dirigirse la salud pública en un mundo que pasa por grandes transformaciones?. 

Por último, es necesario notar que varios de los programas analizados pertenecen a instituciones que desarrollan múltiples áreas científicas y no solo salud pública. En varios de los casos, los programas de salud pública ocupan una posición subordinada, especialmente en relación a facultades o departamentos de medicina u otras ciencias de la salud o ciencias biológicas. En otros, las instituciones responsables están dedicadas exclusivamente a la docencia e investigación en esta área. Eso contribuye para una alta heterogeneidad institucional, característica del campo (ABRASCO, 1996), debido a la cual puede inducirse que no todos los programas tienen las mismas capacidades de decisión y de gobernabilidad sobre sus sitios. Un programa en posición subordinada debe, si tienen la voluntad política y la estructura adecuadas, negociar estos aspectos con su institución matriz. Estas diferentes posiciones, asumimos, influyen fuertemente en la calidad de los sitios; aunque, debido a que no entrevistamos a los webmasters esto no fue demostrado. Al momento de elaborar la metodología y discutirlos resultados se asumió la heterogeneidad institucional como una característica estructural del campo2. Los resultados, de acuerdo con la noción de Levy sobre tecnologías de la inteligencia (ver pag. 8), estarían reflejando una lucha entre los diversos actores y proyectos de ese campo heterogéneo para incorporar de la tecnología web de acuerdo a sus intereses y desde sus posiciones. Esta lucha también se desarrolla al interior de cada una de las instituciones que conforman el campo.

Un panorama de el post-grado brasileño. La calificación CAPES.

Como consecuencia de la decisión política de favorecerlo para buscar un nivel de autonomia nacional en ciencia y tecnología, el nivel de post-grado (organizado en el Sistema Nacional da Pós-Graduação) es "reconocidamente el componente mas exitoso del sistema educacional brasileño" (CAPES, 1998a). 

El Sistema Nacional da Pós-Graduação depende del Ministério de Educación; en 1998 ese Sistema incluía:

  • 128 Instituciones de Educación Superior
  • 1,298 programas distribuidos en 72 "grandes áreas" de conocimiento, subdivididas en "áreas".
  • 11,988 alumnos en cursos de nivel de maestría
  • 3,633 alumnos en cursos de nivel de doctorado 

Un programa de post-grado puede incluir más de un tipo de "curso" (maestría, maestría profesionalizante, doctorado) y una misma institución puede albergar más de un programa. 

La Coordenação de Aperfeiçoamento do Pessoal do Ensino Superior (CAPES) es una entidad pública vinculada al Ministerio de Educación. Su objetivo principales ofrecer al Ministerio subsidios técnicos que permitan la formulación de las políticas de post-grado, coordinando y estimulando -a través de la concesión de becas de estudio y otros mecanismos- la formación de recursos humanos altamente cualificados para la docencia en el nivel superior, la investigación y la atención a la demanda profesional de los sectores público y privado. Es la única agencia de fomento al post-grado que mantiene un sistema de evaluación de cursos de post-grado. Este sistema de evaluación fue creado en 1976 y pasó por diversas reformulaciones y mejoras. La última modificación fue en 1998. La última evaluación general del post-grado fue en ese año, cuando se decidió que las próximas serían trianuales. Cada una de las áreas de conocimiento tiene comisiones especiales que realizan el seguimiento anual de los programas de su área. 

La CAPES publica, y actualiza continuamente, a través de las comisiones mencionadas, la relación de programas de post-grado evaluados, calificados y aprobados por el órgano (estas actualizaciones están disponibles en su sitio web (www.capes.org.br), la relación se modifica conforme nuevos programas son aprobados3.). Esta calificación es enviada al Ministerio de Educación, que la valida. La calificación va de 1 a 7 puntos. Solo son aprobados por la CAPES los programas que obtienen 3 o más puntos en la evaluación. Estos obtienen el reconocimiento oficial de los títulos de post-grado que otorgan. Los programas con puntuación menor que 3 "no están autorizados por el Ministerio de Educación para emitir diplomas de validad nacional". Los programas con calificación 4 o 5 equivalen en la calificación a "buenos" y "muy buenos". Aquellos que obtienen calificación 6 o 7 son considerados "programas con niveles de excelencia internacional". 

La calificación CAPES comienza con una recolección de datos, "retratando la situación de cada programa", mediante cuestionarios-modelo respondidos por las instituciones del sistema de post-grado. Con estos datos la agencia produce "diferentes tipos de listas, informes y tablas" y define los criterios generales para calificar las diferentes informaciones recolectadas. Entrega esto a las Comisiones especiales de cada área científica las que inician el proceso de evaluación, contextuando esos datos conforme su conocimiento del área y produciendo las síntesis o informes adicionales que consideren necesarios. La base de datos inicial incluye informaciones sobre: 

  1. Programas de estudios;
  2. Tesis, disertaciones y monografías producidas en los cursos;
  3. Producción Bibliográfica (libros, artículos);
  4. Producción Técnica;
  5. Producción Artística;
  6. Catastro de Docentes;
  7. Disciplinas ofrecidas;
  8. Líneas de investigación;
  9. Proyectos de investigación.  

Las comisiones especiales, formadas por representantes del área, evalúan ese conjunto de informaciones, las contextualizan en relación al grado de desarrollo del área, discuten los criterios de calificación, los aplican y producen las calificaciones de todos los programas4. 

En lo referente a esta investigación se aclara que la CAPES no evalúa solo el área de salud pública y no decide que es "el campo de la salud pública", que como se vio es una compleja disposición de organizaciones, fuerzas y enfoques. La agencia usa una definición de "área de salud pública" que permite abarcar el número más representativo posible de instituciones actuando ese nivel. Se decidió usar esta definición operacional por ser ampliamente aceptada en el medio estudiado. La relación y puntajes de los programas de salud colectiva incluidos en la investigación se ve en la sección de Metodologia (pag. 10).

EL ENFOQUE TEÓRICO

El medio académico y las nuevas tecnologías de información / comunicación: 
Historia, inteligencias y tecnología.

Situado en el contexto de crisis antes mencionado (ver pag. 4) el medio académico de la salud pública necesita agilizar y mejorar sus procesos de producción científica, fortalecer su posición en los rápidos cambios de las sociedad brasileña y renovar su papel como referencia en el debate público sobre salud (ABRASCO, 1996; Paim & Almeida Filho, 1998; Pitta, 1995) además de reducir el tiempo de titulación de los cursos y aumentar la producción científica de sus docentes (CAPES, 1998b). 

Numerosos autores sostienen que las nuevas tecnologías de información / comunicación tienen el potencial de modificar completa y favorablemente el medio académico, transformando las estructuras y dinámicas las instituciones de docencia y pesquisa de nivel universitario (Eckman & Quandt, 1999; Demo, 1997; Educom, 1996; Educom, 1995). Esa visión progresista y optimista parece basarse en una inferencia lógica: considerando que la ciencia tiene un importante componente comunicacional (ya que la aceptación del carácter científico de una producción solo se da después de su diseminación por canales especializados para su diseminación y uso por la comunidad de los científicos) y requiere de informaciones como su insumo básico, podría esperarse que un dispositivo de comunicación tan potente como Internet fuese rápidamente adoptado y produjese cambios significativos en los procesos de producción y reproducción de conocimiento científico. 

Es importante aclarar que, además de la experiencia empírica, existen estudios que ya demuestran una alta frecuencia de uso de diversas herramientas Internet (en especial e-mail, web y publicaciones electrónicas) entre los científicos de diversas áreas (para el caso brasileño véase (Gomes,1999; Costa, 1999; Freitas, 1998). Lo que esta en debate son el significado y la profundidad de esos cambios: ¿significan solo un aumento de la velocidad de los procesos mencionados?, ¿hasta que punto son diferentes de los procesos de producción y reproducción de ciencia que existían antes?, ¿se hace "mejor ciencia" cuando se usa Internet?. La divergencia entre las ventajas potenciales y las características del uso real se encuentran en la literatura internacional (Volkwein & Litten, 1999; Harrison & Stephen, 1996; DeSieno, 1995; Langston, 1996). Existen indicios de que esa divergencia también está presente en las actividades de instituciones académicas de salud pública en el Brasil (Iturri 1998). En una reciente evaluación de la relación entre las tecnologías de información y la productividad del medio académico en los Estados Unidos, cuando se analizan las variables de producción por trabajador, número de trabajadores y crecimiento económico, se afirma: "El argumento a favor de la adopción generalizada de las nuevas tecnoloías de información (TI) en universidades, editoras,bibliotecas y comunicación académica se basa en la esperanza -en realidad, en el dogma- de que las TI incrementarían sustancialmente la productividad (...). Pero es difícil escapar a la conclusión de que la TI no trajeron todo aquello que la hipérbole clamaba" (Ekman & Quandt, 1999). Estos mismos autores consideran que "la búsqueda de informaciones" representa solo una pequeña fracción del conjunto de actividades envueltas en los procesos de investigación y docencia académica y, en consecuencia, si el enfasis en el impacto de las nuevas tecnologías se pone en la velocidad de acceso a los datos "los métodos de enseñanza e investigación cambiarán, pero menos rápidamente de lo que algunos pueden esperar" (Ekman & Quandt, 1999). 

Es muy importante mencionar que esta situación no es homogénea y que existen diversas áreas científicas en las que las nuevas tecnologías son elemento central para su producción, como el caso de varias ciencias exactas y básicas (especialidades de física, matemática, química y genética, por ejemplo). Algunos de los motivos que hacen de esa heterogénea incorporación un proceso bastante más complejo de lo esperado incluyen la posición de algunos sectores del mundo académico, que perciben esos posibles cambios en sus formas de trabajo como "amenazas" ( Schwimmer, 1996), además de las variedad de ritmos y procesos de producción entre diferentes áreas, las diferentes historias de disciplinas e instituciones (Educom, 1996). 

Y si lo anterior se refiere más específicamente a las actividades directas de producción y reproducción de conocimiento científico un panorama igualmente complejo puede verse también en la relación entre las instituciones científicas y la sociedad y al papel de las nuevas tecnologías en esa relación. Para instituciones académicas públicas la Internet, y especialmente la web, puede ser vista como un importante canal de comunicación con la sociedad. Podría plantearse este asunto mediante cuestiones como: Por que dedicar una atención especial a un medio como la Internet, y específicamente a la web, si antes ya surgieron diversos medios de comunicación que no necesitaron ser considerados "estratégicos" y acabaron incorporados a la rutina del medio académico? Por que no dedicar la misma atención a la radio (que tiene alcance mucho mayor) o al video (con una trayectoria consolidada como instrumento educativo) o a la televisión (que tiene alcance, trayectoria y mucho más poder)?. 

Nuestra posición es que Internet, en comparación con otros medios, presenta actualmente la síntesis más avanzada de los problemas que las transformaciones sociales colocan para la comunicación de este tipo de organizaciones y, por eso, puede ser un "terreno de pruebas privilegiado" para analizar y resolver algunos de los problemas que el contexto social plantea para ese campo científico. Eso solo será viable comprendiendo dos procesos sociales estrechamente relacionados: 

  • La centralidad de los medios masivos de comunicación y de las telecomunicaciones en general en las sociedades modernas,
  • Los cambios en la relación entre ciencia y sociedad: una creciente exigencia para que la ciencia produzca soluciones a problemas planteados por la dinámica social (y no solo por su interés intelectual para los científicos) y para que demuestre un uso adecuado de las inversiones de la sociedad en ciencia, justificando su costo económico. 

Las dos son temáticas ampliamente discutida por autores de gran importancia, no las revisaremos exhaustivamente y solo mencionaremos algunos aspectos que nos interesan. 

La "centralidad" se refiere al carácter constitutivo del campo de la comunicación en la sociedad contemporánea, constitutivo por que no sería posible trazar un panorama integral del mundo actual sin considerarlo (Canelas Rubim, 1995a, 1995b). Puede afirmarse que el campo de la comunicación influye directamente en la generación de gran parte de las dinámicas sociales, desde los flujos de comercialización de productos hasta la construcción de temas y alternativas políticas, pasando por la propia construcción de la identidad de individuos y colectividades, modelando las maneras de situarnos, de ser y de sentir en el mundo. Esa centralidad es tan intensa que se dice que nuestras sociedades están "mediatizadas": casi todo lo que gana el espacio público e influye en la sociedad lo hace mediante los diversos medios de comunicación (Canelas Rubim, 1995a).Por ese motivo, la mayor parte de "las cosas que importan" en la sociedad ganan este status por que son "dichas" por a través de algún medio de comunicación (en portugués se usa el término "publicização") . Mediante la participación en ese espacio público mediatizado una institución aumenta sus posibilidades de obtener respaldo y legitimarse ante sectores sociales más amplios y grupos de poder. 

Ahora bien, usando la definición de "comunicaciones" de Ramos, podemos ampliar el espectro de medios incluidos en ese "campo de la comunicación" y así justificar mejor nuestra idea de la Internet presenta la síntesis más avanzada de los problemas que nos preocupan: 

"(...) diferente do conceito geralmente empregado de comunicação social, ou de massa (...) o conceito de comunicações é (...) definido como: O processo contemporâneo de convergência da comunicação de massa, das telecomunicações e da informática, sugerindo a emergência de um novo cenário comunicativo cujas características fundamentais parecem ser: os custos crescentes das infra-estruturas de circulação da informação, os custos decrescentes dos meios de acesso, a descentralização potencial da posse desses meios, a segmentação do uso e a interatividade" (Ramos,1995) 

Así, la puesta en evidencia en el espacio público (la "publicização") continuaría siendo la razón de ser del campo, que ahora se hace aún más complejo al incorporar nuevos medios , al ampliar la noción de "espacio público" (que no significaría solamente el espacio masivo) y al hacer referencia a la segmentación de públicos de esas comunicaciones (recordar el asunto de los nuevos públicos mencionado cuando se habló de la crisis de la salud pública, pag. 4). Puede decirse que esta investigación se relaciona con problema de alcanzar segmentos especializados del público mediante la web y de la eventual importancia de este alcance para el desarrollo institucional. Las 3 "perspectivas posibles", focos de interés de usuarios específicos, que elaboramos en nuestra metodología son una forma de avanzar en la definición de esos segmentos de público. 

La academia de la salud pública brasileña tiene aún una relación incipiente (aunque progresiva) con el campo de la comunicación (Pitta, 1995). Esto se explica, en parte, por la idea aún predominante de que la ciencia se da en recintos y dinámicas que necesitarían estar "aislados del mundo", en parte por que la información y comunicación científica son altamente formalizadas (bajo la forma de publicaciones y bancos de datos). Por otro lado, la academia de la salud pública parece lidiar con dificultad con la idea de la "mediatización" de la sociedad. Proponemos que la Internet, y específicamente la web, tienen el potencial de servir de un "terreno de pruebas" para mejorar la relación con el campo de la comunicación y la apropiación de las nuevas tecnologías de información / comunicación por esa área académica. En ese sentido, los indicadores que elaboramos y evaluamos son un grupo de consideramos requisitos mínimos que deberían ser incorporados en la apropiación del espacio web por parte de las instituciones estudiadas. 

Aplicamos aquí el termino "apropiación" y no "uso" de una tecnología "por el hecho del primer concepto incluir la noción de adaptación, adecuación, reproducción o reinvención de estructuras sociales (presentes tanto en el contexto como en la [misma] tecnología), así como su uso instrumental" (Gomes, 1999). 

La idea de apropiación permite introducir la propuesta de Pierre Levy (1993; 1997) sobre "tecnologías intelectuales" o "tecnologías de la inteligencia", que servirá para levantar algunas hipótesis bastante generales sobre los procesos de producción de los sitios web y para discutir nuestros hallazgos relacionándolos con la heterogeneidad institucional del campo y con la posición subordinada que ocupan algunos programas en sus instituciones. El abordaje de Levy relaciona las diversas formas de representar / intercambiar conocimiento con las dinámicas y organizaciones sociales que producen ese conocimiento. Las tecnologías intelectuales (en especial la oralidad, el lenguaje escrito y el medio electrónico en red) se consideran simultáneamente soporte y parte integrante de los procesos cognitivos. No solo "expresan" los pensamientos si no que influyen las formas de pensar; anidan y nutren, -de formas específicas para cada tecnología- los procesos de conocer: "Los procesos intelectuales no involucran solo a la mente, colocan en juego cosas y objetos técnicos complejos de función representativa y los automatismos operatórios que los acompañan" (Lévy, 1993). El mundo científico está fuertemente influenciado por su relación con la comunicación escrita, "no con la tecnología de los tipos móviles de las prensas" si no con "las formaciones sociales que [ese tipo de comunicación] posibilitó" (Lyman, 1996). Por ese motivo, para comprender mejor la incorporación de las nuevas tecnologías no debemos enfocarnos solo en sus aspectos computacionales si no situar estos en medio de las relaciones de fuerza y asociación que van a modularlos: 

"El significado y el papel de una configuración técnica en un momento dado no pueden ser separados del proyecto que mueve esa configuración, o tal vez de los proyectos rivales que la disputan y la atraen en todos los sentidos (..) nuestro objetivo consiste principalmente en designar a las tecnologías intelectuales como un terreno político fundamental, como lugar y cuestión de conflictos, de interpretaciones divergentes. Por que es alrededor de los equipamientos colectivos de comunicación que se organiza gran parte de la vida (...) cotidiana y se agencian las subjetividades de los grupos" (Lévy, 1993). 

Para cerrar esta sección tocamos la cuestión de los ritmos y tendencias de la apropiación tecnológica y de las dimensiones sociales que la influencian: En un número especial de la revista Daedalus, de la Academia Americana de Artes y Ciencias, sobre las transformaciones que se producen en la investigación y docencia universitaria en los Estados Unidos se afirmaba: "La tecnología está engastada en, y es utilizada por, instituciones que tienen una historia" (Trow, 1997). Recientemente el editor del Educom Review, publicación especializada en tecnología y educación superior en EUA, comentaba esa afirmación y agregaba: "Instituciones poseedoras de una historia, especialmente las que tienen una historia ilustre, adoptan cambios lentamente" (Katz, 1999). Esas citaciones sirven solo para ilustrar que inclusive en el país que tiene el mayor número de académicos conectados a la Internet deben considerarse las acumulaciones anteriores a la introducción de la red, las que acompañarán y modelarán su implementación.

Midiendo sitios

Existen diversos enfoques de diseño y evaluación de web (Abels et al, 1997):

  • Desarrollo de "principios ad-hoc" originados principalmente a partir de características de web y HTML y en las experiencias de los evaluadores o diseñadores
  • Principios que se basan en la investigación de los factores humanos en el desarrollo de sistemas de computación, en especial las nociones de "usability"
  • Criterios adaptados a partir de la evaluación de fuentes impresas de información (revistas, libros etc.)
  • Estudios basados en la opinión de usuarios sobre las características del web. 

Ya que carece de las entrevistas con productores que consideramos en la propuesta original, esta investigación combina elementos del primero y el tercer enfoques. 

De todos los aspectos posibles de ser evaluados en un sitio web decidimos centrarnos en definir un grupo de "requisitos mínimos" sobre características técnicas básicas y sobre la oferta de informaciones para los "segmentos del público" que suponemos usan con mayor frecuencia los web que estudiamos.  

En lo referente a referenciales teórico-metodológicos para la evaluación de los sitios web se decidió revisar y mejorar la metodología que se utilizó en el servicio "HiperVínculos de Saúde Pública"5 (el anexo 1 presenta la propuesta original). Se combinó esa metodología con técnicas descritas en el método de evaluación de sitios mediante "benchmarking funcional" (Johnson & Misic, 1999). 

La metodología HiperVínculos prioriza la evaluación de los contenidos ofrecidos en la web, por esto identifica:

  • "un núcleo" a ser evaluado: los contenidos ofrecidos por el sitio y la facilidad de uso, "la orientación que el sitio ofrece para localizar sus contenidos, incluyendo en esto la lógica general de su organización y el uso de recursos gráficos".
  • "aspectos complementarios": coherencia entre los contenidos anuciados y los ofrecidos; la interactividad del sitio -posibilidades del usuario entrar en contacto con los responsables y / o agregar sus propios contenidos al sitio-; el uso de hipertexto en los documentos ofrecidos; el uso de multimedios en los documentos ofrecidos; los links ofrecidos. 

El metodo de "benchmarking funcional" se basa en la identificación de sitios de instituciones con intereses en común (no necesáriamente competidoras en el campo académico) e instituciones competidoras y define aspectos "absolutos" y "relativos" en las características de un web, proponiendo un conjunto de técnicas para medirlas. Usa una visión estratégica y enfatiza fuertemente la relación entre los objetivos de una organización y los aportes de su sitio web para obtener esos objetivos. Considera que esta relación es la dimensión más adecuada para evaluar un sitio, considerandola mejor que la contabilidad de accesos ("hit counting") y el "site tracking" (que permite identificar el tipo de público y las áreas que más visitan). 

Las cuestiones de orden "absoluta" incluyen la funcionalidad y navegabilidad de los sitios (relacionados a la facilidad con que el usuário encuentra -localiza- el sitio en la Internet y encuentra informaciones en el sitio), asi como, las informaciones de contacto con la institución autora. Estas "son variables que tienen una importancia más universal para las personas que visitan un web"; son importantes tanto para estudiantes y/o profesores de la institución o para visitantes externos que están interesados en sus cursos o investigaciones o en contratar sus egresados (Johnson & Misic, 1999). Estas características exigen de los responsables técnicos del web un dominio de conceptos básicos de programación HTML (el lenguaje de computación en que se elaboran las páginas y sitios web), intercambio de datos en una red, velocidad de transmisión, velocidades y dificultades de recepción de parte del público del sitio, uso de elementos multimedios. Considerando las heterogeneidad de las capacidades y velocidades de acceso a Internet no fueron considerados los aspectos de uso de recursos multimedios y fue priorizada la demostración de la presencia o ausencia de informaciones. 

Las cuestiones de orden "relativa" buscan incorporar en el análisis el punto de vista de diferentes tipos de usuarios6. Aunque diversos tipos de usuarios pueden tener percepciones similares sobre las características del sitio web, la evaluación del sitio desde la perspectiva de cada grupo puede garantizar que no se ignoren diferencias sutiles e importantes (Johnson & Misic, 1999). En la referencia original fue elaborada una lista de públicos potenciales de acuerdo los intereses y planes estratégicos específicos de la institución que evalúaba. En nuestra investigación se definieron 3 "perspectivas posibles" (o focos de interés) consideradas como frecuentes entre los usuarios de este tipo de web: "de interés en educación", "de interés en investigación" y "de interés no estrictamente académico" (descritas más adelante). Para definir estas perspectivas fue considerada la experiencia de los autores en equipos que elaboraron sitios web de instituciones de salud pública, como usuarios y como integrantes de la academia de salud pública7. Las perspectivas se tradujeron en conjuntos de indicadores; cada indicador es un tipo de información considerada de interés para usuarios encuadrados en una de las perspectivas. En última instancia, consideramos que las perspectivas son una imagen aproximada del minimo de demandas de información que tienen los usuarios de esta área académica. 

Otro referencial teórico-metodológico de utilidad fue el documento de Victor Sandoval divulgado en la lista MISTICA el 06/07/00 (Sandoval, 2000) que permitió discutir las ideas del "benchmarking funcional" sobre la perspectiva de los usuarios, ahora considerando otro esquema de evaluación (que incluye un "modelo general" de evaluación y otra usando un "modelo específico" adaptado al tipo de site). Es importante mencionar que debido al abordaje de busqueda exhaustiva usado, y al tiempo que este consumió, no se aplicó el principio de los "3 clicks" ("debe encontrarse una información considerada importante siguiendo un máximo de 3 links"8), propuesto por Sandoval, a todos los indicadores evaluados. Se probó este principio aplicándolo solo a un tipo de información (facilidad para encontrar el nombre de un investigador); los resultados de esta prueba se presentan a manera de ilustración y separados del cómputo general.

LA METODOLOGÍA DESARROLLADA

Una vez decidida la restricción del universo de la investigación al post-grado en el Brasil (ver pag. 3), siguiendo el critério de la CAPES ( CAPES, 1998) se definió el "programa de post-grado" como unidad de análisis. Un mismo programa puede incluir más de un curso de post-grado (maestría, maestría profesionalizante, doctorado). Una misma institución puede tener mais de un programa de post-grado (por ejemplo, un programa de post-grado en "salud colectiva" y otro en "salud de la mujer y del niño"). Este estudio, entonces, no evalua cada uno de los cursos ofrecidos ni, directamente, los sitios de las instituciones. 

Universo, muestra y definición del estudio

Se utilizo para esta investigación la relación de programas de post-grado que el 15/Junio/2000 estaban publicados en el sitio de la CAPES (www.capes.org.br) bajo los critérios "Gran área: Ciencias de la salud" y "Área: Salud colectiva": 21 programas de post-grado, ofrecidos por 18 instituciones (Tabla 1). Los programas tenían las siguientes denominaciones "salud colectiva", "salud pública", "epidemiologia", "salud de la mujer y del niño" o "salud y ambiente". Siguiendo el critério de CAPES de clasificarlos bajo el Área Salud Colectiva todos fueron incluídos en el análisis. 

Según la relación publicada por la agencia y usada en esta investigación: 12 programas (57%) recibieron calificación CAPES 3 -mínimo para reconocimiento oficial-; 9 (43%) programas obtuvieron calificaciónes CAPES 4 -bueno- o 5 -muy bueno- (5 programas con CAPES 4 y 4 programas con CAPES 5). Ninguno obtuvo calificación 6 o 7. 

Relación de sitios web de programa analizados

 

Nombre del programa

Institución responsable

1

Salud Colectiva

Universidade Estadual Paulista Júlio de Mesquita Filho

2

Epidemiología

Universidade Federal de Pelotas

3

Epidemiología

Universidade Federal de São Paulo

4

Medicina Preventiva

Universidade de São Paulo

5

Medicina Preventiva

Universidade de São Paulo / Ribeirão Preto

6

Salud Colectiva

Universidade Federal Bahia

7

Salud Colectiva

Universidade Estadual de Feira de Santana

8

Salud Colectiva

Fundação Universidade Federal do Mato Grosso do Sul

9

Salud Colectiva

Universidade Federal de Pernambuco

10

Salud Colectiva

Universidade Estadual de Londrina

11

Salud Colectiva

Universidade Federal do Rio de Janeiro

12

Salud Colectiva

Universidade do Estado do Rio de Janeiro

13

Salud Colectiva

Universidade Estadual de Campinas

14

Salud de la mujer y el niño

Fundação Oswaldo Cruz - Instituto Fernandes Figueiras

15

Salud y Ambiente

Universidade Federal do Maranhão -UFMA

16

Salud Pública

Universidade Federal do Ceará

17

Salud Pública

Universidade Federal de Minas Gerais

18

Salud Pública

Fundação Oswaldo Cruz- C. de Pesquisa Aggeu Magalhães

19

Salud Pública

Fundação Oswaldo Cruz - Escola Nacional de Saúde Pública

20

Salud Pública

Universidade Federal de Santa Catarina

21

Salud Pública

Universidade de São Paulo

[La numeración se repite en las tablas; puede identificarse el programa consultando esta relación]

Tabla 1 

Una primera revisión de los web mostró que, en varios casos, las informaciones sobre un programa se encontraban dispersas en diversas páginas web de la institución responsable y no centralizadas bajo un único conjunto de páginas formalmente destinadas a ese programa9. Se constató también que en diversos casos no existían links (vínculos mediante hipertexto) relacionando esas informaciones así dispersas. Esta situación obligó a ampliar el critério de "sitio web del programa de post-grado". Para esto se procedió a la búsqueda exhaustiva (mediante una revisión de la estructura general del sitio y de todas las áreas y links pertinentes asi como del uso de mecanismos de búsqueda internos cuando estos existían) de todas las informaciones relacionadas con cada programa al interior de los sitios de las instituciones que los ofrecen. El producto de esta búsqueda fue definido como "sitio web del programa". 

Por este motivo el sitio web de un programa de post-grado no es solo el conjunto de páginas web directa o formalmente identificadas como pertenecientes a este, ni solamente las páginas web producidas o gerenciadas directamente por este, si no el conjunto de páginas web con informaciones sobre el programa de post-grado encontradas dentro del universo de páginas de la institución reponsable por el mismo. Esta definición permite (a) ampliar las posibilidades de encontrar informaciones sobre el programa (o reducir las posibilidades de perder información), (b) elaborar una primera visión sobre los procesos de producción de web en cada institución10. 

En los casos de instituciones que ofrecían cursos a distancia via Internet se identificaron áreas de los sitios web que son de acceso restringido a los alumnos y profesores de estos cursos. Estas áreas no fueron evaluadas, limitándose el análisis a las áreas de acceso público general. 

La revisión inicial de los sitios y la elaboración metodológica permitieron definir el estudio como un análisis:

  • de características técnicas básicas de funcionalidad y navegabilidad y
  • de requisitos mínimos de la oferta de información que presentan para sus usuarios

en las áreas de acceso público de los sitios web de los programas de post-grado. 

Con esto se aclara que esta investigación no evalua "el uso de la Internet" en general; evalua el uso institucional de una de las aplicaciones de la red. No fueron evaluados eventuales espacios de intranets, ni eventuales sectores de los sitios webs de acceso restringido. Por motivos ya explicados en este informe, no se evaluaron listas de discusión ni espacios de chat eventualmente disponíveis.  

En resumen, el aporte principal de la metodología HiperVínculos fue el énfasis en la oferta de contenidos / informaciones y en la forma en que se relacionaban (o no) los diversos tipos de informaciones dispersas en los web. La metodologia de "benchmarking funcional" y de Sandoval (2000) aportaron conceptos (sea el esquema "absoluto / relativo" o el esquema "modelo general / modelo específico) que permitieron pensar formas de introducir la perspectiva del usuário en la evaluación. De la referencia sobre "benchmarking funcional" adaptamos la clasificación de variables absolutas y relativas, utilizamos varios de los indicadores sugeridos y adaptamos nuestros indicadores a algunos de sus hallazgos.

 
Descripción de los indicadores de variables absolutas: Funcionalidad y navegabilidad

[A1] Facilidad del sitio de la institución ser localizado en la Internet por un mecanismo de búsqueda.

Este indicador mide el aspecto más importante de la funcionalida del sitio: La probabilidad de ser alcanzado por un usuario a partir de los mecanismos de búsqueda ofrecidas en la red.

Partiendo de nuestra definición de "sitio web del programa" (ver pag. 11) se decidió comenzar por el conjunto más amplio de páginas (las de la institución responsable). Siguiendo la técnica de Johnson & Misic (1999) se usaron 6 mecanismos de búsqueda (Lycos, Looksmart, Altavista, Hot Bot, Go To o Excite) que son seleccionados aleatóriamente por el recurso de pesquisa ("Search") del navegador Netscape Communicator (versão 4.6. en portugués)11. Esos mecanismos utilizan métodos diferentes de compilación de páginas y de búsqueda. Asi, se garantiza por sorteo una muestra aleatória de diferentes posibles caminos a los que un usuario recurriría para localizar los sitios de los programas de post-grado. El término de búsqueda fue el nombre completo de la institución que alberga el programa (por ejemplo, "Universidade Federal do Mato Grosso do Sul" en el caso del programa de Salud Colectiva de esa universidad). Se consideró este indicador positivo solo si la página inicial del sitio de la institución aparecía entre los diez primeras respuestas generadas por el mecanismo escogido. 

[A2] Presencia de información sobre la fecha de producción o validad de los documentos contenidos en el sitio.

Se refiere al momento en que un documento es creado o su período de vigencia (por ejemplo, la fecha de publicación de un artículo en una revista o el año para el que son válidas infomaciones sobre requisitos de matricula). 

[A3] Presencia de información sobre la fecha de publicación en la web de los documentos contenidos en el sitio.

Se refiere al momento de su colocación en el sitio web. Puede ser diferente de la fecha de producción, en especial en caso de documentos que no son publicados directamente en Internet (por ejemplo, el referido articulo puede ser publicado en la web años después de su versión impresa o la relación de requisitos de matrícula puede permanecer en el sitio durante más de un año). 

Los indicadores A2 y A3 miden la oportunidad que el usuario tiene de obtener una referencia confiable sobre la actualidad y validad de la información disponible en el sitio.  

[A4] Existencia de un mecanismo de búsqueda interno (capaz de localizar informaciones al interior del sitio web).

Auxiliar importante de navegabilidad y, en sitios con un número grande páginas web, un aspecto importante de funcionalidad una vez que hace viable el uso de un volumen mayor de informaciones. 

[A5] Presencia, en la página inicial del sitio, de dirección de correo electrónico de contacto con la institución. 

[A6] Presencia, en la página inicial del sitio, de la dirección postal o teléfono de la institución. 

Los indicadores A4 y A5 registran la existencia de informaciones de contacto con la institución que permitirían al usuario obtener informaciones complementares y/o informaciones que no constaran o no pudieran ser localizadas en el sitio. 

[A7] Presencia de una opción de menú de navegación en texto.

Esta opción representa una mayor facilidad de navegación, sea en el caso de conexiones lentas o en el de browsers que permiten navegación sin gráficos. No se considera aquí la existencia de una versión "solo texto" del sitio. Solo se califica la presencia de una opción de navegación alternativa a la que es orientada gráficamente, o sea un menú de navegación en texto, con frecuencia colocado al final de las páginas o, inclusive, de un texto alternativo a los gráficos.

 
Descripción de indicadores de variables relativas

  1. Perspectiva de interés en educación

Se enfoca en la presencia de informaciones de interés de alumnos o candidatos a alumnos de los programas de post-grado en salud colectiva. Busca evaluar la capacidad del sitio web para orientar a un usuario que sea un alumno nuevo, qu quiera ingresar al programa o busque informaciones como candidato de un intercambio académico. 

Los indicadores califican la presencia o no de informaciones sobre: 

[E1] Nombre del (los) curso(s) ofrecidos por el programa 

[E2] Nombres de las disciplinas ofrecidas por los curso 

[E3] Carga horária de las disciplinas 

[E4] Plan de estudios del (los) cursos 

[E5] Profesor(es) responsable(s) por las disciplinas 

[E6] Curriculum de cada disciplina 

[E7] Orientaciones para matrícula 

[E8] Proceso de selección para el ingreso 

  1. Perspectiva de interés en investigación:

Se enfoca en la presencia de informaciones sobre el trabajo de investigación desarrollado en cada programa de post-grado, útiles para su divulgación y/o para intercambio con investigadores o alumnos de post-grado desarrollando investigaciones. 

Los indicadores califican la presencia o no de informaciones sobre: 

[P1] Nombre de las líneas (áreas) de investigación de cada programa. 

[P2] Resumen de los objetivos de la línea de investigación 

[P3] Títulos de las investigaciones en desarrollo 

[P4] Resumenes de las investigaciones en desarrollo 

[P5] Resultados parciales de las investigaciones en desarrollo 

[P6] Nombre del investigador responsable por la pesquisa 

[P7] Correio-electrónico del pesquisador responable de cada investigación 

[P8] Nombre de los integrantes del equipo de la investigación 

[P9] Correio-electrónico de los integrantes del equipo de la investigación 

NOTA: Relacionado con esta perspectiva, se realizó adicionalmente una prueba del "principio de los 3 clicks" (ver pag. 10) para medir la facilidad para encontrar el nombre de un investigador del programa analizado. Esta prueba no fue parte de los indicadores de esta perpectiva y se reporta por separado en otro documento. 

  1. Perspectiva de interés "no estrictamente acadêmico":

Abreviado en el texto como "perspectiva no-académica". Busca acercarse a aspectos de "comunicación entre el campo científico y la sociedad" que nos interesaban desde el proyecto inicial. Son informaciones relacionadas a conocimientos y tecnologías generadas en el ámbito del programa pero no directamente relacionadas a la producción de nuevo conocimiento científico o la formación de alumnos. Estos indicadores pretenden examinar cuestiones como ¿En las web académicas, encontraría un usuário no académico, contenidos específicamente orientados a puntos de interés general de la sociedad en la tematica de la salud pública?, ¿El medio académico usa el espacio web para divulgar una posición o informaciones dirigidas al público general o a formadores de opinión sobre esos puntos de interés?. Para aumentar las probabilidades de encontrar ese tipo de contenidos:

  • solo se pesquisaron informaciones relacionadas a conocimientos y tecnologías generadas en el ámbito del programa, no exigiendose de una institución que "de opinión sobre todo".
  • se usaron dos enfoques; en el indicador N1 se buscó cualquier contenido "no-académico" entre las líneas de actividad del programa; en el indicador N2 se buscaron contenidos relacionados a un grupo restricto de temas de actualidad, siempre y cuando relacionados con las líneas de actividad del programa. 

La ausencia de estos indicadores en los sitios web ciertamente no significaría que las instituciones (o sus profesores / investigadores) no desarrollen esta relación con la sociedad, solo indicaría que no usan la web para comunicarla. 

Los indicadores califican la presencia o no de informaciones sobre: 

[N1] Contenidos de carácter no estrictamente académico (conforme antes discutido) y relacionados a las líneas de educación o investigación del programa. 

[N2] Contenidos sobre temas de actualidad de los 3 meses prévios al estudio y relacionados a las líneas de educación o investigación del programa.

Se realizó un levantamiento, no exhaustivo, de temas relacionados con la salud pública que ocuparon la agenda pública brasileña entre Mayo y Julio de 2000 escogiendose los siguientes:

  • discusión sobre la introducción de alimentos transgénicos en la industria agro-alimentar del Brasil y sus eventuales consecuencias sobre la salud de la población,
  • discusión sobre las formas de reglamentar los seguros de salud privados y el papel de la Agência Nacional de Saúde Suplementar, del Ministério de Salud,
  • discusión sobre la clasificación que se atribuyó al sistema de salud brasileño en el documento "The World Health Report 2000 Health Systems: Improving Performance" (WHO, 2000) publicado por la OMS (Organización Mundial de la Salud) 
     

NOTAS GENERALES SOBRE LA METODOLOGIA:

  • Para la calificación se atribuyó un punto por indicador presente; un sitio que presentase todos los indicadores obtendría la puntuación máxima posible.
  • Todas las búsquedas de información fueron desarrolladas por el mismo investigador, utilizando una conexión doméstica con una computadora personal de escritório (procesador Pentium II 200Mhz) y un modem de 56K.
  • Las evaluaciones de los sitios se realizaron entre Julio y Agosto de 2000. Durante ese período no se hubieron modificaciones significativas en los sitios. 

 
RESULTADOS

De los 21 programas de post-grado evaluados solo uno no tuvo ninguna información encontrada en la Internet. Es probable que esa institución aún no haya ingresado al espacio web. Considerando que se analiza el uso de la Internet y que la ausencia de uso es un aspecto significativo para este estudio, los indicadores de este programa se contaron como negativos y fueron incluidos en el análisis. 

Las puntuaciones obtenidas por todas las instituciones en cada tipo de indicador se muestran en las Tablas 2, 3, 4 y 5. La distribución de los indicadores absolutos se muestra en el Gráfico 1. La de los indicadores de las perspectivas de educación y pesquisa se muestran en los Gráficos 2 y 3. 

La comparación entre las puntuaciones máximas posibles (las que obtendría un sitio que presentase todos los indicadores) y los promedios para cada tipo de variable se presentan en el Cuadro ---- que también muestra como se distribuyen esas puntuaciones y promedios entre las instituciones con calificaciones CAPES 3 y calificaciones CAPES 4 o 5. 

Puede observarse que el conjunto de la muestra presenta puntuaciones bajas: Las puntuaciones máximas posibles y los promedios generales (suma de las puntuaciones generales de todos los sitios dividida por el número de sitios) para cada grupo de indicadores fueron los siguientes:

  • funcionalidad-navegabilidad: 7 y 3.29
  • perspectiva de interés en educación 8 y 2.95
  • perspectiva de interés en pesquisa 9 y 2.48,
  • perspectiva no estrictamente académica 2 y 0,3.  

Cuando se analiza la distribución en relación a los promedios, se observa:

  1. las puntuaciones de las variables absolutas se distribuyen de forma similar entre los los programas de post-grado con calificación CAPES 3 (mínimo para reconocimiento oficial) y aquellos con calificación CAPES 4 o 5 (buenos o muy buenos):
  • 50% de los CAPES 3 vs. 44% de los CAPES 4 o 5 tienen puntajes superiores al promedio.
 
  1. las puntuaciones de las variables relativas se distribuyen de forma diferenciada entre los peor y mejor calificados por la CAPES:
  • perspectiva de educación: 33% de los CAPES 3 vs. 78% de los CAPES 4 y 5 tienen puntajes superiores al promedio (Gráfico 4)
  • perspectiva de pesquisa: 8 % de los CAPES 3 vs 67% de los CAPES 4 y 5 tienen puntajes superiores al promedio, (Gráfico 5)
  • perspectiva no-académica: la puntuación general es muy baja y no permite una comparación.

Tabla 2

 

Tabla 3 

Tabla 4 

Tabla 5 

 
 
 
 
 
DISCUSIÓN

Es necesario aclarar que optamos una visión del conjunto de programas, dejando de lado el análisis de los casos específicos más destacados, tanto positivos como negativos. La marcada heterogeneidad del campo se expresó también en este estudio en los casos de programas que a pesar de tener calificaciones CAPES 3 tuvieron indicadores iguales a programas mejor calificados. Eso nos obliga a tratar cuidadosamente las generalizaciones. Este es un estudio básicamente descriptivo que esperamos sirva para provocar una discusión al interior del campo y desencadene pesquisas mas integrales. 

Por otro lado, existe la posibilidad de que en los espacios web no evaluados (intranets, áreas de acceso restringido) se encuentren perfiles de uso y apropiación institucional diferentes de los que son descritos aquí. Aunque nuestra opinión es que esto es poco probable, excepto en los servicios de educación a distancia que, aunque todavía escasos, son un importante espacio de creatividad. 

Para comprender mejor los resultados considérese que dos características de la metodología usada favorecen a los programas evaluados, aumentando sus probabilidades de mejorar su calificación:

  • la estrategia de busqueda exhaustiva, por aumentar las probabilidades de encontrar las informaciones, ya que se asume que "en la vida real" un usuario promedio no realizará ese tipo de búsqueda que requirió una revisión general de los sitios institucionales, pesquisas reiteradas y tiempo.
  • la definición de la "perspectiva de interés no estrictamente acadêmico" (ver pag. 14)

por eso puede afirmarse que las puntuaciones obtenidas fueron bajas a pesar de estas características de la metodología. 

Los resultados muestran nítidamente un bajo grado de funcionalidad y navegabilidad de los sitios, con el promedio general de esta variable no llegando a la mitad del puntaje máximo posible. Es notable que tan pocos sitios (3 y 6 respectivamente) presentaran los 2 indicadores que medían la simple indicación de las fechas de publicación, siendo que estas son características básicas en materiales impresos (medio con el cual la academia lidia hace algún tiempo). 

La literatura sobre implementación de tecnologías reporta que cuando se asume un nuevo medio "se comienza haciendo lo que ya se hacía". Lo que puede ser precupante es considerar que no se estarían cumpliendo los requisitos aquí considerados mínimos para hacer bien lo que ya se hacía. Por ejemplo, las informaciones sobre fechas de los documentos o el tipo de informaciones de orientación y contacto (direcciones, nombres, teléfonos) no necesitarían de ninguna visión sofisticada sobre "nuevas tecnologías" para percibir la importancia de su presencia en todo documento y en cualquier sitio web institucional. 

Comparando los sitios agrupados según sus calificaciones CAPES, las diferencias de distribución en relación a los promedios fueron interpretados como "tendencias a la concentración" de las características positivas. Esta tendencia no fue verificada en los indicadores absolutos y si en los relativos. Tanto en la perspectiva de educación como en la de investigación, los programas con calificación CAPES más alta, tenían un número mayor de sitios con puntuación superior al promedio. Aún con las bajas puntuaciones señaladas, estas tenderían a concentrarse y de forma diferenciada. Cabe proponer una hipótesis explicativa para esta diferencia: Suponiendo que todo el proceso de creación, publicación y mantenimiento de un sitio web institucional necesita de un flujo de comunicación complejo entre la institución y el técnico responsable, postulamos que las variables absolutas, determinadas por características de funcionalidad y navegabilidad, dependen en mayor grado de habilidades básicas de(l) el(los) responsable(s) técnico(s) por el diseño del web y de informaciones de dominio público. En otras palabras, son parte de los requisitos mínimos del diseño de buenas páginas y sitios web, indicados en numerosas obras de referencia sobre el tema. Así, 6 de los 7 indicadores de este tipo (excepto la "Referencia de la fecha de producción de los documentos presentes en el sitio") pueden considerarse que dependen esencialmente de una decisión del responsable técnico12. Por otro lado, postulamos que las variables de calidad de información / comunicación, las que se reflejan mediante las perspectivas del usuario, dependen en mayor grado de una interface más compleja entre los productores de contenido (la institución y sus profesores / investigadores) y el (los) responsable(s) técnico(s) por un sitio web. Ejemplo de esto pueden ser:

  • la inclusión de las informaciones más valiosas generadas por la institución (por ejemplo, resúmenes de sus investigaciones)
  • informaciones consideradas "sensibles" (por ejemplo, profesores / investigadores pueden, en algunos casos, no querer divulgar sus direcciones de correo electrónico)
  • informaciones que dependen de decisiones políticas delicadas (por ejemplo, la definición de las líneas de investigación o los criterios para adjudicar las cargas horarias de los profesores).
  • en el caso de los indicadores de la "perspectiva de interés no estrictamente académico", puede suponerse que la divulgación de una opinión o posición, sea de la institución o de profesores individuales, requiere de una serie de negociaciones y discusiones internas y de la voluntad de ocupar un espacio en el debate público. 

Solo después de esos procesos internos puede iniciarse los procesos técnicos para la divulgación de esas informaciones en el sitio web; estos a su vez pueden necesitar de nuevas discusiones para definir por ejemplo el destaque que deben recibir en el web (¿colocarlas como un link desde la página inicial?), su profundidad (¿publicar los e-mail de todo el equipo de una investigación o solo del investigador principal?) o su relación con una política de comunicación institucional (¿si un profesor decide elaborar personalmente una página web con sus informaciones, se la debe colocar directamente entre las páginas del sitio o crear solo un link para un servidor externo?). Ese conjunto de discusiones y decisiones se expresaran en última instancia en algunas líneas de código de programación HTML pero no dependen de la aplicación directa un saber técnico sobre las herramientas Internet. Postulamos, por esto, que los indicadores relativos son más sensibles al grado de desarrollo institucional y que este correlaciona con la calificación CAPES. A pesar del bajo desempeño general, las mismas capacidades institucionales que califican a los programas como académicamente "buenos" o "muy buenos" les permitirían un mejor manejo de las nuevas tecnologías. La literatura sobre políticas de implementación de redes de información en instituciones académicas nos ayuda a consolidar nuestra hipótesis cuando afirma que el aprovechamiento adecuado de las nuevas tecnologías depende de la estrecha coordinación y de una "administración inclusiva"13 de los cuerpos que deciden sobre esas políticas: "La planificación efectiva de las tecnologías de información se consigue en una cultura institucional que estimula y espera colaboración y diálogo interno y que tiene fronteras internas permeables" (Foster & Hollowell, 1999). Y todos esos procesos estarían relacionados a la capacidad de los programas evaluados, y de las instituciones responsables, para percibir el papel de la nuevas tecnologías de información / comunicación como medios para alcanzar "sus objetivos de enseñanza, aprendizaje, conocimiento y servicio" (Katz & Rudy, 1999) y para hacerse una imagen los que serían sus usuarios en el espacio web. 

Aunque no fue posible tener una idea directa sobre las dinámicas de producción de los sitios web, como se deciden sus contenidos y sus formas, como se relacionan los diferentes sectores de la institución con la producción del sitio, el enfoque de tecnologías intelectuales nos ayuda a considerar nuestros resultados como una coyuntura de las relaciones entre los "proyectos" (rivales o aliados) que buscan adecuar la tecnología Internet a sus intereses al interior de cada programa estudiado. Con lo cual rescatamos la idea de las tecnologías intelectuales como "terreno político fundamental (....) lugar y cuestión de conflictos, de interpretaciones divergentes" (ver pag. 8).

BIBLIOGRAFIA

Foster, S. & Hollowell,D., 1999. Integrating information technology planning and funding at the instiytutional level. Information Technology in Higher Education: Assessing Its Impact and Planning for the Future. New Directions for Institutional Research, Number 102: 9-19.

Abels, E., White, M.D., & Karla Hahn, 1997. Identifying user-based criteria for Web pages. Internet Research: Electronic Networking Applications and Policy, 7 (4). (documento disponible en Internet en: http://www.emerald-library.com/brev/17207db1.htm , archivo consultado en May/2000)

ABRASCO (Associação Brasileira de Pós-Graduação em Saúde Coletiva), 1996. Avaliação de pós-graduação 'stricto sensu' em saúde coletiva. mimeo.

Cambridge Media Lab, 2000. Primer (a clear lexicon of web design and technique). (documento disponible en Internet en: http://www.camlab.com/n.htm , archivo consultado en Jun/2000)

Campos, G.W.S., 2000. Saúde pública e saúde coletiva: campo e núcleo de saberes e práticas. Ciência e saúde coletiva, 5 (2): 219-230.

Canelas Rubim, A., 1995a. Comunicação e contemporaneidade: Aspectos conceituais. In: OPAS / Brasil., 1995. Informação e comunicação social em saúde. Brasilia, Fundação kellog / Projeto UNI / FAPEX / OPAS. Série desenvolvimento de serviços de saúde, Nº 15.

Canelas Rubim, A., 1995b. Mídia, política e democracia. In: Pitta, A.M.(org.) Saúde e Comunicação. Visibilidades e silêncios. São Paulo, Ed. Hucitec - ABRASCO, 1995

CAPES (Coordenação de Aperfeiçoamento do Pessoal do Ensino Superior), 1998a. A reformulação do sistema de avaliação da pós-graduação brasileira. (documento disponible en Internet en: http://www.capes.gov.br/scripts/Download.idc?nivel=1&assunto=relatorio_avaliacao98 , archivo consultado en ene/2001)

CAPES (Coordenação de Aperfeiçoamento do Pessoal do Ensino Superior), 1998b. Avaliação dos programas de pós-graduação 1996-1997.Área: Saúde Coletiva. (documento disponible en Internet en: http://www.capes.gov.br/Documentos/Avaliacao98/DocArea/area_022.doc , archivo consultado en ene/2001)

Castiel, L.D., sem data. Saúde Pública. (documento disponible en Internet en http://www.ensp.fiocruz.br/sp.html; archivo consultado en dic/2000)

Costa, S., 1999. The impact of computer usage on scholarly communication among academic social scientists. Doctoral thesis. Loughborough/Leicester/England, Loughborough University.

DeSieno, R., 1995. Netlaw: The Faculty and Digital Technology. Educom Review, 30 (4) (disponível na Internet em: http://www.educom.edu/web/pubs/review/reviewArticles/30446.html. Arquivo consultado em Nov.1997)

Vera, J.T., 2000. Comunidad virtual de investigación y aprendizaje sobre medios de información y desarrollo nacional en el contexto de la globalización. Informe final. FUNREDES - Proyecto MISTICA. (documento disponible en Internet en: http://www.prodigyweb.net.mx/tecader1/informe30d8d00/infofinal4d.htm , archivo consultado en ene/2001)

Educom., 1995. The Promise and the Peril. An interview with author Don Tapscott. By Educom Staff. Educom Review, 30 (5) (disponível na Internet em: http://www.educom.edu/web/pubs/review/reviewArticles/30532.html. Arquivo consultado em Nov.1997)

Educom., 1996. Eli Noam on the Future of the University. By Educom Staff. Educom Review, 31 (4) (disponível na Internet em: http://www.educom.edu/web/pubs/review/reviewArticles/31438.html. Arquivo consultado em Nov.1997)

Ekman, R.; Quandt, R.(eds.), 1999. Technology and Scholarly Communication. Univ California Press, California.

Freitas, C.S., 1998. Ciência na Internet. Novas práticas e relações no campo científico. Dissertação de mestrado. Brasília, Universidade de Brasília.

Frenk, J. La nueva salud pública. In: OPS, 1992. p. 75-93

Gomes, S., 1999. Inovação tecnológica no sistema formal de comunicação científica: Os periódicos eletrônicos nas atividades de pesquisa dos acadêmicos de Cursos de Pós-Graduação brasileiros. Tese de doutorado. Brasília, Universidade de Brasília.

Harrison, T. & Stephen, T. (orgs), 1996. Computer Networking and Scholarly Communication in the Twenty-First-Century University. New York: State University of New York Press.

Harzt, Z. 1997. Explorando novos caminhos na pesquisa avaliativa das ações de saúde. In: Harzt, Z. (org), 1997. Avaliação em saúde. Dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro, Editora FIOCRUZ.

Iturri, J. 1998. Ciberespaço e negociações de sentido: aspectos sociais da implementação de redes digitais de comunicação em instituições acadêmicas de saúde pública. Cad. Saúde Pública, 14 (4): 803-810 (disponível na Internet em: http://www.scielo.br/ ; arquivo consultado em Jun/2000)

Johnson, K. & Misic, M., 1999. Benchmarking: a tool for Web site evaluation and improvement. Internet Research: Electronic Networking Applications and Policy, 9 (5). (documento disponible en Internet en: http://www.emerald-library.com/brev/17209ee1.htm , archivo consultado en May/2000)

Johnson, P., 2000. Evaluación del Proyecto de Red de Intercomunicación de los Pueblos Indios de Oaxaca (RIO). Reporte parcial. FUNREDES - Proyecto MISTICA. (documento disponible en Internet en: http://www.funredes.org/mistica/castellano/aplicaciones_pilotos/evaluacion_taller_oaxaca.html , archivo consultado en ene/2001)

Katz, R. 1999. "A Time to Assess? The past may not be prologue". Educom Review, 34 (2). (disponível na Internet em: http://cause-www.niss.ac.uk/ir/library/html/erm99025.html ; arquivo consultado em Maio/2000)

Langston, L., 1996. Scholarly Communication and Electronic Publication: Implications for Research, Advancement, and Promotion. University of California, Riverside (disponível na Internet em: http://www.library.ucsb.edu/untangle/langston.html)

Lara, S., 2000. La trama indígena en la red. Reporte final. FUNREDES - Proyecto MISTICA. (documento disponible en Internet en: http://www.funredes.org/mistica/castellano/aplicaciones_pilotos/informe_final_lara.html , archivo consultado en ene/2001)

Lévy, P., 1993. As tecnologias da inteligência. O futuro do pensamento na era da informática. Rio de Janeiro: Editora 34

Lyman, P., 1996. How is the Medium the Message?: Notes on the Design of Networked Communication. In: Computer Networking and Scholarly Communication in the Twenty-First-Century University. (Harrison, T. & Stephen, T., orgs) pp39-52, New York: State University of New York Press.

McClure, C.R. & Lopata, C., 1996. Assessing the Academic Networked Environment: Strategies and Options. School of Information Studies. Syracuse University. (documento disponible en Internet en: http://istweb.syr.edu/~mcclure/network/toc.html , archivo consultado en May/2000)

Oppenheim A N. Questionnaire design, interviewing & attitude measurement. London: Pinter, 1991.

OPS (Organización Panamericana de la Salud), 1992. La crisis de la salud pública: reflexiones para el debate. Washington, D.C., (OPS - Publicación Científica, 540).

Paim, J. S.; Almeida Filho, N., 1998. "Saúde coletiva: uma 'nova saúde pública' ou campo aberto a novos paradigmas?". Rev. Saúde Pública, 32 (4) (disponível na Internet em: http://www.scielo.br/; arquivo consultado em Jun/2000)

Pitta, A.M.(org.), 1995. Saúde e Comunicação. Visibilidades e silêncios. São Paulo, Ed. Hucitec - ABRASCO.

Rojo, A., 1995. Participation in scholarly electronic forums. A University of Toronto Ph.D. thesis. (documento disponible en Internet en: http://www.oise.on.ca/~arojo/tabcont.html , archivo consultado en dic/1999)

Ramos, M.C., 1995. Saúde, novas tecnologias e políticas públicas de comunicações. In: Pitta (1995): 67 -96

Sabroza, P.C. 1994. "Saúde Pública: Procurando os Limites da Crise". Documento para debate. Departamento de Grandes Endemias. ENSP/FIOCRUZ. 17 ps. (cópia reprográfica).

Sandoval, V., 2000. "Sandoval's Evaluation Web Site Methodology". (documento disponible en Internet en: http://funredes.org/mistica/bdd/attachements/364-WebEvalVSen.rtf , archivo consultado en Jun/2000)

Schwimmer, B., 1996. Anthropology on the Internet: A Review and Evaluation of Networked Resources. Current Anthropology 17 (3): 561 - 568.

Timpone, D., 1996. Is your help system usable?. WinHelp "How to". (documento disponible en Internet en: http://www.stc.org/pics/online/hyperviews/archive/PrintHPV/344.htm , archivo consultado en Jun/2000)

Trow, T., 1997. "Notes on the Development of Information Technology in American Higher Education". Daedalus, Proceedings of the American Academy of Arts and Sciences. 126,(4): 293-314. Número dedicado à temática "The American Academic Profession".

Urribarrí, R., 1999. Cómo usan la Internet los académicos latinoamericanos: El caso de RedULA. FUNREDES - Ciberoteca. (documento disponible en Internet en: http://funredes.org/mistica/castellano/ciberoteca/participantes/docuparti/esp_doc_29.html , archivo consultado en dic/1999)

Paredes, O., 2000. ¿Dónde se enchufa el enchufe?. CENTRO DE ANIMACION JUVENIL (CAJ). Informe "final". FUNREDES - Proyecto MISTICA. (documento disponible en Internet en: http://www.funredes.org/mistica/bdd/attachado.php3/lengua/es/idarchi/17 , archivo consultado en ene/2001)

Katz, R. & Rudy. L., 1999. Editor´s notes. Information Technology in Higher Education: Assessing Its Impact and Planning for the Future. New Directions for Institutional Research, Number 102: 1-7.

WHO-World Health Organization, 2000. The World Health Report 2000 Health Systems: Improving Performance. (documento disponible en Internet en: http://www.who.int/whr/ , archivo consultado en Enero/2001)