Thread by @luisloria

A propósito del tren eléctrico: mucho se ha escrito sobre sus beneficios y costos. Es común para un proyecto de esta magnitud que se recitan cifras y estimaciones como si fueran verdades absolutas y datos duros.

La realidad es que un proyecto de esta magnitud (y su justificación técnica) esta sujeta a infinidad de hipótesis.

Un análisis crítico de estos supuestos es central para la determinación de su conveniencia.

A mi parecer, dicho análisis ha carecido en el debate actual.

En ese sentido, me di a la tarea de realizar una evaluación técnica del proyecto de factibilidad: algo similar a una revisión por pares.

Lo comparto con la esperanza pueda sumar al debate desde un punto de vista técnico.

He usado un lenguaje no técnico de manera, espero, cualquiera pueda seguirlo.

Aquí va en este mega-hilo….

1/n Primero un poco de contexto:

La evaluación de un proyecto de infraestructura se centra en sopesar los costos y beneficios de llevarlo a cabo.

Ello lleva a la realización de un Análisis Costo Beneficio (ACB).

2/n Un ACB es básicamente una determinación de si los beneficios superan los costos.

Ello se hace mediante una simple formula:

Beneficios - Costos = ¿?

3/n Suena simple, pero su aplicación requiere de la estimación de numerosos importes y rubros. Su complejidad radica en que los beneficios y costos se deben expresar usando una misma medida = usualmente dinero.

4/n Dado que los gastos típicamente son bienes y servicios que son pueden ser comúnmente adquiridos en mercados, estos son “relativamente” fáciles de estimar.

Los beneficios, esos son otra historia....

5/n Usualmente los beneficios se componen de cosas que no estamos acostumbrados a comercializar (ej: ¿cuánto vale una hora de mi tiempo?) y por ende ponerles un valor es difícil.

6/n La valuación de beneficios ha sido tema de estudio en la academia e industria por décadas. Existen diferentes metodologías, todas con pros y contras.

7/n La rigurosidad de cada metodología dependerá de los supuestos que se hagan. Es clave que estos estén bien fundamentos y sean transparentes, de manera que se pueda garantizar su reproducción y evaluación.

8/n Mi evaluación se concentrará entonces en el análisis económico, específicamente en la valuación de los beneficios según fueron calculados por los autores del estudio.

9/n Con este contexto, vamos al estudio…

El mismo se puede accesar aquí:

incofer.go.cr/trenelectricog…

10/n Primero, la justificación de la metodología general empleada:

11/n Para acompañar esta evaluación, la Guide to Cost-Benefit Analysis of Investment Projects (GCBAIP) puede ser descargada aquí:

ec.europa.eu/regional_polic…

12/n ¿Qué dice la GCBAIP en términos generales? Pues, como es usual en cualquier estudio, la metodología debe estar fundamentada y ser verificable de manera que pueda ser replicada por un revisor.

13/n Con eso en mente, aquí la especificación de la eq central del ACB.

Los beneficios contienen importes razonables y en línea con la práctica común y la GCBAIP.

Nótese que no se incluyen posibles efectos indirectos en término de desarrollo en la zona de captación del tren.

14/n Aquí las hipótesis generales. 14/n Una serie de hipótesis generales. De notar algunas de las fuentes para los indicadores macroeconómicos.

15/ Este tipo de referencias en general no es buena práctica. La GCBAIP así lo advierte:

16/n Vamos a los resultados generales. A primera vista, el proyecto resulta costo-efectivo a lo largo de la vida del tren (año 2056).

Los beneficios son $4,337M y los gastos $1,335M, para un beneficio neto de $3,000M – esta es la cifra que se repite en publicidad y medios.

17/n Pero observando a detalle, nótese que solo los beneficios por ahorro de tiempo suponen más del 77% del total de beneficios.

En un proyecto de transporte público es común que los ahorros en tiempo sean cuantiosos, pero ¿más de ¾ partes del total?

18/n Ello significa que el peso de las conclusiones del ACB pesan en la metodología y cálculo de este rubro.

Exploremos a detalle…

19/n Previo a ver lo que los autores hicieron, debo explicar que el cálculo de ahorro de tiempo típicamente se compone de 2 cosas: cuántas horas se ahorraran y una medida de valor de tiempo (VDT). Esta última es usualmente el VALOR (no precio) monetario de una hora de viaje.

20/n La literatura para estimar el VDT es extensa. A la fecha existen más de 2,000 estudios científicos en este tema. Existen diferentes metodologías, algunas más complejas que otras.

21/n Idealmente el VDT se calcula usando un instrumento económico llamado estudio de preferencia. Este permite obtener valores de VDT a partir del comportamiento o encuestas a los usuarios.

22/n La GCBAIP así lo reconoce y lo cita como el primer método.

22/n Los estudios de preferencia buscan obtener una medida de valor llamada disponibilidad de pagar (o WTP por sus siglas en inglés).

La buena práctica es realizar un estudio, o en su defecto, usar estudios previos locales para obtener esta medida.

23/n Los autores deciden no realizar este estudio (a pesar que esta cifra resultará central para las conclusiones del ACB) y optan por un método alternativo (que vale la pena resaltar es también citado en la GCBAIP).

24/n El método usado por lo autores se le llama comúnmente “wage-rate” y consiste en inferir el valor de tiempo a partir del salario del usuario. El mismo surgió en los años 70 y sus limitaciones han sido documentadas desde entonces.

25/n Las críticas al método se centran alrededor de la sobre-simplificación del método, sobre todo en el hecho que asume una sustitución perfecta del valor de tiempo de viaje y el tiempo laboral.

26/n Aquí los supuestos empleados por los autores al usar el método. Utilizan un salario medio para indexar el valor de tiempo. Ello asume todos los usuarios ganan lo mismo y trabajan jornada completa.

27/n Ello conlleva a la principal limitación del método, a cómo fue utilizado por los autores, y es que al calcularlo a partir del salario medio, se asume mismo valor de tiempo para todos los usuarios y contextos de viaje.

28/n La GCBAIP advierte sobre esta limitante y ofrece posibles recomendaciones. Las consideraciones se pueden encontrar en la página 91 de la guía.

29/n ¿Pero, por qué es un problema esto? Pues por que el valor de tiempo en realidad varía según el usuario y la circunstancia del viaje.

30/n A manera de ejemplo: el valor de 1 hora de viaje en un carro con A/C es inherentemente diferente a 1 hora en un bus de pie, lloviendo y con las ventanas cerradas

31/n Un proyecto de transporte por su misma naturaleza DEBE considerar estas diferencias en el VDT. Otros países han desarrollado guías de referencia del VDT para ello (ej TAG book en el Reino Unido).

32/n Pero bueno, es lo que es. Sigamos…

Los autores describen su metodología. Debo reconocer que la descripción la encontré muy confusa y a primera instancia pareciera que confundieron conceptos básicos.

33/n Veamos los resultados.

Es de notar que un gran peso del ACB recae en esta tabla (el sombreado y las banderas no las puse yo, parece copiaron la tabla de Excel sin cuidado). Los autores arriban a un VDT de 2,529 colones por hora.

34/n Primera impresión: algo alto. Es superior al salario mínimo nacional.

Pero no fue hasta que traté de reproducir sus resultados, que encontré algo que me preocupo bastante.

35/n Explico: Los autores toman el salario medio y, por alguna extraña razón, lo sobre-corrigen en un 40% para estimar el “viaje de trabajo” (sic). Lo dividen entre tres para obtener el “viaje de ocio”, y aplican la razón 70:30 para calcular el ponderado, del cual derivan el VDT

36/n ¿Por qué la sobre-corrección del 40% inicial? Revisando la metodología, los autores argumentan que lo hicieron siguiendo la GCBAIP. Es extraño y posiblemente problemático.

37/n ¿El problema? Eso NO es lo que dice la GCBAIP, ni la buena práctica. Busqué en toda la guía alguna referencia a un 40% y lo único que encontré fue esto:

38/n Esta observación se refiere a la, práctica común en la literatura, de la posibilidad calcular el VDT de viajes de ocio a partir de un porcentaje de los viajes de negocio (esto es sumamente claro cuando se lee la página 90 de la guía – en especial el párrafo).

39/n En NINGUN MOMENTO la guía, o la práctica convencional, sugieren multiplicar el salario para obtener el VDT. Ello inevitablemente sobreestimará el VDT y los beneficios de ahorro de tiempo.

40/n ¿Qué tanto? Difícil saber con exactitud. Pero es posible inferir la magnitud. Como mencione previamente, siempre es mejor usar estudios de preferencia locales, pues resulta que existe un estudio publicado en Environmental and Development Economics basado en CR

41/n Alpizar y Carlsson (dos reconocidos modeladores de preferencia a nivel mundial) estimaron el VDT en un 50% el salario promedio.

42/n Cabe resaltar que hay que tener cuidado con los estudios de preferencia. Los resultados dependen del contexto. No obstante, como regla general, siempre es preferible usar estudios locales a usar otros métodos.

43/n Por cierto, Alpizar y Carlsson encuentran diferencias en el VDT según el modo de transporte. Esto refuerza la tesis de permitir variaciones en el VDT.

44/n ¿Qué significa esto? Pues que los autores han cometido un gravísimo error metodológico. Pareciera malinterpretaron la GCBAIP, mezclaron conceptos y calcularon un valor de VDT que posiblemente este sobre-dimensionado por un factor de 2.

45/n Esto es preocupante, dado que el cálculo de beneficios de ahorro de tiempo es central para las conclusiones del ACB.

46/n Recordemos esto es solo el primer componente del cálculo de los beneficios de ahorro de tiempo. Con esto en mente, pasemos al segundo componente: la cantidad de horas.

47/n La cantidad de horas se estima a partir del modelo de demanda. Este es un modelo que proyecta cuantos viajes se harán en diferentes modos de transporte: carros, buses, trenes, etc.

48/n Cabe resaltar que este modelo por sí solo requiere infinidad de supuestos e hipótesis generales. Estos se usan para parametizar funciones de utilidad a partir de las cuales se calculan las proporciones de demanda.

49/n Veamos el detalle del modelo de demanda. Los autores actualizaron un modelo de un estudio del 2007. Existió otro modelo de un estudio de pre-factibilidad del 2016, pero los autores argumentaron no tuvieron acceso al mismo y por ende usaron el del 07.

50/n Vale la pena decir que a veces, para simplificar, la especificación de modelos de demanda (sobre todo en aquellos más antiguos) estima proporciones de demanda uni-modales. Es decir, asumen la gente usará un solo modo de transporte en sus viajes.

51/n Es curioso que las funciones de utilidad del modelo no se proporcionan. Sin ellas, es difícil saber si el modelo incorpora proporciones multi-modales – usuarios que usarán más de 1 medio de transporte a la vez (ej tren-bus, tren-bicicleta, etc.).

52/n Traté de buscar, sin éxito, el modelo del 2007; pero, dado que fue la misma empresa (L.C.R.) quien hizo el modelo, decidí revisar el estudio del 2016 para buscar pistas….

53/n La página 43 del mismo (2016) dice que los detalles del modelo están en el Anexo, pero el mismo no se encuentra en la página del INCOFER. Esto es algo frustrante.

54/n No obstante, en la pág. 186 me encontré esta observación que, en mi criterio, es la forma en que autores reconocen que el modelo de demanda no asume viajes multi-modales.

55/n Puede y este equivocado, necesitaría ver las ecuaciones para estar seguro.

Pero si ese el caso, entonces la proporción uni-modal sería una generalización más que le resta rigurosidad al estudio.

56/n En todo caso, sigamos…

Lo que sí es seguro es que el modelo de demanda usa las rutas de bus existentes. Esto es de notar, dado que uno de los atractivos y puntos de venta del tren es la posibilidad de hacer nodos inter-modales y sectorizar las rutas…

57/n Este sin duda ha sido uno de los argumentos a favor. Frases como el “tren será la columna vertebral” son recurrentes en la publicidad usada por el gobierno y proponentes.

58/n Los autores así lo reconocen y tratan de modelar un sistema con sectorización, pero por la incertidumbre sobre cómo será esa sectorización, deciden que no usarán ese modelo.

La parte subrayada es clave y me referiré a ella más adelante…

59/n Finalmente, no hay detalle de cómo extrapolaron la demanda de la hora pico matutina (HPM) para calcular el total diario o anual. Los autores hacen referencia a un Anexo que no se incluye en la documentación en la pagina del INCOFER.

60/n En fín, por ahora, lo importante es notar que el estimado de ahorros de tiempo sigue supuestos que no se darán en realidad. Esto es clave.

Con eso en mente, veamos el total de ahorro…

61/n Los autores presentan esta tabla y estiman los ahorros en 115 millones de horas por año. Pero ¿es esto el promedio a lo largo de la vida util del proyecto?

Mi experiencia me dice que hay autores que tienden presentar datos de la manera más favorable posible… Vamos a ver…

62/n Revisando los flujos anuales y haciendo el cálculo a partir del VDT de los autores, en el primer año (año 2027) el ahorro es de 92 millones de horas, a mediados (2041) es de 111 millones y no es hasta el año 2050 que se llega a la cifra de 115 millones.

63/n Pero lo que más me llama la atención es que los autores no presentan un desglose de ahorros de tiempo por modo de transporte. Es decir, no sabemos cuánto tiempo ahorrará un usuario de carro, comparado con uno de bus o tren.

64/n ¿Por qué es importante saber el desglose por modo? Primero, para ver quiénes serán los más beneficiados en ahorro de tiempo. Segundo, para ser usado como herramienta de validez del modelo.

65/n Explico: Partiendo de un total de un ahorro 111M de horas, si dividimos entre la cantidad TOTAL de viajes, se da un promedio de ahorro de 5 mins por viaje. Si dividimos entre la cantidad de viajes de tren, resulta un promedio de 2 hrs por viaje. ¡Es una variación enorme!

66/n Este tipo de interpretaciones son claves para la toma de decisiones. Es fundamental saber de donde saldrán esos ahorros de tiempo... (y aparte tengo curiosidad…)

De vuelta al modelo de demanda para ver las proporciones modales y ver si podemos hacer alguna inferencia...

67/n Aquí la demanda estimada.

Haciendo un cálculo sin y con proyecto, como era de esperar, los mayores cambios modales hacia el tren se dan en viajes de bus (5%) y tren (100%) actuales.

En cambio, se estima que solo el 3% de los viajes en carro actuales cambiarán a tren.

68/n Si vemos los totales de viaje, se observa que la mayor parte de los viajes futuros serán hechos en bus y carro. Aproximadamente un 4% de los viajes totales serán en tren.

69/n Como nota aparte, es realmente frustrante que los autores no incluyeron ninguna de estas estimaciones de manera explícita y obligan al lector a hacer estos cálculos manualmente.

70/n ¿Qué mensaje obtenemos de esto? Pues que dado el limitado cambio modal desde bus y carro, es de esperar que la mayor cantidad de ahorro de tiempo será entre los usuarios que decidan usar el tren.

71/n En este caso, si dividimos el ahorro de tiempo entre aquellos usuarios de tren, obtenemos un ahorro promedio POR VIAJE de alrededor de 2 horas, en cuyo casi es sumamente alto e inconsistente con modelos de demanda similares en otros lados del mundo.

72/n Debo resaltar que este cálculo es burdo y posiblemente sobre-simplificado. No obstante, lo único que hago es seguir el razonamiento de los autores e inferir los detalles que se omiten.

73/n Es por ello que concluir que el tren generará X ahorros de tiempo, sin ser franco en las limitaciones y generalizaciones del estudio, es inducir al error.

74/n Vamos a otro de los beneficios: el ahorro en accidentes de tránsito. La premisa de este rubro en un ACB es que menos vehículos generan menos accidentes, y ello supone un ahorro en costos médicos y la no pérdida de productividad laboral. A ver la metodología…

75/n Los autores usan tasas de accidentabilidad de Guatemala y Bogotá. No estoy seguro por que escogieron estos países. Sin duda estos datos existen para CR. No se especifica si estas son tasas urbanas o nacionales.

76/n Si fueran nacionales, esto es un problema. Las autores muy probablemente usaron una simple regla de tres para calcular la reducción en accidentabilidad. Es decir, tomaron la cantidad de viajes evitados de acuerdo al modelo de demanda y multiplicaron por la tasa…

77/n Los autores estiman que habrán 3,529 menos accidentes y 85 menos muertes en carretera. Pero esto es asumiendo que la tasa de accidentabilidad es la misma en la GAM y a nivel nacional.

78/n Las tasas de accidentabilidad varían de acuerdo al contexto de la zona. Lo correcto hubiera sido tomar la tasa de la GAM. Sumado a ello, no se hizo un análisis del impacto de la accidentabilidad debido al aumento en interacciones tren-vehículos.

79/n Si bien esta cifra de solo un pequeño % del total, no es insignificativa ($55 millones).

80/n Otras observaciones sobre los demás beneficios: Los costos de operación de los vehículos privados no consideran la renovación de la flota vehicular – estamos hablando de un análisis a 30 años!

81/n La cuantificación de externalidades en contaminación, igual no considera la renovación de la flota vehicular y el hecho que, si bien el tren eléctrico no genera PM por combustión, su rodamiento si generará.

82/n A manera de resumen: Los autores han presentado generalizaciones e hipótesis que restan a la rigurosidad del estudio. En mi criterio, han cometido errores metodológicos – uno gravísimo en el cálculo de VDT – que ponen en tela de duda sus conclusiones

83/n Me resultó interesante que en el análisis de escenarios, los autores encontrarán que el modelo con sectorización de buses le restaba demanda al tren eléctrico...

¿Qué pasaría si se analiza un escenario con sectorización de buses y sin tren vs status quo?

84/n Y he ahí, una de las principales limitaciones del estudio de factibilidad: únicamente compara el tren contra no tren. ¿Por qué no comparar diferentes escenarios sin tren?

85/n ¿Puede y un sistema de sectorización resulte en ahorros de tiempo para una mayoría de la población?

Recordemos aproximadamente 1,200,000 personas se trasladan en bus actualmente.

86/n Como conclusión, si este estudio fuera sujeto a un proceso de evaluación científica, este sería devuelto a los autores para su corrección.

87/n A ello añado, que si bien este estudio del tren no fue hecho para publicación científica, no significa que no deba ser sometido a un escrutinio técnico como tal.

88/n La buena gobernanza radica en el debate y escrutinio de las propuestas. Como sociedad debemos exigir más y no aceptar las conclusiones que se nos presentan sin antes tener todos los argumentos a la mano.

89/n En ese espíritu, espero este análisis sume al debate y sea usado desde una perspectiva técnica para la toma de decisiones.

FIN.