How to judge (macro)economic models or Why Paul Krugman gets it wrong

Paul Krugman recently participated in a discussion about the current state of macroeconomics, particularly about the “dominant” paradigm of DSGE models and their predecessor, the IS-LM model. Using DSGE models by myself and disagreeing with basically all of what he said, let me comment on an especially unconvincing piece of reasoning:

“[…] how [do] we know that a modeling approach is truly useful. The answer, I’d suggest, is that we look for surprising successful predictions. So has there been anything like that in recent years? Yes: economists who knew and still took seriously good old-fashioned Hicksian IS-LM type analysis made some strong predictions after the financial crisis”.

In short: forget DSGE models and related stuff and go back to IS-LM because people using IS-LM recently made some “right” predictions. Is the exclusive focus on its “predictions”a reasonable criterion to judge (macro)economic models or how should they be judged else?

With respect to the former, let me give you an admittedly extreme example. Over the last few decades, we could have very well predicted the EU agricultural policy by assuming that the aim of policy makers was to reduce consumer welfare. Would you resort to this sort of model when discussing likely upcoming agricultural policies from an outsider perspective? I would not.

Can we take up another extreme and simply judge a model based on the realism of its assumptions? I suggest we can’t. “Let’s assume a representative agent who cares about consumption, leisure and wearing blue jeans” to take another extreme example. Would you reject a macroeconomic argument formulated with this agent based on the unrealism of the blue jean assumption (as long as the model is not intended to explain the jeans market). I would not because in this context, I regard this assumption to be irrelevant for the models conclusions/predictions. The difference with respect to the first example is then of course that in the former, I’m convinced that the assumption matters for the results, in the latter I´m convinced it does not.

So one cannot judge models solely by their predictions because the underlying assumptions in combination with the implied propagation mechanisms might be clearly implausible/unconvincing and important for the predictions. Assessing the latter in turn requires to dig into the model dynamics implying that one can also not base a judgement solely on the realism of the assumptions.

How can a reasonable criterion that takes the above findings under consideration then look like? As so beautifully described in McCloskey essay on the “Rhetoric of Economics”, (macro)economists are persuaders. What they do is “careful weighing of more or less good reasons to arrive at more or less probable or plausible conclusions – none too secure, but better than would be arrived by chance or unthinking impulse; it is the art of discovering warrantable beliefs and improving those beliefs in shared discourse […] (Booth 1961, see the above link p. 483 for the exact citation)”. The purpose of models, I’d argue is then to help organizing that discourse, help to structure your own thinking, clarify the debate and provide a framework to confront thought with data.  In order to be useful for that, they need to be “persuasive” in the context they are used. The realism of the assumptions and the implied propagation mechanisms, their respective importance for the results and the model´s fit to data are all part of the subjective assessment with respect to that criterion.

How then about DSGE vs. IS-LM in policy debate? IS-LM and related models were mainly discarded in policy analysis because they incorporate reduced form parameters on e.g. the interest rate responsiveness of investment or the marginal propensity to consume which most economists were not convinced to be sufficiently independent of economic policy. This criticism is today as valid as it was 30 or 40 years ago, none of that has changed. All that has changed is that IS-LM made some “correct” (one may very well discuss the use of this word here but that´s not the purpose of this blog entry) predictions. Shall we go back to a model that was labelled as an unpersuasive tool although the main point of criticism is still valid – NO. Shall we use it now lacking a better alternative? Properly specified state-of-the-art DSGE models are a tool that outclasses IS-LM on virtually every aspect (YES even when it comes to rational expectations). For sake of shortening the entry, I will yet argue my case for that in a follow-up post.

Advertisements

A hypothesis test in P.G. Wodehouse’s 1934 “Right Ho, Jeeves”

Reading on (you may want to read my previous post before this one), I found another beautiful example of hypothesis testing in literature with a pretty clear p-value calculation. I am now reading P. G. Wodehouse’s “Right Ho, Jeeves”, first published in 1934 I believe.

Continue reading

a hypothesis test in a a milne’s 1922 “the red house mystery”

I am doing some summer reading and just came across a nice literary example of one of the key methodological approaches in science: hypothesis testing.

What do we do when we perform a hypothesis test? We form a theory and call it our null hypothesis.  We then look at data and ask ourselves how probable it is that we would see this data (or something like it) if the null hypothesis were true. This probability is called the p-value. If this probability is very low, we then abandon our null hypothesis in favor of its opposite.

Detective stories are generally a good potential source for examples of this approach, as detectives constantly entertain theories or hypotheses that have to be revised or rejected as new evidence is found. The present example is special in that the author really gives us all the steps of such a test in a specific setting, including the calculation of the p-value, that is the probability of seeing such data as was observed under the assumption that the null hypothesis is true. Continue reading

Re: Bitte weitersagen: Modellannahmen sind keine Werturteile!

In den letzten beiden Beiträgen wurde hitzigst im weitesten Sinne über Modellannahmen diskutiert. Beim Lesen sind mir einige Dinge in den Sinn gekommen, die ich hier gerne als Kommentare bzw. Denkanstöße beitragen möchte.

  1. Max behauptet, Modellannahmen wären strategische Vereinfachungen, die einem helfen, die wesentlichen Aspekte der Realität von den unwesentlichen zu trennen. Das mag in der Theorie stimmen, aber tut es das auch in der Praxis? Sind Modellannahmen nicht allzu oft von Mach- bzw. Rechenbarkeit getrieben? Ist euch die Aussage „Wir machen das so und so, weil nur dann eine analytische Lösung existiert.“ noch nie untergekommen? In einer perfekten Welt würde Modellierung wohl so funktionieren, wie Max es beschreibt. Ich glaube aber nicht (Sic! Ein Glaubenssatz!), dass wir in solch einer idealen Welt leben. Darüber hinaus denke ich auch nicht, dass es überhaupt durchführbar ist, Modellierung ausschließlich durch strategische und objektiv einwandfreie Überlegung zu bewerkstelligen. Und hier kommt wohl Wolfgangs Zugangsweise ins Spiel: „Die Entscheidung, welche nötigen und vereinfachenden Annahmen getroffen werden, liegt natürlich beim Modellbauer und sind in einem starken Ausmaß Werturteile.” Ich würde das „im starken Ausmaß“ nicht unterschrieben, aber dieser Zugang entspricht im Wesentlichen sicherlich oftmals der Realität. Wer hat also recht? Irgendwie doch beide, Max und Wolfgang. Während Max eine normative Herangehensweise wählt („Wie sollte Modellierung aussehen.“), geht Wolfgang den deskriptiven Weg („Wie sieht Modellierung tatsächlich aus.“). Die beiden behandeln also unterschiedliche Probleme, weswegen diese hitzige Diskussion darüber zumindest für mich nicht ganz nachvollziehbar ist.
  1. Katharina Maria unterschiedet zwei Zwecke von Modellen: „Ich glaube, du musst zwischen dem Modell selbst und, wenn dies der Zweck des Modelles ist, seiner Funktion einen Teil der Realität abzubilden unterscheiden. Im letzten Fall, kannst du meiner Meinung nach nie wissenschaftlich feststellen, ob deine Annahmen wirklich korrekt sind bzw. ob du die richtigen Annahmen getroffen hast, denn auch Modelle mit falschen Annahmen generieren richtige Forecasts und vice versa. In ersterem Fall würde ich das Modell mit einem logischen Argument vergleichen und das kann deduktiv korrekt sein, wie ein mathematischer Beweis eben einfach logisch richtig ist, … das hat dann mit Werturteilen wirklich wenig zu tun.“ Dem stimme ich grundsätzlich zu. Ein mathematisches Modell ist im Grunde ein Theorem, das aus den Annahmen (welche zuvor sauber definiert werden müssen) durch logische Schlussfolgerung Eigenschaften ableitet. Diese Eigenschaften in Frage zu stellen, ist wenig sinnvoll, da sie direkte Implikationen der Annahmen sind. Sobald ein Modell jedoch die schöne, mathematische Welt verlässt und dafür miss-/ge-braucht wird, um die tatsächliche Welt zu beschreiben, ist es mit der Exaktheit auch schon wieder vorbei. Denn die Richtigkeit der Eigenschaften und Implikationen innerhalb des Modells sagen nichts über die Richtigkeit außerhalb des Modells aus – ob ein Modell in der Realität also brauchbar ist, ist eine gänzlich anders geartete Frage. Zwei Probleme sehe ich im obigen Statement dennoch: Zunächst halte ich es für problematisch, die Frage nach der Güte eines Modells mit der Produktion richtiger „Forecasts“ zu beantworten. Ein Modell kann durchaus die Vergangenheit und vielleicht auch die Gegenwart gut beschrieben, aber für die Zukunft komplett versagen. Die Welt, in der wir leben, ist glücklicherweise komplex genug, um uns ständig neu zu überraschen. Möchte man Mechanismen verstehen, ist es wichtig die Dynamiken richtig abzubilden und nicht unbedingt akkurate zukünftige Vorhersagen zu treffen. Die Vorhersagekraft eines Modells spielt meines Erachtens nach nur eine untergeordnete Rolle in der Validierung desselben. (Selbstverständlich hängt dies natürlich auch vom letztlichen Zweck eines Modells ab.) Andererseits möchte ich betonen, dass die Unterscheidung von Modell und Modellannahme – sit venia verbo – sinnlos ist. Die Annahmen sind grundlegender Teil eines jeden Modells und können niemals davon losgelöst betrachtet werden.
  1. Max vertritt die These – zumindest habe ich das so aufgefasst – dass ökonomisches Arbeiten darin besteht, ein theoretisches Modell zu formulieren und daraufhin die Gültigkeit des proklamierten Mechanismus anhand von Daten zu bestätigen oder zu falsifizieren. Vielmehr noch meint er, dass die Gültigkeit von Annahmen durch das Füttern des Modells mit empirischen Daten und einem „guten“ (also im Rahmen der Erwartungen liegenden) Ergebnis bestätigt werden kann. Das ist zwar sicherlich eine recht praktikable Herangehensweise (wenn nicht sogar eine der wenigen tatsächlich durchführbaren), aber dennoch muss festgehalten werden, dass Daten nie und nimmer ein Modell bestätigen können. Das Beste, was erwartet werden kann, ist, dass Daten ein Modell nicht grundsätzlich widerlegen. Das heißt, dass die Aussage „Dieses Modell trifft nicht zu.“ nicht getätigt werden kann. Die Aussage „Dieses Modell ist wahr.“ ist damit aber noch lange nicht bestätigt. Zugegebenerweise legt natürlich ein Nicht-Widerlegen durch sehr viele unterschiedliche aber gleichgeartete Datensätze die Vermutung nahe, dass das Modell, welches – wie ich nochmals betonen möchte – niemals ohne seine zugrundeliegenden Annahmen gedacht werden darf, wohl nicht ganz so falsch sein wird. Aber das ist natürlich kein Beweis!
  1. Der Ton der Unterhaltung: Ich finde Moralisieren öde, weil es zum Einen eine Diskussion erstickt und zum Anderen kaum auf Interesse der Leserschaft stößt. Ich denke, wir sind alle alt genug, um selbst entscheiden zu können, welchen Ton wir in welcher Situation als angemessen erachten und es steht uns allen frei, diesen auch zu verwenden.

Bitte weitersagen: Modellannahmen sind keine Werturteile!

In einem Kommentar zu meinem letzten Blogeintrag behauptet Wolfgang Eichert frech, Modellannahmen seien Werturteile. Ich höre diese Behauptung nicht zum ersten Mal. Sie scheint besonders bei Grazer VWLern sogar fast zum Allgemeinwissen zu gehören. Nur ist sie halt – wie so oft bei Allgemeinwissen – nicht wahr.

Werturteile sind Aussagen darüber, ob man etwas gut oder schlecht, schön oder schiach findet. Sie sind subjektiv und bieten keinen Stoff für vernünftige Debatten. De gustibus non est disputandum.

Modellannahmen sind strategische Vereinfachungen, die einem helfen, die wesentlichen Aspekte der Realität von den unwesentlichen zu trennen. Ockham’s Rasiermesser verlangt, dass der Modellbauer alle unwesentlichen Aspekte aus seinem Modell raushält.

Ob ein Aspekt wesentlich ist oder nicht, ist auch kein Werturteil, sondern eine empirische Frage: Wird das Modell von den Daten bestätigt oder nicht? Das ist genau der Job von Ökonometrikern. Warum Wolfgang glaubt, dass solche Fragen in der Regel nicht objektiv beantwortbar sind, ist mir ein absolutes Rätsel. Natürlich ist es schwierig, weil ökonomische Daten noisy sind und wir keine kontrollierten Experimente machen können (abgesehen von den Experimentalökonomen). Aber das heißt nur, dass man in den Fällen, in denen die empirische Beweislage für ein Modell unklar ist, mit hochtrabenden Aussagen vorsichtig sein muss. Es heißt nicht, dass die Auswahl von Modellen eine Sache der Ideologie oder des „Geschmacks“ bleiben muss.

Wer Modellannahmen auf den Rang von Werturteilen degradiert, verhindert letztendlich eine vernünftige Diskussion über das Modell. “Ach, du glaubst also an Rationale Erwartungen? Naja, bist halt ein Neoliberaler.” Oder “Du glaubst an die Arbeitswertlehre? Verdammter Kommunist!”

Diese Einstellung ist höchst destruktiv, weil sie suggeriert, dass die Wissenschaft ein Selbstbedienungsladen ist, bei dem halt jeder an das Modell „glaubt“, das gerade am besten zu seiner ideologischen Weltanschauung passt. Und sie führt zu einem stupiden Nihilismus, der auf keine Frage mehr eine brauchbare Antwort geben kann. „Führen höhere Steuern zu geringerem Wirtschaftswachstum? Naja, das kommt drauf an: Bist du ein Roter oder ein Schwarzer?“

Kurzum: Wer darauf besteht, dass Modellannahmen Werturteile sind, verhindert einen sachlichen, datengetriebenen Diskurs über ökonomische Theorie.

Und jetzt die ganze Klasse: MODELLANNAHMEN SIND KEINE WERTURTEILE!