<div dir="auto">I would not rely on the arbitrary p-value threshold, which as you point out is not a god practice.  You can plot these effects with confidence intervals for various moderator values. </div><div><br><div class="gmail_quote"><div>On Sun, Aug 27, 2017 at 9:41 AM Mark White <<a href="mailto:markhwhiteii@gmail.com">markhwhiteii@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>Hello,<div><br></div><div>I am working on a moderated mediation model.</div><div><br></div><div>I had originally fit it calculating Hayes's index of moderated mediation (i.e., the product of coefficients method, then bootstrapping it—I adapted it for R, here: <a href="https://github.com/markhwhiteii/processr/blob/master/R/model7.R" target="_blank">https://github.com/markhwhiteii/processr/blob/master/R/model7.R</a>).</div><div><br></div><div>I got a review from a journal that wanted me to do a sensitivity analysis for this using the `mediation` package, and to use your method in general. I ran into a problem, though: The significance of my moderated mediation model <i>depends on the values I choose of the moderator. </i></div><div><i><br></i></div><div><i>(Attached is some .R code with my data `dput()` for replicability.)</i></div><div><i><br></i></div><div>Consider the code:</div><div><br></div><div><div><font face="monospace, monospace">mod_m <- lm(ent ~ cond*angi, dat)</font></div><div><font face="monospace, monospace">mod_y <- lm(legit ~ cond*angi + ent, dat)</font></div><div><font face="monospace, monospace"><div>m_out <- mediate(mod_m, mod_y, treat="cond", mediator="ent")</div></font></div><div><div><font face="monospace, monospace">modmed_out <- test.modmed(m_out, covariates.1=list(angi=lo_angi), covariates.2=list(angi=hi_angi))</font></div></div><div style="font-style:italic"><br></div></div><div><font face="arial, helvetica, sans-serif">The significance of the difference between the two mediation effects depends on what values I chose for low and high values of the moderator (in this case, `angi`). </font></div><div><span style="font-family:arial,helvetica,sans-serif"><br></span></div><div><span style="font-family:arial,helvetica,sans-serif">Do you have more of a continuous test that I could perform? That is, the product of coefficients method is essentially the slope for the moderator predicting the indirect effect (</span><font face="arial, helvetica, sans-serif"><a href="http://www.tandfonline.com/doi/full/10.1080/00273171.2014.962683" target="_blank">http://www.tandfonline.com/doi/full/10.1080/00273171.2014.962683</a></font><span style="font-family:arial,helvetica,sans-serif">). If I choose +/- 1SD, then my p-value is .052; if I choose +/- 1.5SD, then it is .038.</span></div><div><span style="font-family:arial,helvetica,sans-serif"><br></span></div><div><span style="font-family:arial,helvetica,sans-serif">This seems like it is far too easy to p-hack and overly dependent on arbitrary values. My moderator is on a Likert scale, so there is no real meaningful values of it in a non-arbitrary sense. </span></div><div><span style="font-family:arial,helvetica,sans-serif"><br></span></div><div><span style="font-family:arial,helvetica,sans-serif">Is there any way to get a more general test of "does the ACME <i>depend</i> on the moderator in general"?</span></div><div><font face="arial, helvetica, sans-serif"><br></font></div><div><font face="arial, helvetica, sans-serif">Thank you for your time,</font></div><div><font face="arial, helvetica, sans-serif">Mark</font></div></div>
</blockquote></div></div><div dir="ltr">-- <br></div><div class="gmail_signature" data-smartmail="gmail_signature">Kosuke Imai
Professor, Department of Politics
Center for Statistics and Machine Learning
Princeton University
<a href="http://imai.princeton.edu">http://imai.princeton.edu</a>

Sent from my mobile phone</div>