Как я Boost.Any с Boost.MPL дружил

Я думаю, что можно сделать проще, если использовать boost::function.
Объявляем конвертер:

typedef boost::function<ToType (boost::any)> converter;

И кладём их в мапу:

std::map<std::type_info const*, converter>;

Думаю, оное можно реализовать с boost::variant и параметризуемым boost::static_visitor.