Puoi selezionare ogni articolo da Items e LEFT JOIN MyTbl sul comune ItemID , contando le partite;
select
Items.itemId,
count(MyTbl.itemId) as count
from Items
left join MyTbl on (MyTbl.ItemID = Items.ItemID)
group by Items.itemId
order by Items.itemId