Здесь вообще лазер не нужен, можно совсем без него.
У вас пока получился спектроскоп, а не спектрометр. Спектроскоп - это когда спектр просто смотрят, спектрограф - когда фотографируют на пленку и потом фотометрируют, спектрометр - когда количественно измеряют интенсивности. И вы пытаетесь сделать флюоресцентный спектрометр. В качестве возбуждения используете лазер. Но на самом деле можно сделать и спектрометр отражения, освещать обычной лампочкой накаливания (обязательно накаливания, не светодиодом и не энергосберегающей). И спектрометр пропускания, то же самое, только на просвет. И классика - это когда исследуемое вещество само светится при его сжигании на бунзеновской горелке или в электрической дуге. Во всех случаях сам спектрометр устроен совершенно одинаково, отличается только источник света.
И собака зарыта вот где. Дифракционная решетка отклоняет свет в зависимости от длины волны. А значит это, что она просто "размножает" изображение по длинам волн. Изображение - это изображение щели. И начинать надо с того, что сделать хороший коллиматор. Без всякой решетки, просто линзы и щель. Задача в том, чтобы на камере получить от щели как можно более тонкую линию. Вероятно, потребуется система линз и щель (одного микроскопного объектива недостаточно). Должен быть виден буквально "волосок". И затем при добавлении решетки этот "волосок" развернется в спектр. Разумеется, придется всю конструкцию повернуть на угол, соответствующий первому порядку дифракции. И чтобы хорошо работало, расстояние до решетки надо сделать побольше, тогда спектр будет длиннее. Ширина изображения щели и будет наименьшей шириной спектральной линии, которую удастся увидеть.
Проблема будет в том, что хорошая щель означает огромную потерю света. Если ваша камера - не какой-нибудь Canon 5D mkIII с адским ISO, то у вас не хватит чувствительности камеры. В этом случае замените камеру на фотопленку и используйте огромные (до часа) экспозиции. Пленку лучше брать черно-белую (впрочем, камеру тоже). Вместо камеры можете использовать линейку ПЗС от черно-белого сканера (та же камера, только одномерная), у нее разрешение намного выше.