Собственно... Передаем в метод removeItemFromMapByValue мапу и значение (имя). Вызванный метод removeItemFromMapByValue должен удалять строку с совпадающим значеннием или нет? 
package com.javarush.task.task08.task0817;

import java.util.HashMap;
import java.util.Iterator;
import java.util.Map;

/*
Нам повторы не нужны
*/

public class Solution {
    public static HashMap<String, String> createMap() {
        HashMap<String, String> map = new HashMap<String, String>();
        map.put("A", "Aa");
        map.put("B", "Aa");
        map.put("C", "Cc");
        map.put("D", "Dd");
        map.put("E", "Dd");
        map.put("F", "Ff");
        map.put("G", "Ff");
        map.put("H", "Hh");
        map.put("I", "Ii");
        map.put("J", "Jj");
        return map;
    }

    public static void removeTheFirstNameDuplicates(Map<String, String> map) {
        for (Map.Entry<String, String> pair: map.entrySet()) {
            removeItemFromMapByValue(map, pair.getValue());
        }
    }

    public static void removeItemFromMapByValue(Map<String, String> map, String value) {
        HashMap<String, String> copy = new HashMap<String, String>(map);
        for (Map.Entry<String, String> pair : copy.entrySet()) {
            if (pair.getValue().equals(value))
                map.remove(pair.getKey());
        }
    }

    public static void main(String[] args) {

    }
}