名前でグループ化する SQL クエリが必要ですが、最新のエントリに基づいて他のフィールドを返します

TOP (1) WITH TIES を選択し、ROW_NUMBER() 式を ORDER BY 句に入れると、Andrey が書いたものをもう少しコンパクトに書くこともできます。

SELECT TOP (1) WITH TIES
  CallerFName,
  CallerLName,
  CallerDOB,
  CreatedOn,
  PhoneNoteID
FROM [dbo].[PhoneCallNotes]
WHERE CallerLName = 'Public' 
ORDER BY ROW_NUMBER() OVER(
  PARTITION BY CallerFName, CallerLName, CallerDOB
  ORDER BY CreatedOn DESC
)

(ちなみに、単純な文字列比較に LIKE を使用する理由はありません。)