耳後ろの骨が左だけ少し腫れている

3年ほど前(もっと前かも)から、耳の後ろの骨が左だけ大きくなっています。腫れていますが、痛みもなく、触らないと気が付かないくらいです。見た目にも目立たないですし、耳鼻科に行った時も、「原因が分からないから疲れてリンパが腫れてる」「とりあえず大丈夫」と言われました。その時から大きくなった様子もないのですが、いろいろ調べる中で、しこりなのか？癌なのか？と考え出したらキリがなく、不安なので相談しました。

粉瘤のように膿が出るとかもないですし、痛みも全くありません。美容整形やピアスも開けていないので雑菌が入ることもなかったと思います。
やはり放置しておいても大丈夫なものなのでしょうか？
病院に行ったときは、一時的なものだと思ったのでストレスがなくなればすぐに引くと思っていましたが、3.4年立っても変わらなかったので、もしアドバイスがあったらお願いします。

また、可能性のある病気や今後何科に行ったらいいかというのも、もしありましたらお願いします

耳鼻咽喉科耳しこり・できもの・ほくろ・あざ