News

[Indie Dev Says] 'Noise Canceller', a song performed by an emotion-reading AI
[인디言] 감정 읽는 AI가 들려주는 노래 ‘노이즈 캔슬러’

AI Summary
MandU is developing Noise Canceller, a narrative-driven rhythm game utilizing AI music generation. The game features unique mechanics where emotional states trigger gameplay gimmicks and shifting lanes. Aiming for an early access release this September, the team focuses on creating a welcoming experience for all players.
노이즈 캔슬러 체험판 시작 화면 (사진: 게임메카 촬영)
▲ The startup screen for the Noise Canceller demo (Image courtesy: Gamemeca)

Look, let's be honest: the current obsession with AI is reaching a fever pitch. Once a digital nuisance that struggled to answer even the simplest queries, AI has transformed into a universal tool—a Swiss Army knife for creating art, music, reports, and code. While the concerns regarding its side effects are far from trivial, we are rapidly approaching a future where life without AI seems almost unthinkable.

And here are the folks attempting to marry AI with the rhythm genre. The indie team MandU is currently crafting 'Noise Canceller', a narrative-driven rhythm game. The hook? They are utilizing AI platforms like Udio and Suno for select tracks. I had the chance to sit down with team leader Kang Min-wook to discuss the composition process and how they are integrating these tools.

▲ Noise Canceller gameplay footage (Video Source: MandU official YouTube channel)

MandU: Creating content in harmony with music

MandU, the studio behind Noise Canceller, operates under the motto of 'creating content that resonates through music', with a mission to share the power of sound with the world. The six-member team is led by Kang Min-wook, with main developer Kim Ki-hong, visual director Yu Ha-neul, sound artist Kim Da-hee, assistant game designer Kim Won-dam, and assistant visual artist Yu Su-hyeon.

Kang Min-wook grew up with titles like Portal, Half-Life, and Dead Space, which nurtured a dream of game development. After picking up the documentary 'Indie Game: The Movie', Kang was moved by the arduous yet rewarding process of completing a game, and started working toward that dream in the third year of middle school.

Kang Min-wook noted, 'Despite being a small team, we have faced no major hurdles. For specialists in different fields to create synergy, the team leader must be systematic and efficient in operations and scheduling. In short, I just had to do my part well.'

엠앤유 공식 BI 이미지 (자료출처: 공식 홈페이지)
▲ MandU official BI image (Image Source: Official website)

앰엔유 강민욱 팀장 (사진: 게임메카 촬영)
▲ MandU team leader Kang Min-wook (Image courtesy: Gamemeca)

A narrative-driven rhythm game structured by chapters

Noise Canceller places storytelling at its core. Players experience the protagonist's tale chapter by chapter, hitting buttons in sync with the beat. Occasionally, 'noise cancelling' effects disrupt the screen, changing how notes fall or shifting the direction of play. Each chapter consists of multiple stages, with a unique song assigned to each.

The first chapter features a college student named Milo, who wants to confess feelings to a friend named Sierra. As the plot progresses, an AI feature is updated that analyzes the player's emotions to generate music in real-time. Milo uses this to listen to rock music—a genre Sierra loves—to sort through personal feelings before the confession. Some protagonists were inspired directly by team members; Kang Min-wook explained, 'Adapting the lives of team members makes the narrative feel natural and realistic, and serves as a great motivator for the team.'

에피소드 방식으로 구성되는 노이즈 캔슬러 (사진: 게임메카 촬영)
▲ Noise Canceller, presented in an episodic format (Image courtesy: Gamemeca)

▲ Gameplay controlled via F and J keys (Image courtesy: Gamemeca)

As chapters change, so do the protagonists and themes. The second chapter features Sierra, moving away from the love-centric narrative of the first. The music genres are also set to shift: rock for Chapter 1, EDM for Chapter 2, and hip-hop for Chapter 3. Kang Min-wook explained, 'Chapter 1 is about romance, while Chapter 2 explores the story from Sierra's perspective. From Chapter 3 onwards, we plan to adopt an omnibus format covering diverse themes.'

The controls are uniquely mapped to the F and J keys, a concept reflecting the experience of using two earphones—the left earphone corresponds to F, and the right to J. Kang Min-wook remarked, 'Since earphones are the core of the game, I wanted the controls to mirror the act of listening with both ears to heighten immersion. Of course, we will support remapping for players who find this setup unfamiliar.'

▲ The second chapter protagonist, 'Sierra' (Image Source: Tumblbug official website)

공개된 세 명의 주인공 밀로, 시에라, 한나 (사진출처: 텀블벅 공식 홈페이지)
▲ The three revealed protagonists: Milo, Sierra, and Hanna (Image Source: Tumblbug official website)

Focusing on effects and gameplay gimmicks

Noise Canceller features intricate pixel art and distinct visual cues. As the story unfolds and the music plays, the game introduces dynamic changes. For instance, in the first stage of Chapter 1, Milo listens to music with both earphones until Sierra starts a conversation, leading the character to remove one. At that moment, one of the two note lanes disappears.

During the game, the camera may zoom in or lanes may shift based on the protagonist's movements, breaking away from standard rhythm game norms. Kang Min-wook stated, 'The core experience is enjoying the story while playing the rhythm game, so we added emotional resonance. Rather than ramping up difficulty through speed or complexity, we chose to disrupt the player with gimmicks and visual effects to encourage adaptation.'

▲ Normal mode, with lanes split top and bottom (Image courtesy: Gamemeca)

▲ Noise cancelling mode, where the screen occasionally zooms or shifts (Image courtesy: Gamemeca)

This ties into the in-game lore: the prototype AI malfunctions when the user's emotions run high. This causes the 'noise cancelling' to toggle unexpectedly, mixing ambient noise with the music and altering lane directions. Kang Min-wook explained, 'Narratively, when a character feels the need to isolate from the world and block out complex external factors, the AI recognizes this and initiates noise cancellation.'

While the demo only features basic noise cancelling, future versions will include gimmicks like visual effects fading due to unstable connections, or forcing the music into a mono channel, merging the lanes. They are also considering surround sound and equalizer effects. Kang Min-wook added, 'We put a lot of work into the visuals to convey the story, hand-crafting many details. I hope players either become the protagonist or root for them while playing.'

▲ Rhythm gameplay combined with story progression (Image courtesy: Gamemeca)

▲ What will be the fate of the two? (Image courtesy: Gamemeca)

Music in partnership with AI

A unique aspect of Noise Canceller is that some music tracks are generated by AI like Udio and Suno, followed by human post-production. This aligns with the game's concept of AI generating music in real-time based on emotional input. However, not all tracks are AI-made. Kang Min-wook clarified, 'From the second chapter, songs composed purely by our in-house composers will also be included.'

Of course, even with AI assistance, human labor is vital. The team creates prompts tailored to the narrative, adds musical characteristics, and requests output from the AI. They generate dozens of tracks, select the best candidates, and hold internal discussions. The chosen tracks are then mixed, remastered, or edited in a DAW—isolating stems, adding instruments, or removing elements as needed.

Once the music is finalized, note charts are added to build the stage. The charts were created personally by Kang Min-wook, an avid rhythm game fan. The overall difficulty is geared toward beginners. Kang Min-wook said, 'Our target is newcomers and casual rhythm game players; I hope they enjoy the rhythm alongside the visuals and the story.'

▲ Noise Canceller music timeline development screen (Image courtesy: MandU)

오디어 믹서 사용 화면 (사진제공: 엠앤유)
▲ Noise Canceller audio mixer screen (Image courtesy: MandU)

Moving toward the completion of Noise Canceller

Noise Canceller first showcased its demo at PlayX4 this past May. The response from gamers was encouraging. Kang Min-wook recalled, 'Many people mentioned it reminded them of Rhythm Doctor, which I personally enjoy. One couple was so invested that they reacted loudly to every single effect, and I was truly grateful for that.'

Development began in earnest this past February and is currently around 40% complete. Despite the rapid progress, there have been challenges, particularly regarding difficulty balancing. During the PlayX4 demo, feedback highlighted that players found it confusing when lanes shifted or visual gimmicks occurred. Kang Min-wook noted, 'I realized we need to refine the level design or add visual cues to help players recognize the beats better.'

▲ Mono mode, where lanes merge into one (Image Source: Tumblbug official website)

▲ Unstable connection gimmick, where the rhythm cuts out (Image Source: Tumblbug official website)

Developing a rhythm game also brings unique technical hurdles. Every note must hit the beat perfectly in both visual and auditory terms, and adjusting the 'Perfect' window is a complex process. Kang Min-wook remarked, 'Even tiny imperfections can ruin the fun of a rhythm game. We are scrutinizing every detail to ensure high quality.'

Noise Canceller is targeting an Early Access launch on Stove Indie this September, followed by participation in the Steam Next Fest in October. Kang Min-wook concluded, 'Many people fear the rhythm genre, but there is no need to be intimidated. Noise Canceller is definitely not a scary game, so please relax and enjoy it.'

▲ Chapter 3 protagonist, Hanna (Image courtesy: MandU)

▲ The emotional rhythm game 'Noise Canceller' (Image courtesy: Gamemeca)
노이즈 캔슬러 체험판 시작 화면 (사진: 게임메카 촬영)
▲ 노이즈 캔슬러 체험판 시작 화면 (사진: 게임메카 촬영)

최근 AI에 대한 관심과 열기가 뜨겁다. 이전에는 그 어떤 것을 물어봐도 제대로 답하지 못하던 애물단지에서, 그림, 음악, 보고서 작성, 프로그래밍 등 만능 엔터테인먼트이자 제작 도구로 적극 활용되고 있다. 부작용에 대한 우려 역시 만만치 않지만, 얼마 지나지 않아 AI 없이는 생활이 불가능한 미래도 그려진다. 

그리고 여기 AI와 음악을 결합한 리듬게임을 만드는 이들이 있다. 인디 개발팀 엠앤유로, '노이즈 캔슬러'라는 스토리 중심 리듬게임을 개발 중이다. 특이한 점은 일부 노래에 AI 프로그램 우디오와 수노를 활용했다는 것이다. 이에 엠앤유 강민욱 팀장을 만나 어떠한 방식으로 음악을 작곡했으며, 이를 어떻게 활용했는지 등을 들어볼 기회를 얻었다.

▲ 노이즈 캔슬러 플레이 영상 (영상출처: 엠앤유 공식 유튜브 채널)

음악으로 조화하는 콘텐츠를 만드는 ‘엠앤유’

노이즈 캔슬러를 개발 중인 엠앤유(MandU)는 ‘음악(Music)으로 조화(Unison)하는 콘텐츠를 제작한다’는 모토를 지닌 팀으로, 음악의 힘을 사람들에게 알리는 것이 목표다. 강민욱 팀장을 대표로 김기홍 메인 개발자, 유하늘 비주얼 팀장, 김다희 사운드 아티스트, 김원담 서브 게임 기획자, 유수현 서브 비주얼 아티스트의 6인으로 구성됐다. 

강민욱 팀장은 어릴적 ‘포탈’, ‘하프 라이프’, ‘데드 스페이스’ 등 여러 게임을 플레이하며 개발자의 꿈을 키웠다. 그러던 어느 날 ‘인디게임: 더 무비’라는 다큐멘터리 영화를 구매하게 됐고, 힘들고 고통스러우면서도 게임을 완성해나가는 모습에 깊은 감동을 받았다. 이에 중학교 3학년부터 본격적인 게임 개발을 위한 노력을 시작했다고.

강민욱 팀장은 “소규모 팀이지만 개발에 과정에서 큰 문제는 없었다”라며, “각기 다른 분야에서 전문성을 지닌 분들이 시너지를 내기 위해서는, 체계적이고 효율적으로 힘을 합치고 팀을 운영하고 일정을 조율하는 팀장의 역할이 중요했다, 즉 저 스스로만 잘 하면 됐다”라고 전했다.

엠앤유 공식 BI 이미지 (자료출처: 공식 홈페이지)
▲ 엠앤유 공식 BI 이미지 (자료출처: 공식 홈페이지)

앰엔유 강민욱 팀장 (사진: 게임메카 촬영)
▲ 앰엔유 강민욱 팀장 (사진: 게임메카 촬영)

챕터로 구성되는 스토리 중심 리듬게임

노이즈 캔슬러는 스토리가 중심이 되는 리듬게임이다. 각 챕터별 주인공의 이야기를 감상하고, 그 과정에서 들려오는 노래를 들으며 타이밍에 맞춰 두 버튼을 누르는 방식이다. 간혹 '노이즈 캔슬링' 등 연출이 등장하며 노트가 내려오는 방식과 방향이 바뀌는 등 연출 요소도 더해진다. 한 챕터는 여러 스테이지로 구성되며, 스테이지 당 하나의 노래가 할당된다.

첫 챕터 주인공은 대학생 '밀로'로, 친구 시에라에게 자신의 마음을 전하려 한다. 이때 이용자의 감정을 파악하고 이에 맞는 노래를 실시간으로 생성하는 AI 기능이 업데이트된다. 밀로는 AI 기능을 활용해 평소에는 잘 듣지 않지만, 시에라가 좋아하는 락 음악을 감상하며 감정을 정리하고 이를 고백한다. 일부 주인공은 개발팀원에게서 직접적인 영감을 받기도 했다. 강민욱 팀장은 “팀원 자신의 인생을 각색하니 자연스럽고 현실적이면서 팀원에게도 동기부여가 됐다”라고 이유를 밝혔다.

에피소드 방식으로 구성되는 노이즈 캔슬러 (사진: 게임메카 촬영)
▲ 에피소드 방식으로 구성되는 노이즈 캔슬러 (사진: 게임메카 촬영)

▲ F키와 J키로 진행되는 리듬게임 (사진: 게임메카 촬영)

챕터가 변하면 주인공과 주제도 변한다. 2챕터 주인공은 '시에라'며, 사랑을 주요 소재로 했던 전 챕터와는 다른 이야기가 진행된다. 주된 음악 장르도 1챕터는 락, 2챕터는 EDM, 3챕터는 힙합으로 구성될 예정이다. 강민욱 팀장은 "챕터 1은 연애와 사랑이 주제고, 챕터 2에서는 시에라의 관점에서 이야기가 전개된다"라며, "챕터 3부터는 더 다양한 주제를 다루며 옴니버스 구성을 띈다"라고 말했다.

기본적인 조작법은 독특하게 키보드 F와 J키에 할당됐는데, 두 이어폰으로 듣는다는 콘셉트에 대응하기 위함이다. 왼쪽 이어폰은 F키, 오른쪽 이어폰은 J키인 셈이다. 강민욱 팀장은 "이어폰이 게임의 핵심 소재인 만큼, 조작법 역시 두 귀로 듣는 행위와 일치시켜 몰입을 유도하고 싶었다"라며, "물론 익숙하지 않은 유저들을 위해 키 변경도 지원할 예정이다"고 전했다.

▲ 두 번째 챕터 주인공 '시에라' (사진출처: 텀블벅 공식 홈페이지)

공개된 세 명의 주인공 밀로, 시에라, 한나 (사진출처: 텀블벅 공식 홈페이지)
▲ 공개된 세 명의 주인공 밀로, 시에라, 한나 (사진출처: 텀블벅 공식 홈페이지)

연출과 기믹 중심 플레이

노이즈 캔슬러는 세밀한 픽셀 그래픽과 독특한 연출이 더해진 리듬게임이다. 스토리가 전개되는 도중 이어폰으로 듣는 음악과 이를 토대로 한 리듬게임이 진행되며, 그 과정에서 특유의 연출과 함께 변화를 더한다. 예를 들어 1챕터 첫 스테이지에서는 밀로가 양 쪽으로 음악을 듣다 시에라가 말을 걸어 한 쪽 이어폰을 뗀다. 이때 노트가 진행되는 두 레인 중 하나가 사라진다.

게임 도중 주인공의 움직임에 따라 화면이 갑작스럽게 확대되거나, 레인 방향이 바뀌는 등 일반적인 리듬게임과 다른 연출과 기믹이 더해진다. 강민욱 팀장은 "리듬게임을 하면서 스토리를 보는 것이 핵심인 만큼, 감상의 재미도 더했다"라며, "때문에 노트 속도나 복잡성으로 난도를 높이는 것이 아니라, 기믹과 연출로 플레이어를 교란하는 방식을 택해 적응을 유도했다"고 전했다.

▲ 일반 모드, 위 아래로 구분된 레인 (사진: 게임메카 촬영)

▲ 노이즈 캔슬링 모드, 간혹 화면이 확대되거나 이동한다 (사진: 게임메카 촬영)

이는 인게임 설정과도 연관되는데, 베타 버전으로 불안정한 AI가 사용자 감정이 격해질 때 오작동을 일으킨다. 이때 '노이즈 캔슬링'이 의도치 않게 꺼지거나 켜지며 주변 소음이 음악과 섞이고, 노트가 움직이는 방향이 변하기도 한다. 강민욱 팀장은 "서사적으로는 주변으로부터 자신을 고립시키고, 복잡한 외부 요인을 차단하고자 하는 감정을 느낀다면, AI가 이를 인식해 노이즈 캔슬링을 실행한다"라고 설명했다.

체험판에는 노이즈 캔슬링만 등장하지만, 향후 버전에서는 한 쪽의 연결이 불안정해 시각 효과가 사라지거나, 강제로 음악을 모노 채널로 연출해 레인이 하나로 합쳐지는 기믹도 더해진다. 이외에도 서라운드나 이퀄라이저 같은 음향 효과를 기믹으로 채택하는 것도 고려 중이다. 강민욱 탐장은 “스토리를 표현하기 위해 연출에 많은 공을 들여, 세세하게 수작업을 하는 등 많은 신경을 썼다”라며, “자신이 주인공이 되거나, 주인공을 응원하며 플레이하시기를 바란다”라고 말했다.

▲ 스토리 전개와 함께하는 리듬게임 (사진: 게임메카 촬영)

▲ 두 사람의 운명은? (사진: 게임메카 촬영)

AI와 함께하는 음악

노이즈 캔슬러의 독특한 요소는 스테이지별로 사용되는 음악 중 일부가 우디오와 수노 등 실제 AI로 생성된 곡에 후작업을 더했다는 점이다. AI가 감정을 파악해 실시간으로 음악을 생성한다는 인게임 콘셉트와 합치되기도 한다. 다만 모든 음악이 이런 AI로 제작되는 것은 아니다. 강민욱 팀장은 "두 번째 챕터부터는 팀 내 작곡가가 순수하게 만든 노래도 포함된다"라고 전했다. 

물론 AI가 작곡을 돕더라도 그 과정에서 인간의 노동력은 필수다. 우선 기획 의도와 스토리에 어울리는 프롬프트를 생성하고, 음악적 특성을 더해 AI에게 요청한다. 이를 토대로 수십 가지 노래를 추출하고, 이 중 적합한 후보곡을 선정해 팀 내에서 토론을 거친다. 이후 전정된 노래는 그대로 믹싱과 리마스터링을 하거나, 작곡 툴에서 악기를 분리하고 필요한 만큼 추가하거나 제거하는 과정 등을 거쳐 완성된다.

이후 이렇게 작곡된 음악에 노트를 더해 하나의 스테이지가 구성된다. 채보는 리듬게임을 즐겨 플레이했던 강민욱 팀장이 직접 제작했다. 전반적인 난도는 입문자와 가볍게 리듬게임을 즐기는 이들에게 적합하다. 강민욱 팀장은 “입문자와 가벼운 리듬게임 유저가 주요 타겟으로, 리듬을 타면서 영상과 스토리를 감상해주셨으면 좋겠다”라고 전했다.

▲ 노이즈 캔슬러 음악 타임라인 개발 화면 (사진제공: 엠앤유)

오디어 믹서 사용 화면 (사진제공: 엠앤유)
▲ 노이즈 캔슬러 오디어 믹서 화면 (사진제공: 엠앤유)

완성을 위해 나아가는 노이즈 캔슬러

노이즈 캔슬러는 지난 5월 플레이엑스포 현장에서 체험판을 처음 공개했다. 이때 많은 게이머들이 플레이하고 피드백을 전했다. 강민욱 팀장은 “본인이 즐겨 플레이했던 ‘리듬 닥터’가 연상된다는 분들이 많아서 좋았다”라며, “한 커플은 플레이하시며 매 연출마다 크게 반응해주셔서 정말 감사했다”고 말했다.

노이즈 캔슬러는 지난 2월부터 본격적인 개발이 시작됐으며, 현재 약 40% 정도 개발된 상태다. 빠른 속도로 궤도에 올랐지만, 게임 개발 과정에서 여러 어려움도 많았다. 가장 큰 부분은 난이도 조절로, 지난 플레이엑스포 시연에서도 이와 관련된 피드백이 많았다. 강민욱 팀장은 “노이즈 캔슬링 단계에서 양쪽에서 오는 노트에 시선이 분산되거나, 기믹이 바뀔 때 헷갈려 어렵다는 의견이 나왔다”라며, “레벨 디자인을 다듬거나, 박자를 인지시켜주는 시각적인 요소로 개선해야겠다는 생각이 들었다”고 전했다.

▲ 모노, 레인이 하나 (사진출처: 텀블벅 공식 홈페이지)

▲ 불안정한 연결 기믹, 리듬이 끊긴다 (사진출처: 텀블벅 공식 홈페이지)

리듬게임 장르 자체에서 오는 개발의 어려움도 더해졌다. 리듬게임은 채보와 노트를 만들 때 시스템 부분에서 고려해야 할 사항이 많다. 노트가 시각, 청각적으로 모두 명확하게 타점에 도달해야 하고, ‘퍼펙트’를 받을 수 있는 시점을 조절하는 것도 복잡했다. 강민욱 팀장은 “완벽하지 않은 사소한 부분이 리듬게임의 재미를 저하한다”라며, “완성도를 높이기 위해 다방면에서 세밀하게 살피고 있다”라고 전했다. 

노이즈 캔슬러는 오는 9월 스토브 인디 앞서 해보기, 오는 10월에는 스팀 넥스트 페스트 참가를 목표를 개발 중이다. 강민욱 팀장은 “리듬게임 장르를 두려워하시는 분들이 많은데, 그럴 필요 없다”라며, “노이즈 캔슬러는 무서운 게임이 절대 아니니, 안심하고 즐겨주셨으면 좋겠다”라고 전했다.

▲ 3 챕터 주인공 한나 (사진제공: 엠앤유)

▲ 감성적인 리듬게임 '노이즈 캔슬러' (사진: 게임메카 촬영)
This news was translated by AI.