EMOD: AN EFFICIENT APPROACH FOR LOW RESOURCE CONTROLLABLE EMOTIONAL SPEECH SYNTHESIS

Emotion Intensity Control

Emotion intensity represents the strength of emotional expression in speech, ranging from softer tones (0.1) to highly expressive ones (1.0). The system regulates emotional style through learned embeddings that capture variations in tone and delivery. For low-resource Indian languages, it employs zero-shot learning to generalize emotion control without language-specific training data.

Text - English

Every morning, I go for a walk, which refreshes me and gives a good start to the day.

Baseline-reference

Angry (1.0)

Angry (0.5)

Angry (0.1)

Sad (1.0)

Sad (0.5)

Sad (0.1)

Text - Malayalam

ഷെഡ്യൂൾ ചെയ്ത എല്ലാ അലാറങ്ങളും എന്നെ കാണിക്കുക.

Angry (1.0)

Angry (0.5)

Angry (0.1)

Sad (1.0)

Sad (0.5)

Sad (0.1)

Text - Tamil

திருவிழா நேரங்களில் இந்த வெடிகள் எதற்கு பொகையா போகுது காசெல்லாம்

Angry (1.0)

Angry (0.5)

Angry (0.1)

Sad (1.0)

Sad (0.5)

Sad (0.1)

TTS Zero-shot Emotion Conversions

Same Language Emotion Conversion

Text - English

Every morning, I go for a walk, which refreshes me and gives a good start to the day.

Ground Truth
Neutral

Angry Conversion

Sad Conversion

Happy Conversion

Text - Malayalam

ഷെഡ്യൂൾ ചെയ്ത എല്ലാ അലാറങ്ങളും എന്നെ കാണിക്കുക.

Ground Truth
Neutral

Angry Conversion

Sad Conversion

Happy Conversion

Fear Conversion

Neutral Conversion

Disgust Conversion

Text - Tamil

திருவிழா நேரங்களில் இந்த வெடிகள் எதற்கு பொகையா போகுது காசெல்லாம்

Ground Truth
Neutral

Angry Conversion

Sad Conversion

Happy Conversion

Fear Conversion

Neutral Conversion

Disgust Conversion

Text - Telugu

మార్చి ఏడున శాంటా అనితా లో గుర్రపు పందెం గురించి ముందు రోజు నాకు తెలియ జేయి.

Ground Truth
Neutral

Angry Conversion

Sad Conversion

Happy Conversion

Fear Conversion

Neutral Conversion

Disgust Conversion

Text - Kannada

ಮುಂದಿನ ಬಾರಿ ನನ್ನ ವೈದ್ಯರ ಭೇಟಿಯನ್ನ ನೆನಪಿಸೋ ಅಲರಾಂ ನಾನು ನೆನಪಿನಿಂದ ಇಟ್ಟೀದ್ದೇನಾ?

Ground Truth
Neutral

Angry Conversion

Sad Conversion

Happy Conversion

Fear Conversion

Neutral Conversion

Disgust Conversion

Text - Hindi

बच्चों के साथ समय बिताना बहुत अच्छा लगता है, क्योंकि उनकी मासूमियत और खुशी हमेशा मुझे मुस्कुराने और खुश रहने का कारण देती है।

Ground Truth
Neutral

Angry Conversion

Happy Conversion

Sad Conversion

Zero-Shot Cross-Lingual Emotion Transfer

Text - Malayalam

സ്വപ്ന വിശകലനത്തിൽ കുട്ടിക്കാലത്തെ അറിവും പെടും ഇപ്പോഴത്തെ അവസ്ഥയിൽ നിന്നും രക്ഷപ്പെടാൻ

Target Speaker
Telugu

Neutral Conversion

Disgust Conversion

Fear Conversion

Text - Tamil

அவர்கள் இருவரையும் மரத்தில் இருந்து ஒரு கிளியும் மைனாக் குருவியும் கவனித்துக் கொண்டு இருந்தன

Target Speaker
Malayalam

Angry Conversion

Sad Conversion

Happy Conversion

Text - Tamil

அயோத்தியை தலைநகராகக் கொண்ட கோசல நாட்டை துருவசக்தி என்ற மன்னன் ஆண்டு வந்தான்

Target Speaker
English

Neutral Conversion

Sad Conversion

Fear Conversion

Zero-Shot Emotion-TTS Comparison

Text - English

Every morning, I go for a walk, which refreshes me and gives a good start to the day.

Target Speaker

Emod-TTS
Happy

XTTS
Happy