VR Prosodic Speech Analysis System

01

Birinin nasıl konuştuğunu ölçmek

Bir VR egzersizinde, kişinin konuşma biçimi görev puanının yakalamadığı bir bilgi taşıyor.

Biri VR içinde simüle edilmiş bir prosedürü uygularken sistem, adımları tamamlayıp tamamlamadığını zaten biliyor. Ama o sırada nasıl konuştuğunu bilmiyor. Sesin perdesi, şiddeti, konuşma hızı ve duraklamalar bu konuda bilgi veriyor. Egzersiz devam ederken bu bilgileri bir puana dönüştürmek istedim.

Sabit bir eşik işe yaramıyor. 180 Hz veya 70 dB üzerindeki her değeri yüksek uyarılma kabul edersem, kişinin o anki durumundan çok sesinin doğal özelliklerini ölçmüş oluyorum. Doğal olarak gür konuşan biri sakinken bile o çizgiyi geçiyor. Kısık konuşan biri gerçek baskı altında bile hiç geçmiyor. Herkese aynı akustik eşiği uygulamak, farklı seslerin aynı şekilde değerlendirilebileceğini varsayıyor. Ben ise bir kişinin kendi sesindeki değişimi bulmak istiyordum.

• Donanım Tek bir Windows PC, Quest Link üzerinden Meta Quest 3, Oculus sanal mikrofonundan 16 kHz mono ses
• Etkileşim Tek bir kumanda tuşu: kaydetmek için basılı tut, analiz için bırak
• Sınır Ses analizini C# ile tekrar yazmadım. Analizin tek uygulaması Python tarafında
• Gecikme Analiz, egzersiz hâlâ sürerken sonuç döndürüyor
• İlke Kötü bir puan döndürmektense hiçbir şey döndürme

02

Tek eşik yerine iki referans kaydı

Her konuşmacı için ayrı bir ölçek oluşturuluyor. Ölçeğin iki ucu da o kişinin kendi sesinden ölçülüyor.

Egzersizden önce kullanıcı iki kısa cümle kaydediyor. Normal tonda söylediği cümle sakin referansını, yani baseline değerini oluşturuyor. Aceleci bir tonla söylediği cümle ise upperline referansı oluyor. Her özellik için kişinin değerlendirme aralığı, bu iki kayıttaki değerlerin farkıyla belirleniyor.

Sonraki kayıtlar bu iki referansa göre değerlendiriliyor: baseline sıfır, upperline bir kabul ediliyor. Yüksek sesli ve kısık sesli iki kişi, kendi aralıkları içinde aynı oranda aceleci konuşmaya yaklaştıysa aynı puanı alıyor.

Özellikle önemsediğim ayrıntı, iki referans arasındaki farkın işaretini korumak. Çoğu kişi acele ederken daha hızlı konuşuyor; bu durumda artikülasyon hızının upperline değeri baseline değerinden yüksek oluyor. Bazılarıysa yavaşlayıp daha dikkatli konuşuyor. Formül bu farkı hata saymıyor. Kişinin gösterdiği değişim yönünü koruyor; fark negatif olsa da puanı aynı şekilde hesaplıyor.

raw_progress = (
  current_number - baseline_number
) / gap

# Baseline'ın ters yönündeki değişim panik puanı üretmez.
score_progress = max(raw_progress, 0.0)

# Upperline'ı aşmak mümkündür. 1.25 sınırı, tek özelliğin
# bütün skoru aşırı şişirmesini engeller.
score_progress = min(score_progress, 1.25)

weighted_progress += score_progress * weight
used_weight += weight

Puan altı özellikten hesaplanıyor. Her özelliğin bir ağırlığı ve minimum fark eşiği var. Bu eşik, iki referans kaydı arasındaki farkın gürültüden kaynaklanmadığını kabul etmek için gereken en küçük değer.

Zamanlama, enerji tabanlı ses etkinliği tespiti yerine Faster-Whisper’ın kelime düzeyindeki zaman damgalarından geliyor. Enerji tabanlı VAD, bir duraklamayı sessiz bir odadan ayırt edemiyor ve gürültülü bir başlık mikrofonu durumu daha da kötüleştiriyor. Metne dönüştürme sırasında bulunan kelime sınırları, konuşmanın nerede durakladığını belirlemek için çok daha iyi bir temel sağlıyor. Heceler, Türkçe ünlüler sayılarak yaklaşık olarak bulunuyor. Bu yaklaşık yöntem kodda açıkça belirtiliyor; gerçek bir hece ayırma algoritması değil ama bir konuşmacıyı kendisiyle karşılaştırmak için yeterli.

Sistem bilerek iki katman halinde kurulmuş, aralarında bir HTTP köprüsü var.

Bu ayrımı değerli kılan şey, bütün ölçümün Python’da kalması. Praat, librosa ve Faster-Whisper’ın C# tarafında karşılığı yok. Bunların bir kısmını VR projesine taşımak, ölçümün ikinci bir uygulamasını yaratırdı ve ikisini birbiriyle uyumlu tutmak zorunda kalırdım.

03

Yanıltıcı puanları önlemek

Buradaki mühendislik çalışmasının büyük kısmı, hangi durumlarda sonuç verilmemesi gerektiğini belirlemekti.

Ekranda bir sayı gördüğümüzde ona güvenmeye eğilimliyiz. Bu yüzden hangi durumlarda puan verileceğini dikkatle belirlemek gerekiyor. Bu sistemde en çok önemsediğim çalışma, aşağıdaki kalite kontrolleri.

En önemli kontrol, her özellik için ayrı yapılıyor. Baseline ve upperline kayıtları bir özellikte yeterince farklı değilse, o özellik kişinin durumundaki değişim hakkında bilgi vermiyor. Örneğin iki kayıtta da aynı perdeden konuşmuş olabilir. Bunu hesaba katmak yalnızca gürültü ekler. Bu yüzden özellik çıkarılıyor, kalanların ağırlıkları yeniden ayarlanarak puan hesaplanıyor.

Çok fazla özellik elenirse puan hesaplamak için yeterli bilgi kalmıyor. Kullanılabilir özellik sayısı ikinin veya toplam ağırlık 0.40’ın altına düşerse kalibrasyon kabul edilmiyor. Kullanıcının referans cümlelerini yeniden kaydetmesi gerekiyor.

Kayıt kalitesi bunların hepsinden önce kontrol ediliyor. Tepe değerinin 0.99 veya üzerinde olması nedeniyle kırpılma oluşması, 0.02 altında kalması veya ötümlü ses içeren çerçevelerin %20’nin altında olması uyarı veriyor. Daha ince bir kontrol daha var. Ses etkinliği tespiti, pencerenin %98 veya fazlasının aktif konuşma olduğunu bildiriyorsa, bu genellikle gürültülü bir odanın kesintisiz konuşma olarak duyulması demek ve buradan türeyen zamanlama öznitelikleri güvenilir değil.

if speech_window > 0:
  active_ratio = active_duration / speech_window

  if active_ratio >= 0.98:
      warnings.append(
          "Kayıdın neredeyse tamamı aktif konuşma olarak algılandı. "
          "Gürültü nedeniyle VAD/sessizlik tespiti güvenilir olmayabilir."
      )

Sevdiğim bir kontrol daha var. Kalibrasyon cümlesinin kendisi doğrulanıyor: kişinin söylediğinin deşifresi, söylemesi istenen cümleyle karşılaştırılıyor. Yanındaki kişiyle konuşurken kaydedilmiş bir baseline, sonraki bütün puanların ölçüldüğü referans haline sessizce gelmemeli.

04

Tamamlanmış sistem

Kaydı başlatan tuştan puanın gösterilmesine kadar tüm süreç tek bir bilgisayarda çalışıyor.

Analiz motoru başlık bağlı olmadan da çalışıyor. Geliştirirken bunu kullandım; test etmek de bu sayede kolay. Bir WAV dosyası ve bir cümle, tüm analiz sürecini çalıştırmaya yetiyor. VR katmanı yalnızca bir kaydı tetikliyor ve dönen sonucu gösteriyor.