Este sitio es solo una puerta de entrada

Todo lo que hay aquí viene de cosas que otras personas investigaron, pensaron y construyeron de verdad: libros, artículos, registros históricos y la gente detrás de ellos. Si algo te llama la atención, ve a las fuentes originales que aparecen al final de la página. Tienen mucha más profundidad de la que una página como esta puede ofrecer.

¿Cómo elige un ordenador la palabra correcta entre las 48 entradas del diccionario para «kōshō»?

Categoría: Tecnología

La palabra japonesa «kōshō» aparece con hasta 48 entradas diferentes en un diccionario específico: negociación, investigación crítica, nobleza, notaría pública o emblema escolar, entre otros [1]. A pesar de esta confusión aparente, cuando escribes «negociación del precio» («nedan no kōshō»), tu ordenador suele acertar a la primera.

¿Por qué no se pierde la máquina con tantas opciones? La respuesta está en las mismas pistas que usamos los humanos: el contexto de la frase y la frecuencia de uso. Desde el primer procesador de textos japonés en 1978 hasta los sistemas actuales, la idea es usar el contexto y la frecuencia para elegir la palabra correcta.

1. Por qué «kōshō» tiene 48 entradas en el diccionario y cómo se evita la confusión

Si buscas «kōshō» en el diccionario *Super Daijirin 3.0*, encontrarás 48 entradas [1]. Incluye términos como negociación (*kōshō*), investigación crítica (*kōshō*), nobleza (*kōshō*) o escudo escolar (*kōshō*). Se considera una de las combinaciones con más homófonos, aunque el número exacto varía según la fuente [1].

Sin embargo, si lees «la negociación de mañana», sabes que se refiere a una discusión. Si ves «ponerse el escudo escolar», entiendes que es un símbolo de la escuela. Los estudios sobre lectura en japonés muestran que, cuando hay contexto claro, los homófonos se procesan con la misma fluidez que las palabras únicas, sin importar cuántas opciones existan [2].

Esto indica que no elegimos la palabra mirando solo el sonido aislado, sino usando lo que viene antes y después. Esta idea de «elegir por contexto» es la base que los ingenieros intentaron replicar en las máquinas.

2. El JW-10 de Toshiba: el primer procesador de textos en japonés y su reto técnico

En septiembre de 1978, Toshiba (entonces Tokyo Shibaura Electric) presentó el JW-10, el primer procesador de textos en japonés [3]. Su función era convertir texto escrito en silabario *kana* a escritura mixta con caracteres *kanji*. Según los archivos del Museo de Computación de la Sociedad de Procesamiento de Información de Japón (IPSJ), el problema más difícil fue decidir qué carácter usar cuando varios comparten el mismo sonido [4].

La solución final combinó el contexto de la frase con la frecuencia de uso de las palabras [4]. El sistema podía almacenar hasta 80.000 términos en su diccionario [5]. La frecuencia se gestionaba individualmente para cada usuario, adaptándose a sus hábitos de escritura [5].

Ofrecía dos métodos de selección: «selección en bloque» y «selección secuencial». Ingenieros como Kenichi Mori participaron en su desarrollo [5]. Aunque las fórmulas exactas no están documentadas públicamente, el objetivo era claro: dar a la máquina las mismas pistas que usan los lectores humanos.

3. Por qué el japonés tiene tantas palabras que suenan igual: los préstamos del chino

La alta cantidad de homófonos se debe principalmente a los préstamos del chino, conocidos como *kango* [1]. Hay dos razones principales explicadas por los expertos.

La primera es que el chino distingue muchas palabras mediante tonos (subidas y bajadas de la voz). Al entrar al japonés, esa distinción tonal se perdió, haciendo que palabras distintas sonaran igual [1]. La segunda razón es que los sonidos japoneses cambiaron con el tiempo, fusionando palabras que originalmente tenían pronunciaciones diferentes [1].

Por ejemplo, términos como «recolección», «general menor» y «funeral» pueden leerse todos como *shūshū*, *shōshō* o *sōsō* dependiendo de la evolución fonética [1]. En japonés, muchas palabras se distinguen al escribirlas con kanji. Pero en la entrada digital (*kana*) o en el habla, esa pista visual desaparece, obligando a la máquina a buscar otras señales.

4. Cómo los convertidores actuales eligen palabras con estadísticas de textos web

Los sistemas modernos, como Google Japanese Input (Mozc), utilizan diccionarios generados automáticamente a partir de textos web [6]. Esto les permite reconocer palabras nuevas, términos técnicos y nombres propios; se dice que son especialmente útiles para estos casos [6].

En una presentación académica de 2011, el equipo de Takashi Kudō explicó cómo funcionan: utilizan estadísticas masivas para decidir la división de las frases y el orden de las sugerencias [6]. En esencia, calculan qué combinaciones de palabras son más probables según su aparición en grandes volúmenes de texto.

Además, desde 2011, si hay varios homófonos posibles, el software muestra significados y ejemplos en una ventana emergente [7]. Así, la máquina hace una primera selección estadística, pero deja al usuario la opción final si tiene dudas. Esta tecnología evolucionó directamente desde los principios del JW-10 [4].

5. Cómo el reconocimiento de voz combina sonido y contexto para elegir palabras

En el reconocimiento de voz, la máquina combina dos puntuaciones. Una es el «modelo acústico», que mide qué tan bien coincide el sonido grabado con las palabras. La otra es el «modelo de lenguaje», que evalúa qué frase tiene más sentido gramatical y semánticamente [8].

Un ejemplo clásico en inglés muestra la diferencia entre «recognize speech» (reconocer voz) y «wreck a nice beach» (destrozar una playa agradable). Fonéticamente, son casi idénticos. Si solo miramos el sonido, la segunda opción podría tener una puntuación ligeramente mayor (0.88 frente a 0.85 en este ejemplo ilustrativo) [8].

Pero el modelo de lenguaje da una probabilidad mucho más alta a «recognize speech». Al multiplicar ambas puntuaciones, la frase correcta gana [8]. Estos números son teóricos para explicar el concepto, no mediciones reales. En japonés, ocurre lo mismo: cuando el sonido es ambiguo, se usa la probabilidad de que la frase tenga sentido lógico para desempatar.

6. Un experimento con tu teclado: escribe «kōshō» y cuenta las opciones

Puedes verificar esto en casa. Escribe solo «kōshō» en un procesador de textos o buscador. Cuenta cuántas opciones aparecen; probablemente no serán 48, ya que los diccionarios digitales varían [5].

Luego, escribe frases completas como «negociación del precio» (*nedan no kōshō*) o «estudio crítico de documentos» (*shiryō no kōshō*). Observa si la primera opción sugerida cambia. Si cambia, el software está usando la palabra anterior como pista [6].

Si algunas combinaciones no cambian, prueba otras palabras antes de *kōshō*. Estás buscando las «pistas» del algoritmo. Si tienes un diccionario de papel en casa, cuenta y compara las palabras de la entrada *kōshō*.

Fuentes

  1. Wikipedia, "Homófonos" https://ja.wikipedia.org/wiki/%E5%90%8C%E9%9F%B3%E7%95%B0%E7%BE%A9%E8%AA%9E (Explica el número de palabras y las razones lingüísticas de los homófonos en japonés.)
  2. Mizuno y Matsui (2018), *Estudios de Psicología Cognitiva* https://www.jstage.jst.go.jp/article/jcogpsy/15/2/15_31/_article/-char/ja (Experimento que demuestra la fluidez en la lectura de homófonos con contexto.)
  3. Gendai Business, "Se completa el primer procesador japonés (1978)" https://gendai.media/articles/-/57588 (Datos sobre la presentación y lanzamiento del JW-10.)
  4. Museo de Computación IPSJ, "JW-10" https://museum.ipsj.or.jp/en/heritage/jw_10.html (Detalla que la selección de homófonos fue el reto principal y su solución por contexto/frecuencia.)
  5. Museo de Computación IPSJ, "Conversión kana-kanji" https://museum.ipsj.or.jp/en/computer/word/0049.html (Especifica tamaño del diccionario, gestión de frecuencia y métodos de selección.)
  6. Kudō et al. (2011), *Sistema estadístico de conversión kana-kanji Mozc* https://www.anlp.jp/proceedings/annual_meeting/2011/pdf_dir/C4-3.pdf (Describe el uso de datos web y estadísticas para la conversión moderna.)
  7. Watch.impress, "Google Japanese Input" https://forest.watch.impress.co.jp/docs/news/481372.html (Menciona la función de mostrar significados para homófonos ambiguos.)
  8. APXML, "Cómo los modelos de lenguaje mejoran la precisión" https://apxml.com/courses/introduction-to-speech-recognition/chapter-4-language-modeling/how-language-models-improve-accuracy (Explica la combinación de modelos acústicos y de lenguaje con ejemplos numéricos ilustrativos.)