Skip to content

Commit 7b897fe

Browse files
weezymattstevhliu
andauthored
[Docs] Translate audio_classification.md from English to Spanish (#39513)
* Docs: translate audio_classification to Spanish * Update audio_classification.md * Remove space * Normalize backticks * Update audio_classification.md * Apply corrections recommended by aaronjimv * Update _toctree.yml --------- Co-authored-by: Steven Liu <[email protected]>
1 parent 9b7244f commit 7b897fe

File tree

2 files changed

+325
-0
lines changed

2 files changed

+325
-0
lines changed

docs/source/es/_toctree.yml

Lines changed: 2 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -38,6 +38,8 @@
3838
sections:
3939
- local: tasks/asr
4040
title: Reconocimiento automático del habla
41+
- local: tasks/audio_classification
42+
title: Clasificación de audio
4143
title: Audio
4244
- isExpanded: false
4345
sections:
Lines changed: 323 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,323 @@
1+
<!--Copyright 2022 The HuggingFace Team. All rights reserved.
2+
3+
Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with
4+
the License. You may obtain a copy of the License at
5+
6+
http://www.apache.org/licenses/LICENSE-2.0
7+
8+
Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on
9+
an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the
10+
specific language governing permissions and limitations under the License.
11+
12+
⚠️ Note that this file is in Markdown but contains specific syntax for our doc-builder (similar to MDX) that may not be
13+
rendered properly in your Markdown viewer.
14+
15+
-->
16+
17+
# Clasificación de audio
18+
19+
[[open-in-colab]]
20+
21+
<Youtube id="KWwzcmG98Ds"/>
22+
23+
Clasificación de audio - al igual que con texto — asigna una etiqueta de clase como salida desde las entradas de datos. La diferencia única es en vez de entrada de texto, tiene formas de onda de audio. Algunas aplicaciones prácticas de clasificación incluye identificar la intención del hablante, identificación del idioma, y la clasificación de animales por sus sonidos.
24+
25+
En esta guía te mostraremos como:
26+
27+
1. Hacer fine-tuning al modelo [Wav2Vec2](https://huggingface.co/facebook/wav2vec2-base) en el dataset [MInDS-14](https://huggingface.co/datasets/PolyAI/minds14) para clasificar la intención del hablante.
28+
2. Usar tu modelo ajustado para tareas de inferencia.
29+
30+
31+
<Tip>
32+
33+
Consulta la [página de la tarea](https://huggingface.co/tasks/audio-classification) de clasificación de audio para acceder a más información sobre los modelos, datasets, y métricas asociados.
34+
35+
</Tip>
36+
37+
Antes de comenzar, asegúrate de haber instalado todas las librerías necesarias:
38+
39+
```bash
40+
pip install transformers datasets evaluate
41+
```
42+
43+
Te aconsejamos iniciar sesión con tu cuenta de Hugging Face para que puedas subir tu modelo y compartirlo con la comunidad. Cuando se te solicite, ingresa tu token para iniciar sesión:
44+
45+
```py
46+
>>> from huggingface_hub import notebook_login
47+
48+
>>> notebook_login()
49+
```
50+
51+
## Carga el dataset MInDS-14
52+
53+
Comencemos cargando el dataset MInDS-14 con la biblioteca de 🤗 Datasets:
54+
55+
```py
56+
>>> from datasets import load_dataset, Audio
57+
58+
>>> minds = load_dataset("PolyAI/minds14", name="en-US", split="train")
59+
```
60+
61+
Divide el conjunto de `train` (entrenamiento) en un conjunto de entrenamiento y prueba mas pequeño con el método [`~datasets.Dataset.train_test_split`]. De esta forma, tendrás la oportunidad para experimentar y asegúrate de que todo funcióne antes de invertir más tiempo entrenando con el dataset entero.
62+
63+
```py
64+
>>> minds = minds.train_test_split(test_size=0.2)
65+
```
66+
67+
Ahora échale un vistazo al dataset:
68+
69+
```py
70+
>>> minds
71+
DatasetDict({
72+
train: Dataset({
73+
features: ['path', 'audio', 'transcription', 'english_transcription', 'intent_class', 'lang_id'],
74+
num_rows: 450
75+
})
76+
test: Dataset({
77+
features: ['path', 'audio', 'transcription', 'english_transcription', 'intent_class', 'lang_id'],
78+
num_rows: 113
79+
})
80+
})
81+
```
82+
83+
Aunque el dataset contiene mucha información útil, como los campos `land_id` (identificador del lenguaje) y `english_transcription` (transcripción al inglés), en esta guía nos enfocaremos en los campos `audio` y `intent_class` (clase de intención). Puedes quitar las otras columnas con cel método [`~datasets.Dataset.remove_columns`]:
84+
85+
```py
86+
>>> minds = minds.remove_columns(["path", "transcription", "english_transcription", "lang_id"])
87+
```
88+
89+
Aquí está un ejemplo:
90+
91+
```py
92+
>>> minds["train"][0]
93+
{'audio': {'array': array([ 0. , 0. , 0. , ..., -0.00048828,
94+
-0.00024414, -0.00024414], dtype=float32),
95+
'path': '/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~APP_ERROR/602b9a5fbb1e6d0fbce91f52.wav',
96+
'sampling_rate': 8000},
97+
'intent_class': 2}
98+
```
99+
100+
Hay dos campos:
101+
102+
- `audio`: un `array` (arreglo) unidimensional de la señal de voz que se obtiene al cargar y volver a muestrear el archivo de audio.
103+
- `intent_class`: representa el identificador de la clase de la intención del hablante.
104+
105+
Crea un diccionario que asigne el nombre de la etiqueta a un número entero y viceversa para facilitar la obtención del nombre de la etiqueta a partir de su identificador.
106+
107+
```py
108+
>>> labels = minds["train"].features["intent_class"].names
109+
>>> label2id, id2label = dict(), dict()
110+
>>> for i, label in enumerate(labels):
111+
... label2id[label] = str(i)
112+
... id2label[str(i)] = label
113+
```
114+
115+
Ahora puedes convertir el identificador de la etiqueta a un nombre de etiqueta:
116+
117+
```py
118+
>>> id2label[str(2)]
119+
'app_error'
120+
```
121+
122+
## Preprocesamiento
123+
124+
Seguidamente carga el feature extractor (función de extracción de características) de Wav2Vec para procesar la señal de audio:
125+
126+
```py
127+
>>> from transformers import AutoFeatureExtractor
128+
129+
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base")
130+
```
131+
132+
El dataset MInDS-14 tiene una tasa de muestreo de 8kHz (puedes encontrar esta información en su [tarjeta de dataset](https://huggingface.co/datasets/PolyAI/minds14)), lo que significa que tendrás que volver a muestrear el dataset a 16kHZ para poder usar el modelo Wav2Vec2 preentranado:
133+
134+
```py
135+
>>> minds = minds.cast_column("audio", Audio(sampling_rate=16_000))
136+
>>> minds["train"][0]
137+
{'audio': {'array': array([ 2.2098757e-05, 4.6582241e-05, -2.2803260e-05, ...,
138+
-2.8419291e-04, -2.3305941e-04, -1.1425107e-04], dtype=float32),
139+
'path': '/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~APP_ERROR/602b9a5fbb1e6d0fbce91f52.wav',
140+
'sampling_rate': 16000},
141+
'intent_class': 2}
142+
```
143+
144+
Ahora vamos a crear una función de preprocesamiento:
145+
146+
1. Invoque la columna `audio` para cargar, y si es necesario, volver a muestrear al archivo de audio.
147+
2. Comprueba si la frecuencia de muestreo del archivo de audio coincide con la frecuencia de muestreo de los datos de audio con los que se entrenó previamente el modelo. Puedes encontrar esta información en la [tarjeta de modelo](https://huggingface.co/facebook/wav2vec2-base) de Wav2Vec2.
148+
3. Establece una longitud de entrada máxima para agrupar entradas más largas sin truncarlas.
149+
150+
```py
151+
>>> def preprocess_function(examples):
152+
... audio_arrays = [x["array"] for x in examples["audio"]]
153+
... inputs = feature_extractor(
154+
... audio_arrays, sampling_rate=feature_extractor.sampling_rate, max_length=16000, truncation=True
155+
... )
156+
... return inputs
157+
```
158+
159+
Para aplicar la función de preprocesamiento a todo el dataset, puedes usar la función [`~datasets.Dataset.map`] de 🤗 Datasets. Acelera la función `map` haciendo `batched=True` para procesar varios elementos del dataset a la vez. Quitas las columnas que no necesites con el método `[~datasets.Dataset.remove_columns]` y cambia el nombre de `intent_class` a `label`, como requiere el modelo.
160+
161+
```py
162+
>>> encoded_minds = minds.map(preprocess_function, remove_columns="audio", batched=True)
163+
>>> encoded_minds = encoded_minds.rename_column("intent_class", "label")
164+
```
165+
166+
## Evaluación
167+
A menudo es útil incluir una métrica durante el entrenamiento para evaluar el rendimiento de tu modelo. Puedes cargar un método de evaluación rapidamente con la biblioteca de 🤗 [Evaluate](https://huggingface.co/docs/evaluate/index). Para esta tarea, puedes usar la métrica de [exactitud](https://huggingface.co/spaces/evaluate-metric/accuracy) (accuracy). Puedes ver la [guía rápida](https://huggingface.co/docs/evaluate/a_quick_tour) de 🤗 Evaluate para aprender más de cómo cargar y computar una métrica:
168+
169+
```py
170+
>>> import evaluate
171+
172+
>>> accuracy = evaluate.load("accuracy")
173+
```
174+
175+
Ahora crea una función que le pase tus predicciones y etiquetas a [`~evaluate.EvaluationModule.compute`] para calcular la exactitud:
176+
177+
```py
178+
>>> import numpy as np
179+
180+
181+
>>> def compute_metrics(eval_pred):
182+
... predictions = np.argmax(eval_pred.predictions, axis=1)
183+
... return accuracy.compute(predictions=predictions, references=eval_pred.label_ids)
184+
```
185+
186+
Ahora tu función `compute_metrics` (computar métricas) está lista y podrás usarla cuando estés preparando tu entrenamiento.
187+
188+
## Entrenamiento
189+
190+
<frameworkcontent>
191+
<pt>
192+
<Tip>
193+
194+
¡Si no tienes experiencia haciéndo *fine-tuning* a un modelo con el [`Trainer`], échale un vistazo al tutorial básico [aquí](../training#train-with-pytorch-trainer)!
195+
196+
</Tip>
197+
198+
¡Ya puedes empezar a entrenar tu modelo! Carga Wav2Vec2 con [`AutoModelForAudioClassification`] junto con el especifica el número de etiquetas, y pasa al modelo los *mappings* entre el número entero de etiqueta y la clase de etiqueta.
199+
200+
```py
201+
>>> from transformers import AutoModelForAudioClassification, TrainingArguments, Trainer
202+
203+
>>> num_labels = len(id2label)
204+
>>> model = AutoModelForAudioClassification.from_pretrained(
205+
... "facebook/wav2vec2-base", num_labels=num_labels, label2id=label2id, id2label=id2label
206+
... )
207+
```
208+
209+
Al llegar a este punto, solo quedan tres pasos:
210+
211+
1. Define tus hiperparámetros de entrenamiento en [`TrainingArguments`]. El único parámetro obligatorio es `output_dir` (carpeta de salida), el cual especifica dónde guardar tu modelo. Puedes subir este modelo al Hub haciendo `push_to_hub=True` (debes haber iniciado sesión en Hugging Face para subir tu modelo). Al final de cada época, el [`Trainer`] evaluará la exactitud y guardará el punto de control del entrenamiento.
212+
2. Pásale los argumentos del entrenamiento al [`Trainer`] junto con el modelo, el dataset, el tokenizer, el data collator y la función `compute_metrics`.
213+
3. Llama el método [`~Trainer.train`] para hacerle fine-tuning a tu modelo.
214+
215+
```py
216+
>>> training_args = TrainingArguments(
217+
... output_dir="my_awesome_mind_model",
218+
... eval_strategy="epoch",
219+
... save_strategy="epoch",
220+
... learning_rate=3e-5,
221+
... per_device_train_batch_size=32,
222+
... gradient_accumulation_steps=4,
223+
... per_device_eval_batch_size=32,
224+
... num_train_epochs=10,
225+
... warmup_ratio=0.1,
226+
... logging_steps=10,
227+
... load_best_model_at_end=True,
228+
... metric_for_best_model="accuracy",
229+
... push_to_hub=True,
230+
... )
231+
232+
>>> trainer = Trainer(
233+
... model=model,
234+
... args=training_args,
235+
... train_dataset=encoded_minds["train"],
236+
... eval_dataset=encoded_minds["test"],
237+
... processing_class=feature_extractor,
238+
... compute_metrics=compute_metrics,
239+
... )
240+
241+
>>> trainer.train()
242+
```
243+
244+
Una vez que el entrenamiento haya sido completado, comparte tu modelo en el Hub con el método [`~transformers.Trainer.push_to_hub`] para que todo el mundo puede usar tu modelo.
245+
246+
```py
247+
>>> trainer.push_to_hub()
248+
```
249+
</pt>
250+
</frameworkcontent>
251+
252+
<Tip>
253+
254+
Para ver un ejemplo más detallado de comó hacerle fine-tuning a un modelo para clasificación, échale un vistazo al correspondiente [PyTorch notebook](https://colab.research.google.com/github/huggingface/notebooks/blob/main/examples/audio_classification.ipynb).
255+
256+
</Tip>
257+
258+
## Inference
259+
260+
¡Genial, ahora que le has hecho *fine-tuned* a un modelo, puedes usarlo para hacer inferencia!
261+
262+
Carga el archivo de audio para hacer inferencia. Recuerda volver a muestrear la tasa de muestreo del archivo de audio para que sea la misma del modelo si es necesario.
263+
264+
```py
265+
>>> from datasets import load_dataset, Audio
266+
267+
>>> dataset = load_dataset("PolyAI/minds14", name="en-US", split="train")
268+
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))
269+
>>> sampling_rate = dataset.features["audio"].sampling_rate
270+
>>> audio_file = dataset[0]["audio"]["path"]
271+
```
272+
273+
La manera más simple de probar tu modelo para hacer inferencia es usarlo en un [`pipeline`]. Puedes instanciar un `pipeline` para clasificación de audio con tu modelo y pasarle tu archivo de audio:
274+
275+
```py
276+
>>> from transformers import pipeline
277+
278+
>>> classifier = pipeline("audio-classification", model="stevhliu/my_awesome_minds_model")
279+
>>> classifier(audio_file)
280+
[
281+
{'score': 0.09766869246959686, 'label': 'cash_deposit'},
282+
{'score': 0.07998877018690109, 'label': 'app_error'},
283+
{'score': 0.0781070664525032, 'label': 'joint_account'},
284+
{'score': 0.07667109370231628, 'label': 'pay_bill'},
285+
{'score': 0.0755252093076706, 'label': 'balance'}
286+
]
287+
```
288+
289+
También puedes replicar de forma manual los resultados del `pipeline` si lo deseas:
290+
291+
<frameworkcontent>
292+
<pt>
293+
Carga el feature extractor para preprocesar el archivo de audio y devuelve el `input` como un tensor de PyTorch:
294+
295+
```py
296+
>>> from transformers import AutoFeatureExtractor
297+
298+
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("stevhliu/my_awesome_minds_model")
299+
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
300+
```
301+
302+
Pásale tus entradas al modelo y devuelve los logits:
303+
304+
```py
305+
>>> from transformers import AutoModelForAudioClassification
306+
307+
>>> model = AutoModelForAudioClassification.from_pretrained("stevhliu/my_awesome_minds_model")
308+
>>> with torch.no_grad():
309+
... logits = model(**inputs).logits
310+
```
311+
312+
Obtén los identificadores de los clases con mayor probabilidad y usa el *mapping* `id2label` del modelo para convertirle a una etiqueta:
313+
314+
```py
315+
>>> import torch
316+
317+
>>> predicted_class_ids = torch.argmax(logits).item()
318+
>>> predicted_label = model.config.id2label[predicted_class_ids]
319+
>>> predicted_label
320+
'cash_deposit'
321+
```
322+
</pt>
323+
</frameworkcontent>

0 commit comments

Comments
 (0)