Merge pull request #223 from boostcampwm-2024/dev

6주차 배포 2

Author: kimnamheeee

BE/apps/api-server/src/common/constant.ts

@@ -0,0 +1,16 @@
+export const MAX_FILE_SIZE = 1024 * 1024 * 100; // 100MB
+export const ALLOW_AUDIO_FILE_FORMAT = ['.m4a', '.ogg', '.ac3', '.aac', '.mp3'];
+export const OPENAI_PROMPT = `- 당신은 텍스트 요약 어시스턴트입니다.
+- 주어진 텍스트를 분석하고 핵심 단어들을 추출해 대분류, 중분류, 소분류로 나눠주세요.
+- 각 하위 분류는 상위 분류에 연관되는 키워드여야 합니다.
+- 반드시 대분류는 한개여야 합니다.
+- 각 객체에는 핵심 단어를 나타내는 keyword와 자식요소를 나타내는 children이 있으며, children의 경우 객체들을 포함한 배열입니다. 
+- children 배열에는 개별 요소를 나타내는 객체가 들어갑니다.
+- 개별 요소는 keyword (문자열), children (배열)을 가집니다.
+- 마지막 자식 요소 또한 children을 필수적으로 빈 배열을 가지고 있습니다.
+- keyword 는 짧고 간결하게 해주세요.
+- keyword의 갯수는 최대 60개로 제한을 둡니다.
+- children의 배열의 최대 길이는 15로 제한을 둡니다.
+- tree 구조의 최대 depth는 4입니다.
+- 불필요한 띄어쓰기와 줄바꿈 문자는 제거합니다.
+- \`\`\` json \`\`\` 은 빼고 결과를 출력합니다.`;

BE/apps/api-server/src/main.ts

@@ -13,12 +13,8 @@ async function bootstrap() {
   app.setGlobalPrefix('api');
   app.useGlobalPipes(
     new ValidationPipe({
-      transform: true, //dto를 수정 가능하게(dto 기본값 들어가도록)
-      transformOptions: {
-        enableImplicitConversion: true, //Class-Validator Type에 맞게 자동형변환
-      },
+      transform: true,
       whitelist: true,
-      forbidNonWhitelisted: true,
     }),
   );
 

BE/apps/api-server/src/middlewares/token.refresh.middleware.ts

@@ -0,0 +1,18 @@
+import { Test, TestingModule } from '@nestjs/testing';
+import { AiController } from './ai.controller';
+
+describe('AiController', () => {
+  let controller: AiController;
+
+  beforeEach(async () => {
+    const module: TestingModule = await Test.createTestingModule({
+      controllers: [AiController],
+    }).compile();
+
+    controller = module.get<AiController>(AiController);
+  });
+
+  it('should be defined', () => {
+    expect(controller).toBeDefined();
+  });
+});

BE/apps/api-server/src/modules/ai/ai.controller.spec.ts

@@ -0,0 +1,35 @@
+import { Body, Controller, Logger, Post, UploadedFile, UseGuards, UseInterceptors } from '@nestjs/common';
+import { AiService } from './ai.service';
+import { FileInterceptor } from '@nestjs/platform-express';
+import { AuthGuard } from '@nestjs/passport';
+import { User } from '../../decorators';
+import { MAX_FILE_SIZE } from 'apps/api-server/src/common/constant';
+import { AudioFileValidationPipe } from '../../pipes';
+import { AudioUploadDto } from './dto/audio.upload.dto';
+import { AiDto } from './dto/ai.dto';
+
+@Controller('ai')
+export class AiController {
+  private readonly logger = new Logger(AiController.name);
+  constructor(private readonly aiService: AiService) {}
+
+  @Post('audio')
+  @UseGuards(AuthGuard('jwt'))
+  @UseInterceptors(FileInterceptor('aiAudio', { limits: { fileSize: MAX_FILE_SIZE } }))
+  async uploadAudioFile(
+    @UploadedFile(new AudioFileValidationPipe()) audioFile: Express.Multer.File,
+    @User() user: { id: number; email: string },
+    @Body() audioUploadDto: AudioUploadDto,
+  ) {
+    this.logger.log(`User ${user.id} uploaded audio file`);
+    await this.aiService.requestClovaSpeech(audioFile, audioUploadDto);
+    return;
+  }
+
+  @Post('openai')
+  @UseGuards(AuthGuard('jwt'))
+  async requestOpenAi(@Body() aiDto: AiDto) {
+    await this.aiService.requestOpenAi(aiDto);
+    return;
+  }
+}

BE/apps/api-server/src/modules/ai/ai.controller.ts

@@ -2,10 +2,13 @@ import { Module } from '@nestjs/common';
 import { AiService } from './ai.service';
 import { HttpModule } from '@nestjs/axios';
 import { NodeModule } from '../node/node.module';
+import { AiController } from './ai.controller';
+import { AudioFileValidationPipe } from '../../pipes';
 
 @Module({
   imports: [HttpModule, NodeModule],
-  providers: [AiService],
+  providers: [AiService, AudioFileValidationPipe],
   exports: [AiService],
+  controllers: [AiController],
 })
 export class AiModule {}

BE/apps/api-server/src/modules/ai/ai.module.ts

@@ -1,84 +1,96 @@
-import { Injectable, Logger } from '@nestjs/common';
+import { Injectable, Logger, BadRequestException } from '@nestjs/common';
 import { HttpService } from '@nestjs/axios';
 import { firstValueFrom } from 'rxjs';
 import { NodeService } from '../node/node.service';
 import { ConfigService } from '@nestjs/config';
-import { RedisMessage } from '../subscriber/subscriber.service';
 import { PublisherService } from '@app/publisher';
+import { AudioUploadDto } from './dto/audio.upload.dto';
+import { AiDto } from './dto/ai.dto';
+import OpenAI from 'openai';
+import { OpenAiRequestDto } from './dto/openai.request.dto';
+import { ClovaSpeechRequestDto } from './dto/clova.speech.request.dtd';
+import { plainToInstance } from 'class-transformer';
+import { OPENAI_PROMPT } from 'apps/api-server/src/common/constant';
+import { RedisService } from '@liaoliaots/nestjs-redis';
+import Redis from 'ioredis';
 
 export interface TextAiResponse {
   keyword: string;
   children: TextAiResponse[];
 }
-const BAD_WORDS_REGEX =
-  /[시씨씪슈쓔쉬쉽쒸쓉](?:[0-9]*|[0-9]+ *)[바발벌빠빡빨뻘파팔펄]|[섊좆좇졷좄좃좉졽썅춍봊]|[ㅈ조][0-9]*까|ㅅㅣㅂㅏㄹ?|ㅂ[0-9]*ㅅ|[ㅄᄲᇪᄺᄡᄣᄦᇠ]|[ㅅㅆᄴ][0-9]*[ㄲㅅㅆᄴㅂ]|[존좉좇][0-9 ]*나|[자보][0-9]+지|보빨|[봊봋봇봈볻봁봍] *[빨이]|[후훚훐훛훋훗훘훟훝훑][장앙]|[엠앰]창|애[미비]|애자|[가-탏탑-힣]색기|(?:[샊샛세쉐쉑쉨쉒객갞갟갯갰갴겍겎겏겤곅곆곇곗곘곜걕걖걗걧걨걬] *[끼키퀴])|새 *[키퀴]|[병븅][0-9]*[신딱딲]|미친[가-닣닥-힣]|[믿밑]힌|[염옘][0-9]*병|[샊샛샜샠섹섺셋셌셐셱솃솄솈섁섂섓섔섘]기|[섹섺섻쎅쎆쎇쎽쎾쎿섁섂섃썍썎썏][스쓰]|[지야][0-9]*랄|니[애에]미|갈[0-9]*보[^가-힣]|[뻐뻑뻒뻙뻨][0-9]*[뀨큐킹낑)|꼬[0-9]*추|곧[0-9]*휴|[가-힣]슬아치|자[0-9]*박꼼|빨통|[사싸](?:이코|가지|[0-9]*까시)|육[0-9]*시[랄럴]|육[0-9]*실[알얼할헐]|즐[^가-힣]|찌[0-9]*(?:질이|랭이)|찐[0-9]*따|찐[0-9]*찌버거|창[녀놈]|[가-힣]{2,}충[^가-힣]|[가-힣]{2,}츙|부녀자|화냥년|환[양향]년|호[0-9]*[구모]|조[선센][징]|조센|[쪼쪽쪾](?:[발빨]이|[바빠]리)|盧|무현|찌끄[레래]기|(?:하악){2,}|하[앍앜]|[낭당랑앙항남담람암함][ ]?[가-힣]+[띠찌]|느[금급]마|文在|在寅|(?<=[^\n])[家哥]|속냐|[tT]l[qQ]kf|Wls|[ㅂ]신|[ㅅ]발|[ㅈ]밥/;
-const CLOVA_X_PROMPT =
-  '- 당신은 텍스트 요약 어시스턴트입니다.\r\n- 주어진 텍스트를 분석하고 핵심 단어들을 추출해 대분류, 중분류, 소분류로 나눠주세요.\n- 반드시 대분류는 한개여야 합니다.\r\n- JSON 트리 구조의 데이터로 만들어주세요.\r\n- 각 객체에는 핵심 단어를 나타내는 keyword와 부모자식요소를 나타내는 children이 있으며, children의 경우 객체들을 포함한 배열입니다. \r\n- 마지막 자식 요소 또한 children을 필수적으로 빈 배열([])을 가지고 있습니다.\n- 개별 요소는 keyword (문자열), children (배열)을 가집니다.\n- keyword 는 최대한 짧고 간결하게 해주세요.\r\n- children 배열에는 개별 요소를 나타내는 객체가 들어갑니다.\r\n- children을 통해 나타내는 트리 구조의 깊이는 2를 넘을 수 없습니다.\r\n- keyword는 최대 50개로 제한을 둡니다.\n- 띄어쓰기와 줄바꿈 문자는 제거합니다.\n- 데이터 형태는 아래와 같습니다.\n- "{"keyword": "점심메뉴", "children": [{"keyword": "중식","children": [{"keyword": "짜장면","children": []},{"keyword": "짬뽕","children": []},{"keyword": "탕수육","children": []},{"keyword": "깐풍기","children": []}]},{"keyword": "일식","children": [{"keyword": "초밥","children": []},{"keyword": "오꼬노미야끼","children": []},{"keyword": "장어덮밥","children": []}]},{"keyword": "양식","children": [{"keyword": "파스타","children": []},{"keyword": "스테이크","children": []}]},{"keyword": "한식","children": [{"keyword": "김치찌개 ","children": []}]}]}" 와 같은 데이터 처럼 마지막 자식 요소가 자식이 없어도 빈 배열을 가지고 있어야합니다.';
 
 @Injectable()
 export class AiService {
   private readonly logger = new Logger(AiService.name);
+  private readonly redis: Redis | null;
   constructor(
     private readonly configService: ConfigService,
     private readonly httpService: HttpService,
     private readonly nodeService: NodeService,
     private readonly publisherService: PublisherService,
-  ) {}
-
-  async requestClovaX(data: RedisMessage['data']) {
-    if (BAD_WORDS_REGEX.test(data.aiContent)) {
-      this.publisherService.publish(
-        'api-socket',
-        JSON.stringify({ event: 'textAi', data: { error: '욕설이 포함되어 있습니다.' } }),
-      );
-      return;
-    }
-
-    const URL = this.configService.get('CLOVA_URL');
-    const headers = {
-      'X-NCP-CLOVASTUDIO-API-KEY': this.configService.get('X_NCP_CLOVASTUDIO_API_KEY'),
-      'X-NCP-APIGW-API-KEY': this.configService.get('X_NCP_APIGW_API_KEY'),
-      'X-NCP-CLOVASTUDIO-REQUEST-ID': this.configService.get('X_NCP_CLOVASTUDIO_REQUEST_ID'),
-      'Content-Type': 'application/json',
-    };
-
-    const messages = [
-      {
-        role: 'system',
-        content: CLOVA_X_PROMPT,
-      },
-      {
-        role: 'user',
-        content: data.aiContent,
-      },
-    ];
+    private readonly redisService: RedisService,
+  ) {
+    this.redis = redisService.getOrThrow('general');
+  }
 
-    const requestData = {
-      messages,
-      topP: 0.8,
-      topK: 0,
-      maxTokens: 2272,
-      temperature: 0.06,
-      repeatPenalty: 5.0,
-      stopBefore: [],
-      includeAiFilters: false,
-      seed: 0,
-    };
+  async requestOpenAi(aiDto: AiDto) {
+    try {
+      const aiCount = await this.redis.hget(aiDto.connectionId, 'aiCount');
+      if (Number(aiCount) <= 0) {
+        this.publisherService.publish('api-socket', {
+          event: 'textAiSocket',
+          data: { error: 'AI 사용 횟수가 모두 소진되었습니다.', connectionId: aiDto.connectionId },
+        });
+        return;
+      }
+      const apiKey = this.configService.get('OPENAI_API_KEY');
+      const openai = new OpenAI(apiKey);
 
-    const response = await firstValueFrom(this.httpService.post(URL, requestData, { headers }));
+      const openAiRequestDto = new OpenAiRequestDto();
+      openAiRequestDto.setPrompt(OPENAI_PROMPT);
+      openAiRequestDto.setAiContent(aiDto.aiContent);
 
-    let result: string = response.data.result.message.content;
+      const response = await openai.chat.completions.create(openAiRequestDto.toObject());
 
-    if (result[result.length - 1] !== '}') {
-      result = result + '}';
+      const result = JSON.parse(response.choices[0].message.content) as TextAiResponse;
+      console.log(result);
+      const nodeData = await this.nodeService.aiCreateNode(result, aiDto.mindmapId);
+      this.publisherService.publish('api-socket', {
+        event: 'textAiSocket',
+        data: { nodeData, connectionId: aiDto.connectionId },
+      });
+    } catch (error) {
+      this.logger.error('OPENAI 요청 에러 : ' + error);
+      this.publisherService.publish('api-socket', {
+        event: 'textAiSocket',
+        data: { error: '텍스트 변환 요청에 실패했습니다.', connectionId: aiDto.connectionId },
+      });
     }
+  }
 
-    const resultJson = JSON.parse(result) as TextAiResponse;
-    const nodeData = await this.nodeService.aiCreateNode(resultJson, Number(data.mindmapId));
+  async requestClovaSpeech(audioFile: Express.Multer.File, audioUploadDto: AudioUploadDto) {
+    try {
+      const URL = this.configService.get('CLOVA_SPEECH_URL');
+      const apiKey = this.configService.get('X_CLOVASPEECH_API_KEY');
+      const formData = new ClovaSpeechRequestDto(apiKey, audioFile);
+      const response = await firstValueFrom(
+        this.httpService.post(URL, formData.getFormData(), { headers: formData.getHeaders() }),
+      );
+      const result = response.data.text;
 
-    this.publisherService.publish(
-      'api-socket',
-      JSON.stringify({ event: 'textAiSocket', data: { nodeData, connectionId: data.connectionId } }),
-    );
+      const aiDto = plainToInstance(AiDto, {
+        aiContent: result,
+        connectionId: audioUploadDto.connectionId,
+        mindmapId: audioUploadDto.mindmapId,
+      });
+      await this.requestOpenAi(aiDto);
+    } catch (error) {
+      this.logger.error('CLOVA-SPEECH 요청 에러 : ' + error);
+      this.publisherService.publish('api-socket', {
+        event: 'textAiSocket',
+        data: { error: '음성 변환 요청에 실패했습니다.', connectionId: audioUploadDto.connectionId },
+      });
+      throw new BadRequestException('음성 변환 요청에 실패했습니다.');
+    }
   }
 }

BE/apps/api-server/src/modules/ai/ai.service.ts

@@ -0,0 +1,12 @@
+import { IsNumber, IsString } from 'class-validator';
+
+export class AiDto {
+  @IsNumber()
+  mindmapId: number;
+
+  @IsString()
+  connectionId: string;
+
+  @IsString()
+  aiContent: string;
+}

BE/apps/api-server/src/modules/ai/dto/ai.dto.ts

@@ -0,0 +1,11 @@
+import { Type } from 'class-transformer';
+import { IsNumber, IsString } from 'class-validator';
+
+export class AudioUploadDto {
+  @IsNumber()
+  @Type(() => Number)
+  mindmapId: number;
+
+  @IsString()
+  connectionId: string;
+}

BE/apps/api-server/src/modules/ai/dto/audio.upload.dto.ts

@@ -0,0 +1,29 @@
+export class ClovaSpeechRequestDto {
+  private formData: FormData;
+  private headers = {
+    'X-CLOVASPEECH-API-KEY': '',
+    'Content-Type': 'multipart/form-data',
+  };
+  private params = {
+    completion: 'sync',
+    diarization: { enable: false },
+    language: 'ko-KR',
+  };
+
+  constructor(apiKey: string, audioFile: Express.Multer.File) {
+    this.headers['X-CLOVASPEECH-API-KEY'] = apiKey;
+
+    const blob = new Blob([audioFile.buffer], { type: audioFile.mimetype });
+    this.formData = new FormData();
+    this.formData.append('media', blob);
+    this.formData.append('params', JSON.stringify(this.params));
+  }
+
+  getFormData() {
+    return this.formData;
+  }
+
+  getHeaders() {
+    return this.headers;
+  }
+}