广告位联系
返回顶部
分享到

python批量翻译excel表格中的英文

python 来源:互联网 作者:佚名 发布时间:2023-02-20 21:55:21 人浏览
摘要

需求背景 女朋友的论文需要爬取YouTube视频热评,但爬下来的都是外文。 主要设计 读取一个表格文件,获取需要翻译的文本 使用百度翻译 API 进行翻译,获取翻译结果 将翻译结果保存

需求背景

女朋友的论文需要爬取YouTube视频热评,但爬下来的都是外文。

主要设计

  •  读取一个表格文件,获取需要翻译的文本
  •  使用百度翻译 API 进行翻译,获取翻译结果
  •  将翻译结果保存到原表格中,然后提取需要的列组成一个新的 DataFrame
  •  处理多个表格文件,将它们的翻译结果分别保存
  •  使用线程池加速翻译过程,可以同时翻译多个表格
  •  显示进度条

分析

  • 目标文件为xlsx格式,可以借助pandas进行读取文件和生成文件的操作。在这里我的源文件有若干列,其中第2列评论内容为我的目标列。
  • 在这里我用的是百度翻译api接口。也可以googletrans、translate,这些库可以在本地使用,不需要申请API密钥,但是翻译质量和速度可能不如云服务。
  • 由于我每个表格有2000行数据,总共有10个表格,一个个来的话不仅麻烦效率还低。
  • 我需要知道任务的进度,不想一直等下去

具体实现

表格操作

1

2

3

4

5

6

7

8

9

10

11

12

def TranslateTable(sInputFilename, sOutputFilename):

    # 读取表格A并选择需要翻译的列

    df_a = pd.read_excel(sInputFilename) # 获取df对象

    df_a = df_a.iloc[:, [1, 2]]  # iloc和loc很像,i=index,

    # 翻译英文列

    df_a['translation'] = df_a.iloc[:, 0].apply(Translate)

    # 创建表格B并保存

    df_b = pd.DataFrame({

        '原文': df_a.iloc[:, 0],

        '译文': df_a.iloc[:, 2]

    })

    df_b.to_excel(sOutputFilename, index=False)

请求百度翻译api

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

def Translate(sText, from_lang='en', to_lang='zh'):

    appid = 'xxxxxx'

    secret_key = 'xxxxxx'

    url = 'https://fanyi-api.baidu.com/api/trans/vip/translate'

    salt = random.randint(32768, 65536)

    sign = hashlib.md5((appid + sText + str(salt) + secret_key).encode()).hexdigest()

    params = {

        'q': sText,

        'from': from_lang,

        'to': to_lang,

        'appid': appid,

        'salt': salt,

        'sign': sign

    }

    response = requests.get(url, params=params)

    result = json.loads(response.content.decode())

    if result.get('error_code') is not None:

        return None

    return result['trans_result'][0]['dst']

多线程

使用concurrent.futures库中的 ThreadPoolExecutor类来实现多线程处理。

  • 创建一个 ThreadPoolExecutor对象。
  • 在循环中遍历每个表格A,并使用 submit方法向线程池提交任务。 submit方法将表格A的文件名和表格B的文件名作为参数传递给 translate_column函数,该函数将在单独的线程中执行。

ThreadPoolExecutor会自动管理线程池的大小,并在有空闲线程时分配新任务。这种方式可以利用多个CPU核心来并行处理多个表格,提高处理速度。

1

2

3

4

5

6

7

8

9

10

def TranslateTables(sInputFolder, sOutputFolder):

    sInputFilenames = [os.path.join(sInputFolder, f) for f in os.listdir(sInputFolder) if f.endswith('.xlsx')]

    with ThreadPoolExecutor() as executor:

        lstFutures = []

        for sInputFilename in sInputFilenames:

            sFilename = os.path.splitext(os.path.basename(sInputFilename))[0]

            sOutputFilename = os.path.join(sOutputFolder, sFilename + '_翻译结果.xlsx')

            lstFutures.append(executor.submit(TranslateTable, sInputFilename, sOutputFilename))

        for future in tqdm(as_completed(lstFutures), total=len(lstFutures)):

            pass

控制台显示进度

使用 concurrent.futures.as_completed 函数显示进度条。

完整源码

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

# -*- coding: utf-8 -*-

# time: 2022/2/17 03:06

# file: test.py

# author: Shi Yasong

 

"""

主要功能功能:

    1、读取一个表格文件,获取需要翻译的文本。

    2、使用百度翻译 API 进行翻译,获取翻译结果。

    3、将翻译结果保存到原表格中,然后提取需要的列组成一个新的 DataFrame。

    4、处理多个表格文件,将它们的翻译结果合并到一个 DataFrame 中,然后分别保存。

    5、使用线程池加速翻译过程,可以同时翻译多个表格

    6、使用  concurrent.futures.as_completed 函数显示进度条。

"""

 

 

from concurrent.futures import ThreadPoolExecutor, as_completed

from tqdm import tqdm  # 进度条库,需要先安装

 

import pandas as pd

import requests

import json

import os

import hashlib

import random

 

 

def Translate(sText, from_lang='en', to_lang='zh'):

    appid = 'xxxx'

    secret_key = 'xxxxx'

    url = 'https://fanyi-api.baidu.com/api/trans/vip/translate'

    salt = random.randint(32768, 65536)

    sign = hashlib.md5((appid + sText + str(salt) + secret_key).encode()).hexdigest()

    params = {

        'q': sText,

        'from': from_lang,

        'to': to_lang,

        'appid': appid,

        'salt': salt,

        'sign': sign

    }

    response = requests.get(url, params=params)

    result = json.loads(response.content.decode())

    if result.get('error_code') is not None:

        return None

    return result['trans_result'][0]['dst']

 

 

def TranslateTable(sInputFilename, sOutputFilename):

    # 读取表格A并选择需要翻译的列

    df_a = pd.read_excel(sInputFilename) # 获取df对象

    df_a = df_a.iloc[:, [1, 2]]  # iloc和loc很像,i=index,

    # 翻译英文列

    df_a['translation'] = df_a.iloc[:, 0].apply(Translate)

    # 创建表格B并保存

    df_b = pd.DataFrame({

        '原文': df_a.iloc[:, 0],

        '译文': df_a.iloc[:, 2]

    })

    df_b.to_excel(sOutputFilename, index=False)

 

 

def TranslateTables(sInputFolder, sOutputFolder):

    sInputFilenames = [os.path.join(sInputFolder, f) for f in os.listdir(sInputFolder) if f.endswith('.xlsx')]

    with ThreadPoolExecutor() as executor:

        lstFutures = []

        for sInputFilename in sInputFilenames:

            sFilename = os.path.splitext(os.path.basename(sInputFilename))[0]

            sOutputFilename = os.path.join(sOutputFolder, sFilename + '_翻译结果.xlsx')

            lstFutures.append(executor.submit(TranslateTable, sInputFilename, sOutputFilename))

        for future in tqdm(as_completed(lstFutures), total=len(lstFutures)):

            pass

 

 

# 调用函数翻译多个表格

sInputFolder = r'C:\Users\lenovo\Desktop\english'  # 修改为实际的表格文件夹路径

sOutputFolder = r'C:\Users\lenovo\Desktop\zh'  # 修改为实际的表格文件夹路径

TranslateTables(sInputFolder, sOutputFolder)


版权声明 : 本文内容来源于互联网或用户自行发布贡献,该文观点仅代表原作者本人。本站仅提供信息存储空间服务和不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权, 违法违规的内容, 请发送邮件至2530232025#qq.cn(#换@)举报,一经查实,本站将立刻删除。
原文链接 : https://blog.csdn.net/weixin_44146046/article/details/129103372
相关文章
  • JWT的原理及使用
    目录JWT的原理及使用一、什么是JWT?二、签发认证流程三、使用方法1.设置登录接口2.设置过期事件3.定制返回格式4.配置认证类和权限类5.写
  • NumPy迭代数组的实现的介绍
    NumPy中引入了 nditer 对象来提供一种对于数组元素的访问方式。 一、单数组迭代 1. 使用 nditer 访问数组的每个元素 1 2 3 4 5 6 7 8 9 10 11 12 13 1
  • python批量翻译excel表格中的英文
    需求背景 女朋友的论文需要爬取YouTube视频热评,但爬下来的都是外文。 主要设计 读取一个表格文件,获取需要翻译的文本 使用百度翻译
  • python中数字列表转化为数字字符串的代码

    python中数字列表转化为数字字符串的代码
    1. python中数字组成的列表转化为字符串或者一串数字 1 2 3 4 5 6 7 8 f=[1,2,3,4] num=len(f) m= #建立空字符串 for i in range(num): x=str(f[i]) m=m+x #利用字符
  • pandas中groupby操作实现介绍

    pandas中groupby操作实现介绍
    一、实验目的 熟练掌握pandas中的groupby操作 二、实验原理 groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=False) 参数说明
  • Python正则表达式中group与groups的用法介绍

    Python正则表达式中group与groups的用法介绍
    在Python中,正则表达式的group和groups方法是非常有用的函数,用于处理匹配结果的分组信息。 group方法是re.MatchObject类中的一个函数,用于返
  • Sklearn调优之网格搜索与随机搜索原理介绍
    前言 超参调优是模型调优(Model Tuning)阶段最主要的工作,是直接影响模型最终效果的关键步骤,然而,超参调优本身却是一项非常低级且枯
  • Flask接口签名sign原理与实例代码
    作用 防止有人不停的刷接口,对接口作限制 比如说,登录接口,按道理说,应该只有app会请求这个接口 但是,如果有人抓取app的请求,就
  • Python机器学习利用鸢尾花数据绘制ROC和AUC曲线

    Python机器学习利用鸢尾花数据绘制ROC和AUC曲线
    一、ROC与AUC 很多学习器是为了测试样本产生的一个实值或概率预测,然后将这个预测值与一个分类阈值(threshold)进行比较,若大于阈值则
  • python字符串大小写转换的三种方法

    python字符串大小写转换的三种方法
    python中,为了方便字符串的大小写转换,为我们提供了三种方法: title() lower() upper() python title()方法 title()方法用于将字符串中的每个单词的
  • 本站所有内容来源于互联网或用户自行发布,本站仅提供信息存储空间服务,不拥有版权,不承担法律责任。如有侵犯您的权益,请您联系站长处理!
  • Copyright © 2017-2022 F11.CN All Rights Reserved. F11站长开发者网 版权所有 | 苏ICP备2022031554号-1 | 51LA统计