这将为我们的团队节省每天重复的数据处理时间......
简介
如果你目前在一个数据或商业智能团队工作，你的任务之一可能是制作一些每日、每周或每月的报告。
虽然获得这些报告并不困难，但还是需要花费不少时间。我们的宝贵时间应该花在更困难的任务上，如训练神经网络或建立数据管道架构。
因此，对于这些平凡的重复性报告，节省我们时间的最好方法是建立一个网络应用程序，其他团队可以自己访问和下载报告。
我说的不是Tableau或PowerBI这样的付费工具（如果公司预算充足的话，你可以使用它们）。有一些高级的网络框架，比如Flask和Django，通常用于建立一个正常运作的网站。
但是，对于一个快速的网络仪表盘来报告指标和数字，你可以考虑使用Streamlit，这是一个相对较新的网络框架，是为ML从业者和数据科学团队建立的。它使用起来非常简单和直观。
内容
我将通过使用一个群组分析的例子来指导你如何构建和部署它。
对于每个部分，我将介绍一个代码模板（你可以在你自己的项目中重新使用）和我的代码（用于本文中使用的队列分析例子）。
- 创建一个Python文件
- 在终端上运行该文件，在本地机器上看到仪表板
- 部署给其他团队使用
1.创建一个Python文件
我们必须创建一个Python文件，以后我们可以从终端调用该文件，在浏览器上显示结果。
你可以给这个文件取任何你想要的名字。这里我把它叫做cohort-demo.py。
代码模板
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
# 这些数据可以在公众号后台回复【云朵君】，联系作者获取。 # 1.导入必要的库 import pandas as pd import numpy as np import streamlit as st
# 2.设置页面配置 st.set_page_config( page_title="This is my title", # 页面的标题 page_icon="????", # favicon layout="wide", )
# 3.定义你的项目中使用的所有函数 # 4.对于每一个函数，在其前面添加"@st.experimental_memo"。这就是 # 来记忆每个函数的执行。这将使应用程序运行得更快。 # 特别是当用户与仪表盘上的一些元素互动时
@st.experimental_memo def function(x): return y |
组群分析
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 |
import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns import matplotlib as mpl from datetime import date, datetime import streamlit as st
st.set_page_config( page_title="Cohorts Dashboard", page_icon="????", layout="wide", )
@st.experimental_memo def purchase_rate(customer_id): purchase_rate = [1] counter = 1 for i in range(1,len(customer_id)): if customer_id[i] != customer_id[i-1]: purchase_rate.append(1) counter = 1 else: counter += 1 purchase_rate.append(counter) return purchase_rate @st.experimental_memo def join_date(date, purchase_rate): join_date = list(range(len(date))) for i in range(len(purchase_rate)): if purchase_rate[i] == 1: join_date[i] = date[i] else: join_date[i] = join_date[i-1] return join_date
# 我没有在这里定义所有的函数，因为这将延长文章的篇幅。 # 我将在文章的最后提供完整的代码。 |
现在我们建立第一个屏幕，如下所示。这将首先让用户上传文件，然后运行以产生输出。
代码模板：你可以用任何名字替换 "my_company"。
|
1 2 3 4 5 6 7 8 |
st.title("Cohort Interactive Dashboard Demo") st.markdown(""" This webapp performs cohort analysis of my_company data! * **Python libraries used:** base64, pandas, streamlit, numpy, matplotlib, seaborn * **Data source:** [Shopify](https://company_name.myshopify.com/admin) * You need to select the data file first to proceed. """) uploaded_file = st.file_uploader("Choose a file") # 来上传文件 |
一旦用户上传了一个文件，下一个屏幕将看起来像这样。
为了建立这个，我们需要。
- 选择群组的类型：这是一个单一的选择。它可以是独特的客户保留率，或百分比或AOV（平均订单价值）方面的。
- 选择队列：这是多选择。人们可以看一个特定的队列或更多。
代码模板
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
If uploaded_file is not None:# 这很重要，因为没有这个。 # 当没有上传的文件时，会出现 # 一个错误，因为df没有被定义.... df = pd.read_csv(upload_file) # 读取该文件 df_processed = process_df(df) # 清洁数据
# 仪表盘标题 st.header("Live Dashboard") # 过滤器 first_filter = st.selectbox('Select first filter',['Option 1', 'Option 2', 'Option 3])
second_filter = st.multiselect('Select second filter', ['Option 1','Option 2','Option 3','Option 4'])
output = display_function(data_input,first_filter,second_filter) st.dataframe(output) st.download_button(label='Download csv', data=output.to_csv(), mime='text/csv') # 来下载该文件 |
组群分析
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
if uploaded_file is not None: df = pd.read_csv(uploaded_file) df_processed = process_df(df) df_cohorts = cohort_numbers(df_processed) cohorts = cohort_percent(df_cohorts)
# 通过使用f-strings动态标题 st.header(f"Live {cohorts.index[0]} to {cohorts.index[-1]} Cohort Dashboard")
# 过滤器 first_filter= st.selectbox('Select type of cohort',['By unique customers', 'By percentage', 'By AOV'])
second_filter = st.multiselect('Select cohort', list(cohorts.index))
output = select_which_table_to_draw(df_processed,first_filter,second_filter) st.dataframe(output) st.download_button(label='Download csv', data=output.to_csv(), mime='text/csv') |
最后建立3个指标
代码模板
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 |
kpi1, kpi2, kpi3 = st.columns(3) # 创建三个占位符 if uploaded_file is not None:
aov = np.mean(df['total_sales']) aov_goal = 95.00 kpi1.metric( # 给这个指标贴上标签 label="AOV", # 计算度量值 value=f"$ {round(aov,2)}", # 计算与目标相比的变化（向上/向下箭头） delta=f"-${round(aov_goal-aov,2)}" if aov_goal>aov else f"${round(aov-aov_goal,2)}", )
nc = np.mean(df.loc[df['customer_type']=='First-time'].groupby(['day']).count()['customer_id']) nc_goal = 30 kpi2.metric( label="New customers/day", value=int(nc), delta=f"-{round((nc_goal-nc)/nc_goal*100,2)}%" if nc_goal>nc else f"{round((nc - nc_goal)/nc_goal*100,0)}%", )
rc = np.mean(df.loc[df['customer_type']=='Returning'].groupby(['day']).count()['customer_id']) rc_goal = 250 kpi3.metric( label="Returning customers/day", value= int(rc), delta=f"-{round((rc_goal - rc)/rc_goal*100,2)}%" if rc_goal>rc else f"{round((rc-rc_goal)/rc_goal*100,2)}%" ) |
2.在终端上运行该文件，在本地机器上显示
|
1 |
streamlit run cohort-demo.py |
在右上角，你会看到一个选项，即每当你编辑cohort-demo.py时总是运行。
3.在Heroku上部署仪表板
首先在你的GitHub账户上创建GitHub仓库
创建requirements.txt、setup.sh和Procfile
requirements.txt（这是为了添加你在cohort-demo.py中使用的所有必要库。）
#只是简单地列出所有的库。你也可以包括版本
pandas
numpy
streamlit
matplotlib
seaborn
datetime
plotly
setup.sh
|
1 2 3 4 5 6 7 8 9 |
#只要复制和粘贴这个 mkdir -p ~/.streamlit/ echo "\ [server]\n\ headless = true\n\ port = $PORT\n enableCORS = false\n \n\ " > ~/.streamlit/config.toml |
Procfile
web: sh setup.sh && streamlit run cohort-demo.py
- 将cohort-demo.py上传至资源库
- 打开Heroku（你应该在Heroku上创建一个账户）。
在右上角，点击 "Create new app"
在部署方式下，选择GitHub
然后将GitHub账户连接到Heroku。然后输入仓库的名称（在本例中，它是cohort_analysis_demo）。
一旦连接，在手动部署下，点击部署分支
到这里我们只需要等待它的部署。然后就完成了！URL链接将被创建。
刚刚将仪表盘部署到生产中，团队成员现在可以自己访问和分析数据。
他们可以简单地上传任何符合你定义的格式的数据集。即本例中的客户交易数据。
最终结果
总结
希望能够帮助到大家，仅作为一个demo参考。其实Streamlit可以做很多很酷的事情，如果你像我一样，在不了解Nodejs、Flask和Django等网络开发框架的情况下，可以使用它来快速创建一个仪表盘。
虽然如此，我仍然相信了解JS/HTML/CSS和软件工程概念会更有优势。所以我确实建议你花空闲时间学习这些技术。
