小编cry*_*yxn的帖子

将 PySpark Dataframe 转换为 Pandas Dataframe 在时间戳列上失败

我创建我的 pyspark 数据框:

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, BinaryType, ArrayType, StringType, TimestampType
    input_schema = StructType([
            StructField("key", StringType()),
            StructField("headers", ArrayType(
                StructType([
                    StructField("key", StringType()),
                    StructField("value", StringType())
                ])
            )),
            StructField("timestamp", TimestampType())
        ])
    
        input_data = [
            ("key1", [{"key": "header1", "value": "value1"}], datetime(2023, 1, 1, 0, 0, 0)),
            ("key2", [{"key": "header2", "value": "value2"}], datetime(2023, 1, 1, 0, 0, 0)),
            ("key3", [{"key": "header3", "value": "value3"}], datetime(2023, 1, 1, 0, 0, 0))
        ]
    
        df = spark.createDataFrame(input_data, input_schema)
Run Code Online (Sandbox Code Playgroud)

我想使用 Pandas' assert_frame_equal(),所以我想将我的数据帧转换为 Pandas 数据帧。 …

python dataframe pandas apache-spark pyspark

10
推荐指数
2
解决办法
5415
查看次数

未定义链接上的名称空间前缀xhtml - sitemap.xml

我正在尝试将语言添加到我的sitemap.xml文件中,但是我得到"未定义链接上的名称空间前缀xhtml"错误.我该如何定义它?我在谷歌上找不到任何有用的东西.

这是文件:

<?xml version="1.0" encoding="UTF-8"?>
<urlset
      xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
      xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
      xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9
            http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd">
<!-- created with Free Online Sitemap Generator www.xml-sitemaps.com -->
  <url>
    <loc>https://www.leepio.dk/</loc>


</urlset>
Run Code Online (Sandbox Code Playgroud)

xml sitemap

9
推荐指数
1
解决办法
6028
查看次数

使用SendGrid发送包含附件的电子邮件

 var myMessage = new SendGridMessage();
            myMessage.From = new MailAddress("info@email.com");
            myMessage.AddTo("Cristian <myemail@email.com>");
            myMessage.Subject = user.CompanyName + "has selected you!";
            myMessage.Html = "<p>Hello World!</p>";
            myMessage.Text = "Hello World plain text!";

           // myMessage.AddAttachment("C:\test\test.txt");



            var apiKey = "";
            var transportWeb = new Web(apiKey);
            transportWeb.DeliverAsync(myMessage);
Run Code Online (Sandbox Code Playgroud)

基本上我可以使电子邮件工作,并且当我尝试添加附件时它不会发送它.我尝试了不同的路径和不同的写路径方式,我不确定出了什么问题,我发现的每一个教程都表明它应该像这样工作.

c# email smtp email-attachments

8
推荐指数
4
解决办法
1万
查看次数

从Visual Studio Team Services帐户中删除自己

在我的visualstudio.com仪表板上,它说我是团队服务帐户的成员.我该如何移除自己?该项目已经很久了,我不想再看到了.我不是主人,不能联系他.

tfs azure-devops

6
推荐指数
1
解决办法
2018
查看次数

AnalysisException 在数据模式中发现重复列

我正在 Jupyter Notebook 中运行 PySpark,尝试加载大量大 JSON 文件。我之前曾测试过仅使用一个文件(大小为 11 GB)的相同脚本,并且它运行时没有任何问题。

我的Python脚本:

import os, sys, pandas, time
import findspark
findspark.init('/opt/cloudera/parcels/SPARK2/lib/spark2')
import pyspark
os.environ['PYSPARK_PYTHON'] = "/opt/cloudera/Anaconda3/bin/python"

from pyspark import SparkConf, SparkContext, StorageLevel
from pyspark.sql.types import *
from pyspark.sql import Row, SparkSession, HiveContext, SQLContext

target_directory = "removed for this post"
top_directory = "removed for this post"

sc_conf = SparkConf()
sc_conf.setAppName("test"),
sc_conf.set('spark.ui.port', 49051)
sc_conf.set('spark.executor.memory', '18g'),
sc_conf.set('spark.executor.cores', '4')
sc_conf.set('spark.executor.extraJavaOptions', '-XX:+UseG1GC'),
sc_conf.set('spark.driver.memory', '18g'),
sc_conf.set('spark.yarn.am.memory', '8g'),
sc_conf.set('spark.yarn.am.cores', '4'),
sc_conf.set('spark.task.cpus','1'),
sc_conf.set('spark.serializer','org.apache.spark.serializer.KryoSerializer'),

ses = (
    SparkSession
    .builder
    .config(conf=sc_conf)
    .enableHiveSupport()
    .getOrCreate() …
Run Code Online (Sandbox Code Playgroud)

python dataframe apache-spark pyspark jupyter-notebook

5
推荐指数
0
解决办法
1万
查看次数

从 URL 将图像上传到 Azure Blob 存储

是否可以提供CloudBlockBlob.UploadFromStreamAsync图像的接受 URL?我正在尝试使用 LinkedIn basicprofile api 检索用户的图片 URL(已经有 URL),并且我正在尝试下载图片然后将图片上传到 Azure Blob,就像他们从计算机中选择图片一样。

现在是这样的:

using (Html.BeginForm("UploadPhoto", "Manage", FormMethod.Post, new { enctype = "multipart/form-data" }))
{
      <div class="browseimg">
          <input type="file" class="display-none" name="file" id="files" onchange="this.form.submit()" />
      </div>
 }
 <button class="btn btn-primary width-100p main-bg round-border-bot" id="falseFiles">
       Upload billede
 </button>
Run Code Online (Sandbox Code Playgroud)

控制器中的方法:

public async Task<ActionResult> UploadPhoto(HttpPostedFileBase file)
{

    if (file != null && file.ContentLength > 0)
    {
        var fileExt = Path.GetExtension(file.FileName);
        if (fileExt.ToLower().EndsWith(".png") 
             || fileExt.ToLower().EndsWith(".jpg") 
             || fileExt.ToLower().EndsWith(".gif"))
        {
            var user = await GetCurrentUserAsync()
            await service.Upload(user.Id, file.InputStream); …
Run Code Online (Sandbox Code Playgroud)

c# asp.net-mvc azure imageurl azure-blob-storage

4
推荐指数
1
解决办法
8459
查看次数

HTML文本框输入模式0000000-0000

基本上我有一个HTML文本框,用户输入数字.我想要的是自动放一个 - 在第7位之后基本上有这种模式:

0000000-0000

 <input type="text" class="form-control width-160" name="value" required maxlength="10"/>
Run Code Online (Sandbox Code Playgroud)

我很确定我需要使用正则表达式,但是我可以直接在HTML中使用它还是需要一些jQuery?

html javascript frontend

3
推荐指数
1
解决办法
234
查看次数

从 Azure Blob 存储读取文本文件值

.txt我正在尝试读取我所拥有的文件的值azure blob storage

到目前为止我的代码:

BlobServiceClient BlobServiceClient = new BlobServiceClient("connectionstring");
var containerClient = BlobServiceClient.GetBlobContainerClient("staging");
var blobClient2 = containerClient.GetBlockBlobClient($"myfile.txt");
var date = blobClient2.DownloadAsync().Result;
Run Code Online (Sandbox Code Playgroud)

但这会返回元数据,如何获取.txt文件中的实际文本?

c# azure azure-blob-storage

3
推荐指数
1
解决办法
9442
查看次数

实体框架核心中的截断表

如何使用 C# 代码而不是 SQL 查询截断某个表?

我想要相当于TRUNCATE TABLE <table_name>

到目前为止我已经尝试过这个:

context.Products.RemoveRange(context.Products);

然而,它没有做任何事情

c# sql entity-framework entity-framework-core

3
推荐指数
2
解决办法
1万
查看次数

在内存中创建文本文件,然后将其上传到 Azure Blob 存储

现在,我正在库的帮助下在内存中创建一个 Parquet 文件,并将其上传到Azure Blob storage. 不过,这次我想要更简单的东西,即只是将一个文本文件写入DateTime.UtcNow内存中的文本文件并将其上传到 Azure。

到目前为止我的代码:

BlobServiceClient BlobServiceClient = new BlobServiceClient("my_code");
var containerClient = BlobServiceClient.GetBlobContainerClient("my_container");
var blobClient = containerClient.GetBlockBlobClient($"path/to/specific/directory/file.parquet");

using (var outStream = await blobClient.OpenWriteAsync(true).ConfigureAwait(false))
using (ChoParquetWriter parser = new ChoParquetWriter(outStream))
{
   parser.Write(data_list);
}
Run Code Online (Sandbox Code Playgroud)

ChoParquetWriter如果没有我正在使用的库的一部分,如何在内存中创建文本文件?

更新:找到解决方案

using (var outStream = await blobClient4.OpenWriteAsync(true).ConfigureAwait(false))
            { 
                byte[] bytes = null;
                using (var ms = new MemoryStream())
                {
                    TextWriter tw = new StreamWriter(ms);
                    tw.Write(RequestTime.ToString());
                    tw.Flush();
                    ms.Position = 0;
                    bytes = ms.ToArray();
                    ms.WriteTo(outStream);
                }
            }
Run Code Online (Sandbox Code Playgroud)

有没有更简单的方法?如果不是,没关系

c# memorystream azure azure-blob-storage

2
推荐指数
1
解决办法
4479
查看次数

Facebook身份验证AuthenticationManager.GetExternalLoginInfoAsync()突然返回NULL

public async Task<ActionResult> ExternalLoginCallback(string returnUrl)
        {


            var loginInfo = await AuthenticationManager.GetExternalLoginInfoAsync();
            if (loginInfo == null) { return RedirectToAction("Login"); }
            // Sign in the user with this external login provider if the user already has a login
            var result = await SignInManager.ExternalSignInAsync(loginInfo, isPersistent: false);
Run Code Online (Sandbox Code Playgroud)

所以在我的ExternalLoginCallback方法AuthenticationManager.GetExternalLoginInfoAsync()中工作得很好,然后突然几天前它不再做任何事情并返回NULL,导致整个"注册Facebook"进程被跳过,将用户重定向到登录页面.

我有一个单独的ASP.NET MVC5项目,我只是用Facebook Graph API来玩,当我回到它时(我在2周前离开它,注册/登录Facebook在这个项目上工作得很好)它有同样的问题,它返回null!将用户重定向到登录页面.

有可能我的Facebook应用程序有什么东西吗?或他们的API?我没有通过应用程序审查3次(在代码中有一些问题),把它放回到开发模式试图解决它现在它甚至没有达到上一个问题,它停在AuthenticationManager.GetExternalLoginInfoAsync()那里我无法理解什么是去因为我上周没有这个问题.

这是ExternalLogin方法:

public ActionResult ExternalLogin(string provider, string returnUrl)
        {

            ControllerContext.HttpContext.Session.RemoveAll();

            return new ChallengeResult(provider, Url.Action("ExternalLoginCallback", "Account", new { ReturnUrl = returnUrl }));
        }
Run Code Online (Sandbox Code Playgroud)

我添加ControllerContext.HttpContext.Session.RemoveAll();了一个建议,我在stackoverflow上找到了它,但似乎没有做任何事情.

authentication asp.net-mvc facebook facebook-graph-api owin

1
推荐指数
1
解决办法
2217
查看次数

从字符串列表中连接字符串

我有一个字符串列表,我试图连接它所以它的一个更大的字符串.

foreach (var item in dir3)
     {
           resultDirectionHtml = string.Join(",",item.html_instructions);
     }


await EmailSent(resultDirectionHtml);
Run Code Online (Sandbox Code Playgroud)

目前发生的是它只发送列表的最后一个元素.我怎么能这样做它连接所有8个左右的字符串,然后发送它?

c# string concatenation

0
推荐指数
1
解决办法
67
查看次数