Delphi - 如何创建通用REST调用

Question

使用Delphi Seattle.我有一个应用程序,可以进行各种REST调用.其中一些调用可能通过JSON返回10-20行,而其他调用可能返回30-40,000行.我已将我的REST服务器设置为以1,000个批量返回行.当数据回到我的客户端时,我使用RestDataAdapater,DataSource和Client Data Set来公开数据,就像它是本地表一样.这部分似乎工作正常.如果我们在1000行的末尾,那么我更改URL,并请求下一批1,000行.

我的挑战:我想抽象这个,以便一个例程可以处理所有场景(至少对于GET调用).棘手的部分是如何处理数据源/客户端数据集1,000行问题？一个例子可能有助于澄清......我希望能够执行这样的事情......

...
genericREST_Get(baseURL, resource, suffix);  // This would actually execute the REST call, where the components are in Datamodule DM1.
while not dm1.ds_Generic.DataSet.Eof do
        begin
       ... some kind of processing
       dm1.ds_Generic.DataSet.Next;
        end;

如何处理超过1000行阈值？当我的调用程序(如上所示)从第1000行到1001时,REST API需要从服务器请求下一组1000行.虽然我知道如何做到这一点,但我不知道该怎么做.我希望"获取下一个1000行"在通用例程中(也就是genericREST_Get例程).我不希望每个调用例程都必须处理它.

假设所有例程都只能向前移动,而不是向后移动.

Answer 1

以下是一些供您考虑的选项：

1)对于大多数应用程序来说，仅获取 30-40,000 行的所有数据并不能在内存中保存那么多。即使您需要进行多次休息调用来获取数据，您也可以预先完成。如果您总是要循环遍历所有数据，那么如果您在循环前面或内部获取它，时间将是相同的：

  repeat
    PartialData := genericREST_Get(baseURL, resource, suffix);
    // CopyDataSet is actually a FireDac method that I don't see on ClientDataSet
    // Basically just .Append and copy all fields with matching names.
    FullDataMemTable.CopyDataSet(PartialData);
  until PartialData.IsEmpty;

2）如果您只想在内存中一次有一组数据，您可以将 DataSet 包装在另一个对象中，该对象重复一些调用（Eof、FieldByName、Next 等）。当“Next”命中 eof 时，您尝试获取更多数据。这里的示例是一个独立的类，但您也可以在 DataModule 上创建这些公共方法。然后，您只需调用 dm1.Next，而不是 dm1.ds_Generic.DataSet.Next 之类的内容。

constructor TDataFetcher.Create(BaseUrl, Resource, Suffix: string);
begin
  FBaseUrl := BaseUrl;
  FResource := Resource;
  FSuffix := Suffix;
end;

procedure TDataFetcher.Open;
begin
  FData := genericREST_Get(FBaseURL, FResource, FSuffix);
end;

procedure TDataFetcher.GetNextData;
begin
  FData := genericREST_Get(FBaseURL, FResource, FSuffix);
end;

function TDataFetcher.Eof: boolean;
begin
  result := FData.Eof;
end;

function TDataFetcher.FieldByName(FieldName: string): TField;
begin
  result := FData.FieldByName(FieldName);
end;

procedure TDataFetcher.Next;
begin
  FData.Next;
  if FData.Eof then
  begin
    GetNextData;
  end;
end;

其他选项：
a) 从 TClientDataSet 继承 您还可以通过从 TClientDataSet 派生一个新类并覆盖 MoveBy 来实现此目的：

function MoveBy(Distance: Integer): Integer; virtual;  

如果 Inherited MoveBy 设置了 EOF，那么您可以加载下一组数据。但是，如果您尝试这样做，请确保考虑所有用例。例如，如果调用者使用 .Last，您希望发生什么？这是包装类的优点之一。除了您公开的内容之外，调用者无法执行任何操作。

function TMyDataSet.MoveBy(Distance: Integer): Integer; override;  
begin
  inherited MoveBy
  if self.Eof then
  begin
    FetchMoreData;
  end;
end;

b) FetchOnDemand
ClientDataSet 内置了对FetchOnDemand的支持。我不知道这将如何与 RestDataAdapter 交互。我确信只要进行足够的工作，您就可以找到一个提供程序，该提供程序将返回总记录数，然后让 ClientDataSet 根据需要请求更多记录。